[全角]の検索結果
C言語のstrncpy関数やmemcpy関数ではバイト単位の操作になるので、漢字、ひらがな、カタカナなどの全角文字を文字数で指定して部分文字列を取り出すことができません。 そこで半角英数も全角文字も1文字として部分文字列を取り出すことができる関数を作成します。
以下はそのコードです。[C言語]UTF-8でエンコードされた文字列の文字数を取得するコードと同様に、文字の1バイト目のビットの状態を調べることによってその文字が何バイト文字を判定しています。
#include <stdio.h>
#include <string.h>
char *substr_utf8(char *dest, char *src, int offset, int len);
int _bytesize(unsigned char code);
int main(void)
{
char *testStr = "ABCDEFGあいうえおアイウエオ愛夢佐々木";
char strBuf[256];
memset(strBuf, 0, sizeof strBuf);
printf("substr_utf8($testStr, 0, 5) = %s\n", substr_utf8(strBuf, testStr, 0, 5));
printf("substr_utf8($testStr, 3, 3) = %s\n", substr_utf8(strBuf, testStr, 3, 3));
printf("substr_utf8($testStr, 10, 4) = %s\n", substr_utf8(strBuf, testStr, 10, 4));
printf("substr_utf8($testStr, 13, 5) = %s\n", substr_utf8(strBuf, testStr, 13, 5));
return 0;
}
/* UTF-8でエンコードされた文字列の部分文字列を取り出す */
/* substr_utf8 (文字列式, オフセット, 長さ)*/
char *substr_utf8(char *dest, char *src, int offset, int len)
{
int srclen = strlen(src);
int pos = 0;
int count = 0;
char *cp = dest;
while (pos < srclen) {
unsigned char code;
code = *(src + pos); /* ASCIIコード値を取得 */
int bytelen = _bytesize(code);
if (count >= offset && count < (offset + len)) {
memcpy(cp, (src + pos), bytelen);
cp += bytelen;
*cp = '\0';
}
pos += bytelen;
count++; /* 文字数をカウント */
}
return dest;
}
/* 文字のバイト長を求める */
int _bytesize(unsigned char code)
{
int size = 1;
int i;
if (0x80 & code) { /* 1バイト文字以外 */
for (i = 2; i <= 8; i++) {
code <<= 1;
if (!(0x80 & code)) {
break;
}
size++;
}
}
return size;
}
実行結果
$ ./substr_utf8
substr_utf8($testStr, 0, 5) = ABCDE
substr_utf8($testStr, 3, 3) = DEF
substr_utf8($testStr, 10, 4) = えおアイ
substr_utf8($testStr, 13, 5) = イウエオ愛
C言語のstrlen関数では文字列の長さとして返ってくる値はバイト単位となるので、UTF-8でエンコードされている場合、漢字、ひらがな、カタカナなどは1文字で3となってしまいます。
Webアプリケーションのテキスト処理ではそれでは不都合な場合もことも多いので、半角英数も全角文字(漢字、ひらがな、カタカナなど) も1文字としてカウントする関数を作成することにします。
#include <stdio.h>
#include <string.h>
int strlen_utf8(char *cp);
int _bytesize(unsigned char code);
int main(void)
{
char *testAscii = "ABCDEFG";
char *testHira = "あいうえお";
char *testKata = "アイウエ";
char *testKanji = "愛々木";
char *testAll = "ABCDEFGあいうえおアイウエオ愛夢佐々木";
printf("strlen(testAscii) = %d\n", strlen(testAscii));
printf("strlen_utf8(testAscii) = %d\n", strlen_utf8(testAscii));
printf("strlen(testHira) = %d\n", strlen(testHira));
printf("strlen_utf8(testHira) = %d\n", strlen_utf8(testHira));
printf("strlen(testKata) = %d\n", strlen(testKata));
printf("strlen_utf8(testKata) = %d\n", strlen_utf8(testKata));
printf("strlen(testKanji) = %d\n", strlen(testKanji));
printf("strlen_utf8(testKanji) = %d\n", strlen_utf8(testKanji));
printf("strlen(testAll) = %d\n", strlen(testAll));
printf("strlen_utf8(testAll) = %d\n", strlen_utf8(testAll));
return 0;
}
/* UTF-8でエンコードされた文字列の文字数を取得 */
int strlen_utf8(char *cp)
{
int textlen = strlen(cp);
int pos = 0;
int count = 0;
while (pos < textlen) {
unsigned char code;
code = *(cp + pos); /* ASCIIコード値を取得 */
int bytelen = _bytesize(code);
pos += bytelen;
count++; /* 文字数をカウント */
}
return count;
}
/* 文字のバイト長を求める */
int _bytesize(unsigned char code)
{
int size = 1;
int i;
if (0x80 & code) { /* 1バイト文字以外 */
for (i = 2; i <= 8; i++) {
code <<= 1;
if (!(0x80 & code)) {
break;
}
size++;
}
}
return size;
}
strlen_utf8関数では、1バイト目のASCIIコード値をパラメータとして_bytesize関数を呼び出して文字のバイト数を求め、1文字分の処理を行うたびに文字数をカウントアップしています。
また、_bytesize関数ではパラメータで渡されたコード値の場合の文字のバイト数を、コード値のビットの状態から判定して戻り値として返しています。
プロクラムの実行結果は以下のようになります。
kagahiro@kagahiro-PC ~/sample/c
$ ./strlen_utf8
strlen(testAscii) = 7
strlen_utf8(testAscii) = 7
strlen(testHira) = 15
strlen_utf8(testHira) = 5
strlen(testKata) = 12
strlen_utf8(testKata) = 4
strlen(testKanji) = 9
strlen_utf8(testKanji) = 3
strlen(testAll) = 52
strlen_utf8(testAll) = 22
まずカタカナより比較的プログラミングしやすそうな英数字の全角半角変換から作成します。
半角から全角への変換の処理手順は、
・半角英数字の場合は、同じ全角英数字に置き換えて戻り値として返す文字列に連結
・それ以外の文字の場合はそのまま戻り値として返す文字列に連結
また、全角から半角への変換の処理手順は、
・全角英数字の場合は、同じ半角英数字に置き換えて戻り値として返す文字列に連結
・それ以外の文字の場合はそのまま戻り値として返す文字列に連結
となります。
文字コードはそれぞれ以下の通りですので、これらに該当する文字があったら置き換えを行います。
半角数字:0 - 9
30 - 39
全角数字:0 - 9
EFBC90 - EFBC99
2バイト目まではEFBC
半角アルファベット大文字:A - Z
41 - 5A
全角アルファベット大文字:A - Z
EFBCA1 - EFBCBA
2バイト目まではEFBC
半角アルファベット小文字:a - z
61 - 7A
全角アルファベット小文字:a - z
EFBD80 - EFBD9A
2バイト目まではEFBD
以下が英数字の半角から全角へ、全角から半角への変換を行うコード(プログラム)です。
#!/usr/bin/perl
use strict;
use warnings;
use Encode;
my $hanAlnum = "ABCDEい12345あabcde";
my $zenAlnum = "ABCDEい12345あabcdeカ";
my $zenstr = han2zen_alnum($hanAlnum);
Encode::from_to($hanAlnum, 'utf8', 'cp932');
Encode::from_to($zenstr, 'utf8', 'cp932');
print "$hanAlnum ---> $zenstr\n";
my $hanstr = zen2han_alnum($zenAlnum);
Encode::from_to($zenAlnum, 'utf8', 'cp932');
Encode::from_to($hanstr, 'utf8', 'cp932');
print "$zenAlnum ---> $hanstr\n";
# UTF-8でエンコードされた半角英数字を全角英数字に変換する
sub han2zen_alnum {
my ($src) = @_;
my $srclen = length($src);
my $pos = 0;
my $dest = '';
while ($pos < $srclen) {
my $code = ord substr($src, $pos, 1); # 先頭のASCIIコード値を取得
my $bytelen = _bytesize($code);
my $lastbyte = 0;
my $bytechar = '';
my $flagged_utf8 = '';
if ($code >= 0x30 && $code <= 0x39) { # 数字
$lastbyte = 0x90 + ($code - 0x30);
$bytechar = pack("C3", 0xEF, 0xBC, $lastbyte);
$dest .= $bytechar;
}
elsif ($code >= 0x41 && $code <= 0x5A) { # 大文字英字
$lastbyte = 0xA1 + ($code - 0x41);
$bytechar = pack("C3", 0xEF, 0xBC, $lastbyte);
$dest .= $bytechar;
}
elsif ($code >= 0x61 && $code <= 0x7A) { # 小文字英字
$lastbyte = 0x81 + ($code - 0x61);
$bytechar = pack("C3", 0xEF, 0xBD, $lastbyte);
$dest .= $bytechar;
}
else {
$dest .= substr($src, $pos, $bytelen);
}
$pos += $bytelen;
}
return $dest;
}
# UTF-8でエンコードされた全角英数字を半角英数字に変換する
sub zen2han_alnum {
my ($src) = @_;
my $srclen = length($src);
my $pos = 0;
my $dest = '';
while ($pos < $srclen) {
my $code = ord substr($src, $pos, 1); # 先頭のASCIIコード値を取得
my $bytelen = _bytesize($code);
my $hit = 0;
if ($code == 0xEF) { # 全角英数の場合は1バイト目がEF
my $code2 = ord substr($src, $pos + 1, 1); # 2バイト目
my $code3 = ord substr($src, $pos + 2, 1); # 3バイト目
if ($code2 == 0xBC) {
if ($code3 >= 0x90 && $code3 <= 0x99) {
$dest .= chr(0x30 + ($code3 - 0x90));
$hit = 1;
}
elsif ($code3 >= 0xA1 && $code3 <= 0xBA) {
$dest .= chr(0x41 + ($code3 - 0xA1));
$hit = 1;
}
}
elsif ($code2 == 0xBD) {
if ($code3 >= 0x80 && $code3 <= 0x9A) {
$dest .= chr(0x61 + ($code3 - 0x80));
$hit = 1;
}
}
}
if(!$hit) {
$dest .= substr($src, $pos, $bytelen);
}
$pos += $bytelen;
}
return $dest;
}
# 文字のバイト長を求める
sub _bytesize {
my $code = shift;
my $size = 1;
if (0x80 & $code) { # 1バイト文字以外
$code <<= 1;
for my $i (2 .. 8) {
$size++;
$code <<= 1;
last if (!(0x80 & $code));
}
}
return $size;
}
1
アクセスランキング
今日のアクセスランキング TOP 10
- SQLのSELECT文で先頭から上位(TOP)10件のレコードを取得する方法(SQL Server、Oracle、MySQL、PostgreSQL) (40 PV)
- 2NN 2ちゃんねるニュース速報+ナビ (8 PV)
- 安全性重視の完全無料ナンピンマーチンEA「Million Dollar(ミリオンダラー)」 #FX #ゴールド #ビットコイン (4 PV)
- 2chまとめサイト - 痛いニュース(ノ∀`) (3 PV)
- SQLiteのSELECT文で上位 (TOP) n件のデータを取得する (2 PV)
- 無料のMT4向けナンピンマーチン爆益(爆損)EA「Jipangu(ジパング)」 (2 PV)
- 自作のMT4向け無料EA(口座縛り無し、ブローカー縛り無し、使用期限無し)とゴゴジャン出品中の有料EAの一覧 #MT4 (1 PV)
- ハイレバギャンブルトレードで爆益か爆損か? MT4向けの無料EA「10bagger(テンバガー)」 (1 PV)
- [FX]高値更新・安値更新でエントリー、MT4向け無料スキャルピングEA「1Scalper」#システムトレード (1 PV)
- [FX]裁量ポジションを簡単に管理できるMT4向け無料の裁量補助EA「PositionKeeper」 (1 PV)
今月のアクセスランキング TOP 10
- 2NN 2ちゃんねるニュース速報+ナビ (3273 PV)
- SQLのSELECT文で先頭から上位(TOP)10件のレコードを取得する方法(SQL Server、Oracle、MySQL、PostgreSQL) (488 PV)
- 安全性重視の完全無料ナンピンマーチンEA「Million Dollar(ミリオンダラー)」 #FX #ゴールド #ビットコイン (90 PV)
- 自作のMT4向け無料EA(口座縛り無し、ブローカー縛り無し、使用期限無し)とゴゴジャン出品中の有料EAの一覧 #MT4 (87 PV)
- SQLiteのSELECT文で上位 (TOP) n件のデータを取得する (70 PV)
- Million Dollar Ver 1.09向けの収益性を重視したゴールド(Gold、XAUUSD)ロングセットファイル (64 PV)
- 無料のMT4向けナンピンマーチン爆益(爆損)EA「Jipangu(ジパング)」 (60 PV)
- 仲値トレードが簡単にできる無料EA「NAKANE3 Ver 2.04」 #MT4 (58 PV)
- [FX]裁量ポジションを簡単に管理できるMT4向け無料の裁量補助EA「PositionKeeper」 (49 PV)
- 2chまとめサイト - 痛いニュース(ノ∀`) (46 PV)
アクセス統計
ディレクトリ
関連サイト