[Perl]UTF-8でエンコードされた文字の文字コードを表示するプログラム
Unicodeの文字コード表によるとUTF-8の半角英数、全角英数、半角カナ、全角カナの文字コードは以下のようになるようです。 英数字の場合は半角と全角の文字がそれぞれ対応していますが、カタカナの場合は半角と全角では文字の数が違うようです。
半角数字:0 - 9
30 - 39
全角数字
EFBC90 - EFBC99
2バイト目まではEFBC
半角アルファベット大文字:A - Z
41 - 5A
全角アルファベット大文字:A - Z
EFBCA1 - EFBCBA
2バイト目まではEFBC
半角アルファベット小文字:a - z
61 - 7A
全角アルファベット小文字:a - z
EFBD80 - EFBD9A
2バイト目まではEFBD
半角カナ(JISカナ)
EFBDA1 - EFBE9F
1バイト目がEFで2バイト目、3バイト目がBDA1 - BE9Fの範囲
全角カタカナ
E38299 - E383BF
1バイト目がE3で2バイト目、3バイト目が82A1 - 83BFの範囲
Unicode対応 文字コード表
http://ash.jp/code/unitbl1.htm
http://ash.jp/code/unitbl21.htm
動作確認用にまずUTF-8の文字コードを表示するプログラムを作成します。
#!/usr/bin/perl
use strict;
use warnings;
use Encode;
my $hanAlnum = "ABCDE12345abcde";
my $zenAlnum = "ABCDE12345abcde";
my $hanKana = "アイウエオ";
my $zenKana = "アイウエオ";
print_charcode($hanAlnum);
print "\n";
print_charcode($zenAlnum);
print "\n";
print_charcode($hanKana);
print "\n";
print_charcode($zenKana);
print "\n";
# UTF-8でエンコードされた文字列の文字コードを表示する
sub print_charcode {
my ($src) = @_;
my $srclen = length($src);
my $pos = 0;
while ($pos < $srclen) {
my $code = ord substr($src, $pos, 1); # 先頭のASCIIコード値を取得
my $bytelen = _bytesize($code);
my $srcchar = substr($src, $pos, $bytelen);
my $codestr = sprintf("%2.2X ", $code);
if ($bytelen > 1) {
my $times = $bytelen - 1;
for my $i (1 .. $times) {
my $charcode = ord substr($src, $pos + $i, 1);
$codestr .= sprintf("%2.2X ", $charcode);
}
}
# Windowsで表示するのでcp932(シフトJIS)に変換
Encode::from_to($srcchar, 'utf8', 'cp932');
print "$srcchar : $codestr\n";
$pos += $bytelen;
}
}
# 文字のバイト長を求める
sub _bytesize {
my $code = shift;
my $size = 1;
if (0x80 & $code) { # 1バイト文字以外
$code <<= 1;
for my $i (2 .. 8) {
$size++;
$code <<= 1;
last if (!(0x80 & $code));
}
}
return $size;
}
Perl Hacks ―プロが教えるテクニック & ツール101選
オライリー・ジャパン 著者:chromatic,Damian Conway,Curtis "Ovid" Poe
amazon.co.jpのカスタマーレビューを見る
powered by amalink
オープン | 0 point | Link (1) | Trackback (0) | Comment (0)
キーワード
[Perl]UTF-8でエンコードされた文字の文字コードを表示するプログラム 関連リンク
Perlで全角半角変換を行う方法 | |
日本語の文章では半角の英数字と全角の英数字、また、半角のカタカナと全角のカタカナが混在していることがよくあります。意味は半角でも全角でも同じですので、コンピュータで処理する場合はどちらかに統一してから... |
[Perl]UTF-8でエンコードされた文字の文字コードを表示するプログラム トラックバック
トラックバックURL :
[Perl]UTF-8でエンコードされた文字の文字コードを表示するプログラムへのコメント
アクセスランキング
今日のアクセスランキング TOP 10
- [PR]noteで販売しているEAの使用期限を無期限にして価格を改定します。 (1 PV)
- GCC開発者らがGoogleの「Go言語」をサポートする方針を発表 - SourceForge.JP Magazine (1 PV)
- [将棋]豊島将之八段の作戦勝ちで前回準優勝の佐藤和俊六段に完全勝利 #NHK杯 (1 PV)
- ナンピンEA「Nanpin K」のサンプルセットファイルを公開 (1 PV)
- PRISM(プリズム) (1 PV)
- 民主党小沢代表辞意撤回の茶番劇 (1 PV)
- [FX]裁量ポジションの自動トレールや時間決済ができるMT4向け無料ツール(EA)「PositionKeeper」をバージョンアップ (1 PV)
- Windows Live Writer(ブログエディタ) (1 PV)
- MT4向けブレイクアウトEA「NEKONEKO(ネコネコ) FREE」(0.01ロット固定、無料、使用期限無し) (1 PV)
今月のアクセスランキング TOP 10
- SQLのSELECT文で先頭から上位(TOP)10件のレコードを取得する方法(SQL Server、Oracle、MySQL、PostgreSQL) (344 PV)
- 2NN 2ちゃんねるニュース速報+ナビ (43 PV)
- 安全性重視の完全無料ナンピンマーチンEA「Million Dollar(ミリオンダラー)」 #FX #ゴールド #ビットコイン (31 PV)
- [PR]noteで販売している自作EAの一覧 (31 PV)
- DECOLOG(デコログ) (29 PV)
- SQLiteのSELECT文で上位 (TOP) n件のデータを取得する (28 PV)
- 裁量トレードを半自動化する無料のMT5向け裁量トレード支援ツール(裁量補助EA)「PositionKeeper MT5」 #FX (27 PV)
- Google News (グーグルニュース)日本版 (26 PV)
- 仲値トレードが簡単にできる無料EA「NAKANE3 Ver 2.04」 #MT4 (23 PV)
- 自作のMT4向け無料EA(口座縛り無し、ブローカー縛り無し、使用期限無し)とゴゴジャン出品中の有料EAの一覧 #MT4 (22 PV)
アクセス統計
ディレクトリ
関連サイト