[プログラミング]の検索結果
Perlで全角半角変換を行う主な方法としては、
・標準モジュールのEncode.pmを使う
・Unicode::Japaneseモジュールを使う
・全角半角の変換に特化したLingua::JA::Regular::Unicodeモジュールを使う
などがあります。
Encode.pmは標準モジュールですので比較的使いやすいですが、euc-jp以外の文字エンコードの場合はeuc-jpに変換する必要があります。
Unicode::Japaneseモジュールは、現状では一番使いやすいと思われますが、標準モジュールではないのでレンタルサーバーで動かすWebアプリケーションではちょっと使いにくい面もあります。
Lingua::JA::Regular::Unicodeは、全角半角の変換に特化したモジュールですので非常に軽量ですが、全角半角の変換以外の処理を考えるとuse utf8;しないと動作しないというのはかなり面倒です。
これらのモジュールを使った全角半角の変換のコードについては、以下のブログ記事などに記述されています。
Encodeで全角半角変換
Perl で半角カナと全角カナの変換をする : Serendip - Webデザイン・プログラミング
perl - で全角半角変換をモダンに行う
しかし、いずれの方法もそれぞれ若干使いにくい面があるので、モジュールを使わずに自力で全角半角変換を行う方法を考えたいと思います。
プログラマのための文字コード技術入門 (WEB+DB PRESS plus) (WEB+DB PRESS plusシリーズ)
技術評論社 著者：矢野 啓介
amazon.co.jpのカスタマーレビューを見る
powered by amalink
自然言語処理（しぜんげんごしょり、natural language processing、NLP）は、人間が日常的に使っている自然言語をコンピュータに処理させる一連の技術であり、人工知能と言語学の一分野。「計算言語学」（computational linguistics）も同じ意味だが、自然言語処理が工学的な視点からの言語処理をさすのに対して、計算言語学は言語学的視点を重視する手法をさす事が多い。データベース内の情報を自然言語に変換したり、自然言語の文章をより形式的な（コンピュータが理解しやすい）表現に変換するといった処理が含まれる。
自然言語処理の基礎技術にはさまざまなものがあるが、現在のところ、日本語を処理する基礎技術としては、形態素解析、構文解析、語義の曖昧性解消照応解析が主に研究されている。
自然言語処理 - Wikipedia
言語処理学会 The Association for Natural Language Processing
自然言語処理ツール
Python による日本語自然言語処理
Perl で自然言語処理
入門 自然言語処理
オライリージャパン 著者：Steven Bird,Ewan Klein,Edward Loper
amazon.co.jpのカスタマーレビューを見る
powered by amalink
Perlの関数を使用して、以下の手順で10進数を2進文字列に変換することができます。
- sprintf関数で10進数を16進文字列に変換
- pack関数で16進文字列をバイナリーにパック
- unpack関数で2進文字列に変換
例えば、文字列の先頭文字のASCIIコード値（10進数）を取得し、それを2進文字列に変換に変換する場合は、 次のようなコードになります。
#!/usr/bin/perl
use strict;
use warnings;
my $ascii = "ABC";
my $asciicode = ord $ascii; # 先頭文字のASCIIコード値を取得
my $str = _bitstr($asciicode, 8);
print "str = $str\n"; # for debug
exit;
# 10進数を2進文字列に変換する関数
sub _bitstr {
my ($code, $len) = @_;
my $hexcode = sprintf("%X", $code); # 16進に変換
my $bitstr = unpack("B".$len, pack("H2", $hexcode));
}
10進数を単に2進文字列に変換するだけならこれでも構わないのですが、ビット演算子を使ってビットのオン・オフを判定して、 2進文字列を作成していく方法もあります。以下のコードはその実装例です。
#!/usr/bin/perl
use strict;
use warnings;
my $ascii = "ABC";
my $asciicode = ord $ascii; # 先頭文字のASCIIコード値を取得
my $str = _bitstrR($asciicode, 8);
print "str = $str\n"; # for debug
exit;
# ビット演算で10進数を2進文字列に変換する関数
sub _bitstrR {
my ($code, $len) = @_;
my $bitstr = '';
for my $i (1 .. $len) {
$bitstr .= (0x80 & $code) ? '1' : '0'; # 0x80(2進数：10000000)でビット論理積をとる
$code <<= 1;
}
return $bitstr;
}
ここで問題になるのはどちらの方法が処理速度が優れているかということですが、以下のコードのプロファイルを取ると・・・
#!/usr/bin/perl
use strict;
use warnings;
my $ascii = "ABC";
my $asciicode = ord $ascii; # 先頭文字のASCIIコード値を取得
my $str = '';
for my $j (1 .. 10000) {
$str = _bitstr($asciicode, 8);
$str = _bitstrR($asciicode, 8);
}
print "str = $str\n"; # for debug
exit;
sub _bitstr {
my ($code, $len) = @_;
my $hexcode = sprintf("%X", $code); # 16進に変換
my $bitstr = unpack("B".$len, pack("H2", $hexcode));
}
sub _bitstrR {
my ($code, $len) = @_;
my $bitstr = '';
for my $i (1 .. $len) {
$bitstr .= (0x80 & $code) ? '1' : '0'; # 0x80(2進数：10000000)でビット論理積をとる
$code <<= 1;
}
return $bitstr;
}
C:\xampp\htdocs\sample>perl -d:Dprof bitstr3.pl
str = 01000001
C:\xampp\htdocs\sample>dprofpp
Total Elapsed Time = 0.018988 Seconds
User+System Time = 0.016988 Seconds
Exclusive Times
%Time ExclSec CumulS #Calls sec/call Csec/c Name
223. 0.038 0.038 10000 0.0000 0.0000 main::_bitstr
47.0 0.008 0.008 10000 0.0000 0.0000 main::_bitstrR
0.00 - -0.000 1 - - strict::import
0.00 - -0.000 1 - - warnings::import
0.00 - -0.000 1 - - strict::bits
0.00 - -0.000 2 - - main::BEGIN
やはり、ビット演算で2進文字列を作成するほうが早いようです。
プログラミングPerl〈VOLUME1〉
オライリー・ジャパン 著者：ラリー ウォール,ジョン オーワント,トム クリスチャンセン
amazon.co.jpのカスタマーレビューを見る
powered by amalink
アクセスランキング
今日のアクセスランキング TOP 10
- SQLのSELECT文で先頭から上位（TOP）10件のレコードを取得する方法（SQL Server、Oracle、MySQL、PostgreSQL） (88 PV)
- 自作のMT4向け無料EA（口座縛り無し、ブローカー縛り無し、使用期限無し）とゴゴジャン出品中の有料EAの一覧 #MT4 (16 PV)
- 安全性重視の完全無料ナンピンマーチンEA「Million Dollar（ミリオンダラー）」 #FX #ゴールド #ビットコイン (9 PV)
- Google Finance（グーグルファイナンス）- リアルタイム株価情報、金融ニュース、日本株 (7 PV)
- 人気ナンピンマーチンEA「NPNM_v3」向けサンプルセットファイル (6 PV)
- 直近の高値安値に水平線（ライン）を表示するMT4向け無料インジケーター「NekoNeko Line（ネコネコライン）」 (6 PV)
- 完全無料のMT4向けナンピンEA「Nanpin K（ナンピンケイ）」 (5 PV)
- 完全無料のMT5用ナンピンEA「Nanpin K（ナンピンケイ） MT5」 (4 PV)
- [FX]高値更新・安値更新でエントリー、MT4向け無料スキャルピングEA「1Scalper」#システムトレード (4 PV)
- SQLiteのSELECT文で上位 (TOP) n件のデータを取得する (4 PV)
今月のアクセスランキング TOP 10
- SQLのSELECT文で先頭から上位（TOP）10件のレコードを取得する方法（SQL Server、Oracle、MySQL、PostgreSQL） (1215 PV)
- 安全性重視の完全無料ナンピンマーチンEA「Million Dollar（ミリオンダラー）」 #FX #ゴールド #ビットコイン (209 PV)
- Google Finance（グーグルファイナンス）- リアルタイム株価情報、金融ニュース、日本株 (182 PV)
- MT4向けオープンソースナンピンマーチンEA「Automaton」 (124 PV)
- 自作のMT4向け無料EA（口座縛り無し、ブローカー縛り無し、使用期限無し）とゴゴジャン出品中の有料EAの一覧 #MT4 (110 PV)
- MT4向け1ポジアノマリーEA「DAY TRADING」オープンソースライセンス（GPL3）で公開 #ドル円 (110 PV)
- 完全無料のMT5用ナンピンEA「Nanpin K（ナンピンケイ） MT5」 (103 PV)
- [FX]高値更新・安値更新でエントリー、MT4向け無料スキャルピングEA「1Scalper」#システムトレード (98 PV)
- 完全無料のMT4向けナンピンEA「Nanpin K（ナンピンケイ）」 (83 PV)
- SQLiteのSELECT文で上位 (TOP) n件のデータを取得する (80 PV)
アクセス統計
ディレクトリ
関連サイト