[言語]の検索結果
1バイト(8bit)の10進数を2進数の文字列に変換するコードのC言語版です。
C言語では、PerlやPHPなどのように2進文字列に変換してくれる便利な関数は関数はないので、ビット演算子を使ってビットのオン・オフを判定して、2進文字列を作成していくしかありません。
#include <stdio.h>
#include <string.h>
void dec2bin(char src, char *dest);
const int buf_size = 9;
int main(void)
{
char buf[buf_size]; /* 変換後の2進文字列を受け取るための領域 */
/* char str1[] = "abcdefg"; */
char str1[] = "あいうえお";
char *cp;
int num = 1;
for (cp = str1; *cp; cp++) { /* 文字数分処理 */
memset(buf, '\0', sizeof(buf));
dec2bin(*cp, buf);
printf("%d:%s (0x%02.2X)\n", num, buf, 0x000000ff & *cp);
num++;
}
return 0;
}
/* 1Byte(8bit)の10進数を2進数の文字列に変換 */
void dec2bin(char src, char *dest)
{
const int bit_size = 8;
int i;
for (i = 0; i < bit_size; i++) {
dest[i] = (0x80 & src) ? '1' : '0';
src <<= 1;
}
}
解きながら学ぶC言語
ソフトバンククリエイティブ 著者：柴田 望洋,肘井 真一,高木 宏典,赤尾 浩
amazon.co.jpのカスタマーレビューを見る
powered by amalink
Perlのlength関数ではバイト単位となるので、UTF-8でエンコードされている場合、漢字、ひらがな、カタカナなどは1文字で3となってしまいます。
ブログなどのアプリケーションのテキスト処理ではそれでは不都合な場合もことも多いので、半角英数も全角文字（漢字、ひらがな、カタカナなど） も1文字としてカウントする関数を作成することにします。
UTF-8では、
1バイト目の先頭ビットが0の場合は1バイト文字
1バイト目の先頭から3ビットが110の場合は2バイト文字
1バイト目の先頭から4ビットが1110の場合は3バイト文字
1バイト目の先頭から5ビットが11110の場合は4バイト文字
1バイト目の先頭から6ビットが111110の場合は5バイト文字
1バイト目の先頭から7ビットが1111110の場合は2バイト文字
という仕様ですので、1バイト目のビットの状態を調べることによって、その文字が何バイトかを調べることができます。
以下のコードでは、この仕様にもとづいて全角文字を含む文字列の文字数を取得しています。
#!/usr/bin/perl
use strict;
use warnings;
my $testAscii = "ABCDEFG";
my $testHira = "あいうえお";
my $testKata = "アイウエ";
my $testKanji = "愛々木";
my $testAll = "ABCDEFGあいうえおアイウエオ愛夢佐々木";
print "length($testAscii) = ".length($testAscii), "\n";
print "strlen_utf8($testAscii) = ".strlen_utf8($testAscii), "\n";
print "length($testHira) = ".length($testHira), "\n";
print "strlen_utf8($testHira) = ".strlen_utf8($testHira), "\n";
print "length($testKata) = ".length($testKata), "\n";
print "strlen_utf8($testKata) = ".strlen_utf8($testKata), "\n";
print "length($testKanji) = ".length($testKanji), "\n";
print "strlen_utf8($testKanji) = ".strlen_utf8($testKanji), "\n";
print "length($testAll) = ".length($testAll), "\n";
print "strlen_utf8($testAll) = ".strlen_utf8($testAll), "\n";
exit;
# UTF-8でエンコードされた文字列の文字数を取得する。
sub strlen_utf8 {
my ($text) = @_;
my $textlen = length($text);
my $pos = 0;
my $count = 0;
while ($pos < $textlen) {
my $code = ord substr($text, $pos, 1); # 先頭のASCIIコード値を取得
my $bytelen = _bytesize($code);
$pos += $bytelen;
$count++; # 文字数をカウント
}
return $count;
}
# 文字のバイト長を求める
sub _bytesize {
my ($code) = @_;
my $size = 1;
if (0x80 & $code) { # 1バイト文字以外
$size++;
$code <<= 1;
for my $i (2 .. 8) {
last if (!(0x80 & $code));
$size++;
$code <<= 1;
}
}
return $size;
}
strlen_utf8関数では、substr関数を使用して1バイト目のASCIIコード値を取得し、 _bytesize関数を呼び出して文字のバイト数を求め、1文字分の処理を行うたびに文字数をカウントアップしています。
_bytesize関数ではパラメータで渡されたコード値の場合の文字のバイト数を、コード値のビットの状態から判定し 戻り値として返しています。
ゼロからわかる Perl言語超入門
技術評論社 著者：高橋 順子
amazon.co.jpのカスタマーレビューを見る
powered by amalink
自然言語処理（しぜんげんごしょり、natural language processing、NLP）は、人間が日常的に使っている自然言語をコンピュータに処理させる一連の技術であり、人工知能と言語学の一分野。「計算言語学」（computational linguistics）も同じ意味だが、自然言語処理が工学的な視点からの言語処理をさすのに対して、計算言語学は言語学的視点を重視する手法をさす事が多い。データベース内の情報を自然言語に変換したり、自然言語の文章をより形式的な（コンピュータが理解しやすい）表現に変換するといった処理が含まれる。
自然言語処理の基礎技術にはさまざまなものがあるが、現在のところ、日本語を処理する基礎技術としては、形態素解析、構文解析、語義の曖昧性解消照応解析が主に研究されている。
自然言語処理 - Wikipedia
言語処理学会 The Association for Natural Language Processing
自然言語処理ツール
Python による日本語自然言語処理
Perl で自然言語処理
入門 自然言語処理
オライリージャパン 著者：Steven Bird,Ewan Klein,Edward Loper
amazon.co.jpのカスタマーレビューを見る
powered by amalink
アクセスランキング
今日のアクセスランキング TOP 10
- 安全性重視の完全無料ナンピンマーチンEA「Million Dollar（ミリオンダラー）」 #FX #ゴールド #ビットコイン (1 PV)
- MT4向けオープンソースナンピンマーチンEA「Automaton」 (1 PV)
今月のアクセスランキング TOP 10
- SQLのSELECT文で先頭から上位（TOP）10件のレコードを取得する方法（SQL Server、Oracle、MySQL、PostgreSQL） (1941 PV)
- 安全性重視の完全無料ナンピンマーチンEA「Million Dollar（ミリオンダラー）」 #FX #ゴールド #ビットコイン (317 PV)
- Google Finance（グーグルファイナンス）- リアルタイム株価情報、金融ニュース、日本株 (278 PV)
- MT4向けオープンソースナンピンマーチンEA「Automaton」 (163 PV)
- 自作のMT4向け無料EA（口座縛り無し、ブローカー縛り無し、使用期限無し）とゴゴジャン出品中の有料EAの一覧 #MT4 (144 PV)
- 完全無料のMT5用ナンピンEA「Nanpin K（ナンピンケイ） MT5」 (144 PV)
- [FX]高値更新・安値更新でエントリー、MT4向け無料スキャルピングEA「1Scalper」#システムトレード (136 PV)
- MT4向け1ポジアノマリーEA「DAY TRADING」オープンソースライセンス（GPL3）で公開 #ドル円 (129 PV)
- 完全無料のMT4向けナンピンEA「Nanpin K（ナンピンケイ）」 (117 PV)
- SQLiteのSELECT文で上位 (TOP) n件のデータを取得する (112 PV)
アクセス統計
ディレクトリ
関連サイト