語句ログ - ニュース、プログラミング、システムトレードの用語解説

[Perl]UTF-8でエンコードされた文字の文字コードを表示するプログラム

Mon, 17 Dec 2012 00:25:00 +0900

Unicodeの文字コード表によるとUTF-8の半角英数、全角英数、半角カナ、全角カナの文字コードは以下のようになるようです。英数字の場合は半角と全角の文字がそれぞれ対応していますが、カタカナの場合は半角と全角では文字の数が違うようです。

半角数字:0 - 9
30 - 39

全角数字
EFBC90 - EFBC99
2バイト目まではEFBC

半角アルファベット大文字:A - Z
41 - 5A

全角アルファベット大文字:Ａ - Ｚ
EFBCA1 - EFBCBA
2バイト目まではEFBC

半角アルファベット小文字:a - z
61 - 7A

全角アルファベット小文字:ａ - ｚ
EFBD80 - EFBD9A
2バイト目まではEFBD

半角カナ（JISカナ）
EFBDA1 - EFBE9F
1バイト目がEFで2バイト目、3バイト目がBDA1 - BE9Fの範囲

全角カタカナ
E38299 - E383BF
1バイト目がE3で2バイト目、3バイト目が82A1 - 83BFの範囲

Unicode対応文字コード表
http://ash.jp/code/unitbl1.htm
http://ash.jp/code/unitbl21.htm

動作確認用にまずUTF-8の文字コードを表示するプログラムを作成します。

#!/usr/bin/perl

use strict;
use warnings;
use Encode;

my $hanAlnum = "ABCDE12345abcde";
my $zenAlnum = "ＡＢＣＤＥ１２３４５ａｂｃｄｅ";
my $hanKana = "ｱｲｳｴｵ";
my $zenKana = "アイウエオ";

print_charcode($hanAlnum);
print "\n";

print_charcode($zenAlnum);
print "\n";

print_charcode($hanKana);
print "\n";

print_charcode($zenKana);
print "\n";

# UTF-8でエンコードされた文字列の文字コードを表示する
sub print_charcode {
    my ($src) = @_;

    my $srclen = length($src);
    my $pos = 0;

    while ($pos < $srclen) {
        my $code = ord substr($src, $pos, 1); # 先頭のASCIIコード値を取得
        my $bytelen = _bytesize($code);
        my $srcchar = substr($src, $pos, $bytelen);
        my $codestr = sprintf("%2.2X ", $code);
        if ($bytelen > 1) {
            my $times = $bytelen - 1;
            for my $i (1 .. $times) {
                my $charcode = ord substr($src, $pos + $i, 1);
                $codestr .= sprintf("%2.2X ", $charcode);
            }
        }

        # Windowsで表示するのでcp932（シフトJIS）に変換
        Encode::from_to($srcchar, 'utf8', 'cp932');
        print "$srcchar : $codestr\n";
        $pos += $bytelen;
    }
}

# 文字のバイト長を求める
sub _bytesize {
    my $code = shift;
    my $size = 1;
    if (0x80 & $code) { # 1バイト文字以外
        $code <<= 1;
        for my $i (2 .. 8) {
            $size++;
            $code <<= 1;
            last if (!(0x80 & $code));
        }
    }
    return $size;
}

Perl Hacks ―プロが教えるテクニック & ツール101選
オライリー・ジャパン著者：chromatic,Damian Conway,Curtis "Ovid" Poe

amazon.co.jpのカスタマーレビューを見る
powered by amalink

Link(1) | Trackback(0) | Comment(0)

キーワード

Perl 全角半角 文字コード 表示 日本語

語句ログ - ニュース、プログラミング、システムトレードの用語解説 - 日本の注目ニュース、コンピュータープログラミング（C/C++,Perl,PHP,SQL）、システムトレード（FX,CFD,株価指数,先物）に関する語句（Word）を日本語や英語で解説

[gcc]iconvで文字エンコードを変換するサンプルプログラム

Mon, 26 Jul 2010 09:54:29 +0900

単にテキストファイル等の文字エンコードを変換するのであれば、iconvコマンドを使用して変換すれば良いのですが、プログラム内部で取得した文字列の文字エンコードを変換したい場合もあります。

以下のプログラムはLinuxやCygwinの環境でC言語のプログラムからiconvを呼び出して文字エンコードを変換する場合の手順を示したサンプルプログラムです。

--- tst_iconv.c ---

#include <stdio.h>#include <iconv.h>#define  BUFSIZE  1024char outbuf[BUFSIZE];int convert(char const *src,            char const *dest,            char const *text,            char *buf,            size_t bufsize);main(void){    int ret;    ret = convert("SHIFT-JIS", "UTF-8",                  "日本語テストメッセージおはよう",                  outbuf, sizeof(outbuf));    if (ret) {        printf("%s\n", outbuf);    }    else {        printf("Oops!\n");    }}int convert(char const *src,            char const *dest,            char const *text,            char *buf,            size_t bufsize){    iconv_t cd;    size_t srclen, destlen;    size_t ret;    cd = iconv_open(dest, src);    if (cd == (iconv_t)-1) {        perror("iconv open");        return 0;    }    srclen = strlen(text);    destlen = bufsize - 1;    memset(buf, '\0', bufsize);    ret = iconv(cd, &text, &srclen, &buf, &destlen);    if (ret == -1) {        perror("iconv");        return 0;    }    iconv_close(cd);    return 1;}

コンパイル方法
$ gcc -o tst_iconv tst_iconv.c -liconv

ICONV

Link(2) | Trackback(0) | Comment(0)

キーワード

C言語 プログラミング

IPA、Webサービスの相互運用性に関するJIS規格を公示

Thu, 22 Jul 2010 00:05:13 +0900

IPA（情報処理推進機構）オープンソフトウェア・センターが中心となって原案作成を進めてきたWebサービスの相互運用性に関するJIS規格（JIS X 7361、JIS X 7362、JIS X 7363）が公示された。これらのJIS規格を活用することにより、相互運用性の高いWebサービスを構築することが可能になる。

公示されたJIS規格は、Webサービス技術を推進する国際的な業界団体であるWS-Iが、2008年に制定したISO/IEC 29361:2008、ISO/IEC 29362:2008及びISO/IEC 29363:2008の三つの国際規格を、国内のITベンダー及び国内のユーザーからもより容易に、広く活用されることを目指し、IPAが日本語への翻訳を行うとともに、JIS規格とするための作業に取り組んできたもの。

情報処理推進機構：プレス発表：記事：Webサービス相互運用性関連JIS規格の公示について

Link(2) | Trackback(0) | Comment(0)

キーワード

IPA Webサービス JIS 規格

Ruby Draft Specification

Mon, 07 Dec 2009 20:13:43 +0900

IPAがJIS規格として標準化を進めているオープンソースのプログラミング言語「Ruby」の標準化仕様のドラフト（英語）。Ruby言語の構文、データ構造、組み込みクラス・モジュールの一部について定義されている。

Link(2) | Trackback(0) | Comment(0)

キーワード

Ruby 標準化 IPA

オープンソースのブログソフト「59Tracker 2.0 alpha版」を公開

Mon, 20 Nov 2006 14:50:08 +0900

当ブログ（語句ログ）のシステムとしても使用しているオープンソースの無料ブログソフト「59Tracker 2.0 alpha版」を GPL(GNU General Public License) で公開しました。

文字エンコードはシフトJISとUTF-8の2種類用意していますので、使用するサーバーの環境時合わせて選択してください。

サンプルとしてデモ用のブログを用意していますので、使用できる機能は限定されていますが、よろしければログインして使ってみていただければと思います。

編集者用のユーザーID、パスワードが「demo1」、読者用のユーザーID、パスワード「demo2」となっています。編集者用のユーザーIDでログインし、トピックの詳細画面のメニューから新規作成をクリックすることで新規のトピックを作成できます。

59Tracker 2.0 の特徴
59Tracker 2.0 は個人がオリジナルのブログサイトを構築し、アフィリエイト等によって効率的に広告収入を獲得することを可能にするブログソフトウェアです。

ページ単位のアフィリエイト広告管理
トピック毎に3種類のサイズ（300x250、160x600、468x60）の異なるアフィリエイト広告リンクを設定できるため、コンテンツの内容にマッチした広告をページデザインを損なうことなくクリック率の高い掲載位置に表示するとこができます。

共有ブックマーク機能
ユーザー（管理者、編集者、読者）として登録されているユーザーで共有するブックマークを登録することができます。

タグ機能
トピックや共有ブックマークにタグ（キーワード）を設定することができます。タグをクリックすることで関連するトピックや共有ブックマークの一覧を表示することができます。また、トピックの新規作成の際に親トピックのタグを引き継ぐため、関連するトピックを効率的にキーワード（タグ）で分類することができます。

全文検索機能
トピックや共有ブックマークを複数のキーワードを指定（半角スペース区切）して全文検索できるため、迅速に過去のトピック（記事）やブックマークを探すことができます。

高いSEO効果
メタタグや見出しタグなどを効果的に活用したページデザインにより検索エンジンに対する高いSEO効果が期待できます。また、Google、Yahoo!、Microsoftの検索エンジン大手3社がサポートするサイトマッププロトコル「Sitemaps 0.90」に標準で対応しています。

Link(4) | Trackback(0) | Comment(0)

キーワード

オープンソース ブログ

SQL 書籍

Fri, 23 Jun 2006 05:59:57 +0900

リレーショナルデータベースの標準言語であるSQLに関する入門書やリファレンス、プログラミング解説書などの書籍。

SQLプログラミング入門―12のレッスンで学ぶリレーショナルデータベース実践講座
サンプル中心のチュートリアル形式で、豊富な実例に触れながら実践的な知識を習得できるように編集したテキスト。理論と実践、規格と実装の両面がバランスよくカバーされている。

初めてのSQL
SQL言語に初めて触れるプログラマを対象にSQL言語の基本を解説。「データベースの歴史」から「データベースの作成と設定」「クエリ」「フィルタリング」「複数テーブルからのデータの取得」「集合」「データの作成、変換、操作」「グループ化と集約化」「サブクエリ」「結合」「条件ロジック」「トランザクション」「インデックスと制約」などが丁寧に解説された書籍。

改訂新版 SQLポケットリファレンス
基本コマンドからプログラミングインターフェースまで網羅したSQLのポケットリファレンス。Oracle、SQL Server、MS Access、DB2、PostgreSQL、MySQLに対応。

SQLプログラミング―OracleとAccessで学ぶSQLの基本
OracleとAccessを使いながらSQLを使って実践的な問題を解決する方法が解説された書籍。

SQLハンドブック
SQLの基本をわかりやすく解説した後で、SQLのコマンドや演算子、関数が実用的なリファレンスとしてまとめられている書籍。

現場で使えるSQL―Oracle/SQL Server対応
データベース言語であるSQLの基本事項を、例題→正解→解説の構成で詳解。例題は「現場で使える」100の例題を取り上げているので事例引きリファレンスとしても活用できる書籍。

プロとしてのSQLチューニング入門
最も効果のあるパフォーマンス・チューニングの１つ、SQLチューニングを詳しく解説している書籍。Oracleアーキテクチャを考慮したSQLを書くことでデータベースを高速化できる。

SQLクックブック ―データベースエキスパートのための実践レシピ集
日々の仕事に役立つ一般的なSQLの問題とその解決策を集めたレシピ集。各レシピは関連する話題ごとに章に分類されている。

プログラマのためのSQL 第2版
SQLのプログラミングの高度なテクニックやクエリーを最適化する方法、ちょっとしたコツなども解説されている。データベースを利用した業務アプリケーションを開発するプログラマにとって非常に役に立つ解説書。

SQL逆引き大全333の極意―Oracle/SQL Server/Microsoft Jet対応
SQLの基本から業務テクニックまでを網羅する解説書。見やすく使いやすいサンプル文、目的別索引・用語索引などはスキルアップに最適な書籍。

SQLスーパーテキスト
JIS SQL原案作成委員会などの委員を務めるSQLのエキスパートが執筆したデータベース言語SQLの解説書。 SQL 92のEntry SQL（初級SQL）から、SQL 99で追加された、オブジェクト指向のための機能やオンライン分析処理（SQL/OLAP）のための多次元データ処理機能に関する仕様まで幅広くカバーしている書籍。

Link(8) | Trackback(0) | Comment(0)

キーワード

SQL 書籍本 プログラミング 解説書 入門書

Amazon ECSを利用して画像付き商品リンクを作成するPerlスクリプト

Tue, 13 Jun 2006 00:58:57 +0900

Amazon ECSを利用して画像付き個別商品リンクを作成するPerlスクリプトを作成しました。ただし、書籍、CD、DVDにしか対応していません。これ以外の商品の場合はカスタマイズが必要になります。

動作環境としては、Windows 2000/XPでActive Perl 5.8.1以降がインストールされていることが前提です。

スクリプト内の

my $keyid = "[Access Key ID]";
my $associateid = "[アソシエイトID]";

の部分をそれぞれ、自分のAccess Key ID、アソシエイトIDに置き換え、コマンドプロンプトで、以下のように該当商品のASINを指定して実行します。

perl amazonecs.pl > link.txt

正常に実行されると、link.txtに文字エンコードはシフトJISで、個別商品へのリンクが出力されます。

amazonecs.txt
※右クリック、名前を付けてリンク先を保存でファイル名をamazonecs.plに変更して自分のパソコンに保存してください。

Link(3) | Trackback(0) | Comment(0)

キーワード

Amazon perl スクリプト

文字エンコード

Fri, 19 May 2006 02:33:26 +0900

文字エンコードとは、ある文字セットに含まれる個々の文字と、コンピュータで表現できる数値とのマッピングのことで、これらの数値は 1 バイトまたはマルチバイトで表現される。日本語の表現には、Shift-JIS、EUC-JP、ISO-2022-JPなどの日本語エンコードが使用される。

文字コードの話

Link(1) | Trackback(0) | Comment(0)

キーワード

文字 エンコード

Legacy Encoding Project（レガシー・エンコーディング・プロジェクト）

Fri, 19 May 2006 00:48:33 +0900

Legacy Encoding Projectとは、libiconv、glibc、Perl、Ruby、Python、PHP、ostgreSQL、MySQL、nkf などの主要なOSS（オープンソースソフトウェア）において、Microsoft標準キャラクタセットをシフト JIS符号化方式、日本語EUC符号化方式、7ビットJISコード符号化方式の各々の間で相互変換できるようにする事を目的とする、ミラクル・リナックスの技術者が深く関与しているオープンソースのプロジェクトのこと。

Legacy Encoding Project
Legacy Encoding Project(ミラクル・リナックス)

登録日: 2006-03-14 16:15
活発さ: 0%

うーん、どこでどのような活動が行なわれているのかは不明（もしかしてミラクル・リナックス社内で活動？）ですが、2006年5月17日にはオフラインミーティングが開催されたようです。

(en)?cod(e|ing)の話をするならcodeしてる奴を呼ばんか!?

Legacy Encoding Projectについてはどこかのメーリングリストで見た記憶があるのですが、このエントリを読んで思い出しました。

Link(2) | Trackback(1) | Comment(0)

キーワード

文字 エンコード

C言語

Sat, 02 Apr 2005 18:51:51 +0900

C言語とは、AT&T社のベル研究所でデニス・リッチー氏とカーニハン氏の両氏によって開発されたプログラミング言語のことで、アメリカ規格協会(ANSI)によって1986年に標準化され、国際標準化機構(ISO)や日本工業規格(JIS)にも採用されている。

猫でもわかるプログラミング
プログラミング超初心者を対象とするC/C++言語のプログラム教室。Windows SDKの解説もある。

C言語 FAQ 日本語訳
「C Programming FAQs: Frequently Asked Questions」の日本語訳。

C言語書籍
C言語の入門書や技術解説書。
Link(5) | Trackback(0) | Comment(0)

キーワード

C言語 プログラミング