語句ログ - ニュース、プログラミング、システムトレードの用語解説

Unicodeエスケープシーケンス

Mon, 01 Jul 2013 17:23:39 +0900

Unicodeエスケープシーケンスは、\uXXXX(Xは十六進)の6バイトの形でUnicodeの1文字が表される文字の表記方法で、例えば、「あ」という文字はUnicodeエスケープシーケンスで「\u3042」と表記される。

Unicode エスケープシーケンス変換
Unicodeエスケープシーケンス変換ツール
C++でunicode escape sequenceをutf8にする

Link(1) | Trackback(0) | Comment(0)

キーワード

Unicode 文字 変換ツール

語句ログ - ニュース、プログラミング、システムトレードの用語解説 - 日本の注目ニュース、コンピュータープログラミング（C/C++,Perl,PHP,SQL）、システムトレード（FX,CFD,株価指数,先物）に関する語句（Word）を日本語や英語で解説

[Perl]UTF-8でエンコードされた文字の文字コードを表示するプログラム

Mon, 17 Dec 2012 00:25:00 +0900

Unicodeの文字コード表によるとUTF-8の半角英数、全角英数、半角カナ、全角カナの文字コードは以下のようになるようです。英数字の場合は半角と全角の文字がそれぞれ対応していますが、カタカナの場合は半角と全角では文字の数が違うようです。

半角数字:0 - 9
30 - 39

全角数字
EFBC90 - EFBC99
2バイト目まではEFBC

半角アルファベット大文字:A - Z
41 - 5A

全角アルファベット大文字:Ａ - Ｚ
EFBCA1 - EFBCBA
2バイト目まではEFBC

半角アルファベット小文字:a - z
61 - 7A

全角アルファベット小文字:ａ - ｚ
EFBD80 - EFBD9A
2バイト目まではEFBD

半角カナ（JISカナ）
EFBDA1 - EFBE9F
1バイト目がEFで2バイト目、3バイト目がBDA1 - BE9Fの範囲

全角カタカナ
E38299 - E383BF
1バイト目がE3で2バイト目、3バイト目が82A1 - 83BFの範囲

Unicode対応文字コード表
http://ash.jp/code/unitbl1.htm
http://ash.jp/code/unitbl21.htm

動作確認用にまずUTF-8の文字コードを表示するプログラムを作成します。

#!/usr/bin/perl

use strict;
use warnings;
use Encode;

my $hanAlnum = "ABCDE12345abcde";
my $zenAlnum = "ＡＢＣＤＥ１２３４５ａｂｃｄｅ";
my $hanKana = "ｱｲｳｴｵ";
my $zenKana = "アイウエオ";

print_charcode($hanAlnum);
print "\n";

print_charcode($zenAlnum);
print "\n";

print_charcode($hanKana);
print "\n";

print_charcode($zenKana);
print "\n";

# UTF-8でエンコードされた文字列の文字コードを表示する
sub print_charcode {
    my ($src) = @_;

    my $srclen = length($src);
    my $pos = 0;

    while ($pos < $srclen) {
        my $code = ord substr($src, $pos, 1); # 先頭のASCIIコード値を取得
        my $bytelen = _bytesize($code);
        my $srcchar = substr($src, $pos, $bytelen);
        my $codestr = sprintf("%2.2X ", $code);
        if ($bytelen > 1) {
            my $times = $bytelen - 1;
            for my $i (1 .. $times) {
                my $charcode = ord substr($src, $pos + $i, 1);
                $codestr .= sprintf("%2.2X ", $charcode);
            }
        }

        # Windowsで表示するのでcp932（シフトJIS）に変換
        Encode::from_to($srcchar, 'utf8', 'cp932');
        print "$srcchar : $codestr\n";
        $pos += $bytelen;
    }
}

# 文字のバイト長を求める
sub _bytesize {
    my $code = shift;
    my $size = 1;
    if (0x80 & $code) { # 1バイト文字以外
        $code <<= 1;
        for my $i (2 .. 8) {
            $size++;
            $code <<= 1;
            last if (!(0x80 & $code));
        }
    }
    return $size;
}

Perl Hacks ―プロが教えるテクニック & ツール101選
オライリー・ジャパン著者：chromatic,Damian Conway,Curtis "Ovid" Poe

amazon.co.jpのカスタマーレビューを見る
powered by amalink

Link(1) | Trackback(0) | Comment(0)

キーワード

Perl 全角半角 文字コード 表示 日本語

自然言語処理（しぜんげんごしょり）

Sun, 09 Dec 2012 22:59:04 +0900

自然言語処理（しぜんげんごしょり、natural language processing、NLP）は、人間が日常的に使っている自然言語をコンピュータに処理させる一連の技術であり、人工知能と言語学の一分野。「計算言語学」（computational linguistics）も同じ意味だが、自然言語処理が工学的な視点からの言語処理をさすのに対して、計算言語学は言語学的視点を重視する手法をさす事が多い。データベース内の情報を自然言語に変換したり、自然言語の文章をより形式的な（コンピュータが理解しやすい）表現に変換するといった処理が含まれる。

自然言語処理の基礎技術にはさまざまなものがあるが、現在のところ、日本語を処理する基礎技術としては、形態素解析、構文解析、語義の曖昧性解消照応解析が主に研究されている。

自然言語処理 - Wikipedia
言語処理学会 The Association for Natural Language Processing
自然言語処理ツール
 Python による日本語自然言語処理
 Perl で自然言語処理

入門自然言語処理
オライリージャパン著者：Steven Bird,Ewan Klein,Edward Loper

amazon.co.jpのカスタマーレビューを見る
powered by amalink

Link(1) | Trackback(0) | Comment(0)

キーワード

自然言語 コンピュータ プログラミング 人工知能

「xVideoServiceThief」無料の動画ダウンロードツール

Wed, 18 Apr 2012 16:49:35 +0900

xVideoServiceThief とは

xVideoServiceThiefは、YouTube、USTREAM、Yahoo! Video、YourFileHostなど様々な動画共有サイトの動画を、AVI、WMV、MPEG1、MPEG2、MP4、MP4 HD、3GP、MP3形式またはApple iPod、Sony PSP用に変換できるオープンソースソフト（ライセンスはGPL）。OSは、Windows、Linux、MAC OS Xに対応している。

xVideoServiceThief (a.k.a xVST) is a tool for downloading your favourite video clips from a lot of video websites (currently supports 93 websites and increasing!).

xVideoServiceThief also provide you the ability to convert each video in most popular formats: AVI, MPEG1, MPEG2, WMV, MP4, 3GP, MP3 file formats.

xVideoServiceThiefのダウンロード

xVideoServiceThief Official Web site

xVideoServiceThiefの使い方の解説

無料で多くの動画サイトからAVI・MP4形式などに変換してダウンロードできる「xVideoServiceThief」

Link(7) | Trackback(0) | Comment(0)

キーワード

無料 オープンソース 動画 ダウンロード

59Trackerのブックマーク機能を見直し中

Sat, 17 Oct 2009 18:52:24 +0900

Twitterのつぶやきを見ていると、どこかのサイトのコンテンツを紹介するソーシャルブックマーク的な使い方が多いのですが、こうしてみるとTwitterもブログもソーシャルブックマークも役割的には似たようなものですね。

もちろん情報を探しやすいかどうかも大事なのでしょうが、コミュニティツールとって最も重要なのは、「どこかのサイトのコンテンツを紹介する」「とりあえずすぐに書き込んで公開できる」この二つが手軽にできるということなのでしょう。

そうして考えると、今の59Trackerのブックマーク機能は少し使いにくいかも知れません。というわけで、59Trackerのブックマーク機能を見直している最中です。

とりあえず、59bbs.orgにブックマーク機能を試験的に追加してみました。データ変換をしないといけないのでちょっとやっかいなのですが、59Trackerも同じような機能にするつもりです。

59bbs.orgにブックマーク機能を導入しました

Link(2) | Trackback(0) | Comment(0)

キーワード

59Tracker ブログ ソーシャル ブックマーク

YouTubeダウンロードソフト「YouTube2iPod」

Tue, 09 Sep 2008 22:42:22 +0900

フロントラインが、ワンクリックでYouTubeの動画をダウンロードし、PCやiPhone、iPod touch、iPod nano等で再生できるYouTubeダウンロードソフト「YouTube2iPod」を、2008年10月10日に発売する。ファイル形式の変換機能も搭載しており、既存 .flv、.mpg、.avi、.wmv、.wav、.mp3の各ファイルを .avi、.mp3、.mp4、.wmvに変換できる。価格はダウンロード版が2,940円、パッケージ版が3,990円。

YouTube動画のダウンロードソフト「YouTube2iPod」

YouTubeの動画をダウンロードしてiPodや携帯で再生できる無料ソフトが既にあるようですが、売れるのでしょうか。

YouTubeをiPodや携帯に変換ダウンロード - TubeFire.com
iPodにYouTube動画をダウンロード保存するやり方
YouTube→iPod変換ツール「PodTube（Mac）」「iTube（Windows）」
YouTubeの動画をダウンロードしてiPod用に変換する - iPod LOVE

Link(2) | Trackback(0) | Comment(0)

キーワード

YouTube iPod ダウンロード 動画変換 iPhone

ようつべ (YouTube) 動画のダウンロードと保存

Mon, 29 Oct 2007 03:16:25 +0900

ようつべ(YouTube)の動画をダウンロードしてファイルに保存できるオンラインサービスとソフトウェア

無料でようつべ（YouTube）などの動画共有サイトの動画をダウンロードしてパソコンにファイルとして保存できるオンラインサービスやソフトウェアの紹介。

ClipConverter.cc
Youtube瞬速ダウンロード
Youtube mp3
Freemake Video Downloader

ClipConverter.cc

ようつべ（YouTube）やDailymotionなどほぼすべての音声、動画サイトのURLを一般的なフォーマット(MP3、M4A、ACC、MP4、3GP、AVI、MOV)に変換することができる無料オンラインサービス。

Youtube瞬速ダウンロード

ようつべ動画のリンクを入力してダウンロードできるオンラインサービス。

Youtube mp3

ようつべ動画をワンクリックでMP3音楽ファイルに変換してダウンロードできるサイト。ようつべ動画から音声を抜き出す場合はこのサイトが便利。

Freemake Video Downloader

ようつべ（YouTube）、ニコニコ動画など10,000以上のサイトから動画をダウンロードすることができる無料フリーソフト。あらゆるオンラインビデオをMP3、AVI、MKV、iPod、iPhone、Android、PSP用に変換できる。

ようつべ（ユーチューブ）とは

ようつべ（ユーチューブ）とは、米Google配下の動画共有サイト「YouTube」のことで、日本では2ちゃんねらーなどがローマ字読みで「ようつべ」と読んでいるが、「YouTube」の正しいし読み方はもちろんユーチューブである。

Link(9) | Trackback(1) | Comment(1)

キーワード

YouTube 動画 ようつべ ダウンロード ユーチューブ 保存 ニコニコ

iPod touch/iPhone向けWebアプリの公式ディレクトリ

Sun, 14 Oct 2007 00:29:24 +0900

アップルがiPod touch（アイポッドタッチ）、iPhoneで利用できるサードパーティ製のWebアプリケーションを集めた公式ディレクトリを公開した。エンターテインメント、ゲーム、ニュース、検索ツール、ソーシャルネットワーキングなど、11のカテゴリーが用意されており、すでに200以上のWebアプリが登録されている。

Apple、iPod touch/iPhone向けWebアプリの公式ディレクトリ
iPhone向けWebアプリケーションとコンテンツの最適化
Apple Developer Connection

Link(4) | Trackback(0) | Comment(0)

キーワード

iPod iPhone アップル

ようつべ(YouTube)はグーグルにはなれない

Sat, 08 Jul 2006 19:46:33 +0900

急速な成長をみせる注目の動画共有サイト「YouTube（ようつべ、ユーチューブ）」は、すでに多大な収益を上げながらなおも成長を続けるグーグルのようになれるのか

YouTube(ようつべ)の急速なアクセス増加に刺激を受けて、Ask.jpの「Ask ビデオ」、何故か始まる前から不評なフジテレビ「ワッチミー！TV」、話題になっているものにはなんでも参入するサイバーエージェントなど、ユーザー投稿型の動画共有サービスに参入する（しようとする）企業が続出していますが、果たして「YouTube(ようつべ)」を筆頭とする動画共有サイトは、グーグルのように広告で稼げるビジネスモデルを確立できるのでしょうか。

おそらく無理でしょう。そして、それはYouTube(ようつべ)の急成長に慌てて参入しようとしている他の企業にとっても同様だと思われます。なぜなら、検索エンジンであるグーグルはユーザーにとってインターネットの入り口ですが、ユーチューブなどの動画共有サイトは動画を見るための目的地だからです。

グーグルのビジネスは、ユーザーがサイト（パートナーも含めて）から他のサイトに移動する際に、その選択肢として広告主のサイトを提示することで、ユーザーの意思決定に影響を与えて収益を上げているわけですが、YouTubeの場合、YouTube自体が目的地であるため、広告を提示してユーザーをさらに他のサイトに移動させることは困難です。ユーザーはYouTubeで動画を見たいのであって、そこからどこか別のサイトに行くために、YouTubeに来ているわけではないのです。広告主のサイトにユーザーを誘導できないYouTubeにお金を出す広告主が多数存在するとは思えません。

目的地であるYouTubeが収益を上げるためには、ECサイトとして投稿された動画を有料で販売し、その売上を投稿者と分け合うようなビジネスモデルしかないと思います。

しかし、「YouTubeのムービーをダウンロードしてMPEGに変換（GIGAZINE）」とかできたりするうちは、有料販売も無理でしょうから、当面はビジネスモデルを確立するのは難しそうです。いずれ、著作権の問題で訴訟を起こされるか、急増するアクセスを処理するためのサーバーや回線が足りなくなるかで大騒ぎになるのではないでしょうか。

参考
イノベーション勉強会vol.1　〜YouTubeを強くするのは動画版AdWordsと家電連携だ〜
痛いニュース(ﾉ∀`):ﾌｼﾞ版YouTube「ﾜｯﾁﾐｰ」は著作権違法をﾌﾟﾛが審査し合格した物だけを公開
YouTube−Google型企業になるための4つの法則
動画共有サイトYouTubeの成功は一時的なもの--米アナリストが指摘

Link(9) | Trackback(3) | Comment(0)

キーワード

YouTube Google 動画 ようつべ

マイクロソフト、「Oracle マイグレーションラボ」を開設

Tue, 20 Jun 2006 07:53:07 +0900

マイクロソフトが、Oracle Database をベースとしたパッケージ製品やソリューションからMicrosoft SQL Server 2005 への移行を検討している ISV、 SI 企業の支援を目的に、移行の検証支援、ファシリティ、及び移行ツールを提供する「Oracle マイグレーションラボ」を、マイクロソフト調布技術センター内に開設し、2006年6月19日からよりサービスを開始すると発表した。

この「Oracle マイグレーションラボ」では、専門スタッフのサポートの下、Oracle Database から SQL Server への移行ツールである「SQL Server Migration Assistant for Oracle 日本語版 (SSMA for Oracle) 」を活用し、移行前評価、スキーマ、データベース、オブジェクトの変換、データ移行作業を、2 日間で効率的に確認することができるとしている。

Oracle Database から SQL Server(TM) への移行を支援する「Oracle マイグレーションラボ」を開設（プレスリリース）

Link(1) | Trackback(0) | Comment(0)

語句ログ - ニュース、プログラミング、システムトレードの用語解説

Unicodeエスケープシーケンス

キーワード

[Perl]UTF-8でエンコードされた文字の文字コードを表示するプログラム

キーワード

自然言語処理（しぜんげんごしょり）

キーワード

「xVideoServiceThief」無料の動画ダウンロードツール

xVideoServiceThief とは

xVideoServiceThiefのダウンロード

xVideoServiceThiefの使い方の解説

キーワード

59Trackerのブックマーク機能を見直し中

キーワード

YouTubeダウンロードソフト「YouTube2iPod」

キーワード

ようつべ (YouTube) 動画のダウンロードと保存

ようつべ(YouTube)の動画をダウンロードしてファイルに保存できるオンラインサービスとソフトウェア

ClipConverter.cc

Youtube瞬速ダウンロード

Youtube mp3

Freemake Video Downloader

ようつべ（ユーチューブ）とは

キーワード

iPod touch/iPhone向けWebアプリの公式ディレクトリ

キーワード

ようつべ(YouTube)はグーグルにはなれない

キーワード

マイクロソフト、「Oracle マイグレーション ラボ」を開設

マイクロソフト、「Oracle マイグレーションラボ」を開設