[MeCab]test.py 文字化け対策

Windows のコマンドプロンプトでは UTF-8 文字をそのまま表示することができない。そこで Python で扱いやすいユニコード文字列（文字列定義の先頭に u を付ける）で文字列を定義し、MeCab に渡すところで UTF-8 に変換、出力時にユニコード文字列に戻すようにする。

元ソース

#!/usr/bin/python
# -*- coding: utf-8 -*-

import MeCab
import sys
import string

sentence = "太郎はこの本を二郎を見た女性に渡した。"

try:

    print MeCab.VERSION

    t = MeCab.Tagger (" ".join(sys.argv))

    print t.parse(sentence)
（以下略）

出力結果

> python test.py~
0.993
螟ｪ驛・蜷崎ｩ・蝗ｺ譛牙錐隧・莠ｺ蜷・蜷・*,*,螟ｪ驛・繧ｿ繝ｭ繧ｦ,繧ｿ繝ｭ繝ｼ
縺ｯ     蜉ｩ隧・菫ょ勧隧・*,*,*,*,縺ｯ,繝・繝ｯ
縺薙・  騾｣菴楢ｩ・*,*,*,*,*,縺薙・,繧ｳ繝・繧ｳ繝・
譛ｬ     蜷崎ｩ・荳?闊ｬ,*,*,*,*,譛ｬ,繝帙Φ,繝帙Φ
繧・蜉ｩ隧・譬ｼ蜉ｩ隧・荳?闊ｬ,*,*,*,繧・繝ｲ,繝ｲ
莠・蜷崎ｩ・謨ｰ,*,*,*,*,莠・繝・繝・
驛・蜷崎ｩ・荳?闊ｬ,*,*,*,*,驛・繝ｭ繧ｦ,繝ｭ繝ｼ
繧・蜉ｩ隧・譬ｼ蜉ｩ隧・荳?闊ｬ,*,*,*,繧・繝ｲ,繝ｲ
隕・蜍戊ｩ・閾ｪ遶・*,*,荳?谿ｵ,騾｣逕ｨ蠖｢,隕九ｋ,繝・繝・
縺・蜉ｩ蜍戊ｩ・*,*,*,迚ｹ谿翫・繧ｿ,蝓ｺ譛ｬ蠖｢,縺・繧ｿ,繧ｿ
螂ｳ諤ｧ  蜷崎ｩ・荳?闊ｬ,*,*,*,*,螂ｳ諤ｧ,繧ｸ繝ｧ繧ｻ繧､,繧ｸ繝ｧ繧ｻ繧､
縺ｫ     蜉ｩ隧・譬ｼ蜉ｩ隧・荳?闊ｬ,*,*,*,縺ｫ,繝・繝・
貂｡縺・蜍戊ｩ・閾ｪ遶・*,*,莠疲ｮｵ繝ｻ繧ｵ陦・騾｣逕ｨ蠖｢,貂｡縺・繝ｯ繧ｿ繧ｷ,繝ｯ繧ｿ繧ｷ
縺・蜉ｩ蜍戊ｩ・*,*,*,迚ｹ谿翫・繧ｿ,蝓ｺ譛ｬ蠖｢,縺・繧ｿ,繧ｿ
縲・險伜捷,蜿･轤ｹ,*,*,*,*,縲・縲・縲・
EOS

        BOS/EOS,*,*,*,*,*,*,*,*
螟ｪ驛・ 蜷崎ｩ・蝗ｺ譛牙錐隧・莠ｺ蜷・蜷・*,*,螟ｪ驛・繧ｿ繝ｭ繧ｦ,繧ｿ繝ｭ繝ｼ
縺ｯ     蜉ｩ隧・菫ょ勧隧・*,*,*,*,縺ｯ,繝・繝ｯ
縺薙・  騾｣菴楢ｩ・*,*,*,*,*,縺薙・,繧ｳ繝・繧ｳ繝
譛ｬ     蜷崎ｩ・荳?闊ｬ,*,*,*,*,譛ｬ,繝帙Φ,繝帙Φ
繧・    蜉ｩ隧・譬ｼ蜉ｩ隧・荳?闊ｬ,*,*,*,繧・繝ｲ,繝ｲ
莠・    蜷崎ｩ・謨ｰ,*,*,*,*,莠・繝・繝
驛・    蜷崎ｩ・荳?闊ｬ,*,*,*,*,驛・繝ｭ繧ｦ,繝ｭ繝ｼ
繧・    蜉ｩ隧・譬ｼ蜉ｩ隧・荳?闊ｬ,*,*,*,繧・繝ｲ,繝ｲ
隕・    蜍戊ｩ・閾ｪ遶・*,*,荳?谿ｵ,騾｣逕ｨ蠖｢,隕九ｋ,繝・繝
縺・    蜉ｩ蜍戊ｩ・*,*,*,迚ｹ谿翫・繧ｿ,蝓ｺ譛ｬ蠖｢,縺・繧ｿ,繧ｿ
螂ｳ諤ｧ  蜷崎ｩ・荳?闊ｬ,*,*,*,*,螂ｳ諤ｧ,繧ｸ繝ｧ繧ｻ繧､,繧ｸ繝ｧ繧ｻ繧､
縺ｫ     蜉ｩ隧・譬ｼ蜉ｩ隧・荳?闊ｬ,*,*,*,縺ｫ,繝・繝
貂｡縺・ 蜍戊ｩ・閾ｪ遶・*,*,莠疲ｮｵ繝ｻ繧ｵ陦・騾｣逕ｨ蠖｢,貂｡縺・繝ｯ繧ｿ繧ｷ,繝ｯ繧ｿ繧ｷ
縺・    蜉ｩ蜍戊ｩ・*,*,*,迚ｹ谿翫・繧ｿ,蝓ｺ譛ｬ蠖｢,縺・繧ｿ,繧ｿ
縲・    險伜捷,蜿･轤ｹ,*,*,*,*,縲・縲・縲
        BOS/EOS,*,*,*,*,*,*,*,*
EOS
EOS
filename: C:\Program Files\Develop\MeCab\etc\..\dic\ipadic\sys.dic
charset: UTF-8
size: 392126
type: 0
lsize: 1316
rsize: 1316
version: 102

編集後

#!/usr/bin/python
# -*- coding: utf-8 -*-

import MeCab
import sys
import string
import codecs

sample = u"太郎はこの本を二郎を見た女性に渡した。"
sentence = sample.encode('utf-8')

print sample

try:

    print MeCab.VERSION

    t = MeCab.Tagger (" ".join(sys.argv))

    print t.parse(sentence)
    print t.parse(sentence).decode('utf-8')

出力結果

> python test.py
太郎はこの本を二郎を見た女性に渡した。
0.993
螟ｪ驛・蜷崎ｩ・蝗ｺ譛牙錐隧・莠ｺ蜷・蜷・*,*,螟ｪ驛・繧ｿ繝ｭ繧ｦ,繧ｿ繝ｭ繝ｼ
縺ｯ     蜉ｩ隧・菫ょ勧隧・*,*,*,*,縺ｯ,繝・繝ｯ
縺薙・  騾｣菴楢ｩ・*,*,*,*,*,縺薙・,繧ｳ繝・繧ｳ繝・
譛ｬ     蜷崎ｩ・荳?闊ｬ,*,*,*,*,譛ｬ,繝帙Φ,繝帙Φ
繧・蜉ｩ隧・譬ｼ蜉ｩ隧・荳?闊ｬ,*,*,*,繧・繝ｲ,繝ｲ
莠・蜷崎ｩ・謨ｰ,*,*,*,*,莠・繝・繝・
驛・蜷崎ｩ・荳?闊ｬ,*,*,*,*,驛・繝ｭ繧ｦ,繝ｭ繝ｼ
繧・蜉ｩ隧・譬ｼ蜉ｩ隧・荳?闊ｬ,*,*,*,繧・繝ｲ,繝ｲ
隕・蜍戊ｩ・閾ｪ遶・*,*,荳?谿ｵ,騾｣逕ｨ蠖｢,隕九ｋ,繝・繝・
縺・蜉ｩ蜍戊ｩ・*,*,*,迚ｹ谿翫・繧ｿ,蝓ｺ譛ｬ蠖｢,縺・繧ｿ,繧ｿ
螂ｳ諤ｧ  蜷崎ｩ・荳?闊ｬ,*,*,*,*,螂ｳ諤ｧ,繧ｸ繝ｧ繧ｻ繧､,繧ｸ繝ｧ繧ｻ繧､
縺ｫ     蜉ｩ隧・譬ｼ蜉ｩ隧・荳?闊ｬ,*,*,*,縺ｫ,繝・繝・
貂｡縺・蜍戊ｩ・閾ｪ遶・*,*,莠疲ｮｵ繝ｻ繧ｵ陦・騾｣逕ｨ蠖｢,貂｡縺・繝ｯ繧ｿ繧ｷ,繝ｯ繧ｿ繧ｷ
縺・蜉ｩ蜍戊ｩ・*,*,*,迚ｹ谿翫・繧ｿ,蝓ｺ譛ｬ蠖｢,縺・繧ｿ,繧ｿ
縲・險伜捷,蜿･轤ｹ,*,*,*,*,縲・縲・縲・
EOS

太郎    名詞,固有名詞,人名,名,*,*,太郎,タロウ,タロー
は      助詞,係助詞,*,*,*,*,は,ハ,ワ
この    連体詞,*,*,*,*,*,この,コノ,コノ
本      名詞,一般,*,*,*,*,本,ホン,ホン
を      助詞,格助詞,一般,*,*,*,を,ヲ,ヲ
二      名詞,数,*,*,*,*,二,ニ,ニ
郎      名詞,一般,*,*,*,*,郎,ロウ,ロー
を      助詞,格助詞,一般,*,*,*,を,ヲ,ヲ
見      動詞,自立,*,*,一段,連用形,見る,ミ,ミ
た      助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
女性    名詞,一般,*,*,*,*,女性,ジョセイ,ジョセイ
に      助詞,格助詞,一般,*,*,*,に,ニ,ニ
渡し    動詞,自立,*,*,五段・サ行,連用形,渡す,ワタシ,ワタシ
た      助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
。      記号,句点,*,*,*,*,。,。,。
EOS

        BOS/EOS,*,*,*,*,*,*,*,*
螟ｪ驛・ 蜷崎ｩ・蝗ｺ譛牙錐隧・莠ｺ蜷・蜷・*,*,螟ｪ驛・繧ｿ繝ｭ繧ｦ,繧ｿ繝ｭ繝ｼ
縺ｯ     蜉ｩ隧・菫ょ勧隧・*,*,*,*,縺ｯ,繝・繝ｯ
縺薙・  騾｣菴楢ｩ・*,*,*,*,*,縺薙・,繧ｳ繝・繧ｳ繝
譛ｬ     蜷崎ｩ・荳?闊ｬ,*,*,*,*,譛ｬ,繝帙Φ,繝帙Φ
繧・    蜉ｩ隧・譬ｼ蜉ｩ隧・荳?闊ｬ,*,*,*,繧・繝ｲ,繝ｲ
莠・    蜷崎ｩ・謨ｰ,*,*,*,*,莠・繝・繝
驛・    蜷崎ｩ・荳?闊ｬ,*,*,*,*,驛・繝ｭ繧ｦ,繝ｭ繝ｼ
繧・    蜉ｩ隧・譬ｼ蜉ｩ隧・荳?闊ｬ,*,*,*,繧・繝ｲ,繝ｲ
隕・    蜍戊ｩ・閾ｪ遶・*,*,荳?谿ｵ,騾｣逕ｨ蠖｢,隕九ｋ,繝・繝
縺・    蜉ｩ蜍戊ｩ・*,*,*,迚ｹ谿翫・繧ｿ,蝓ｺ譛ｬ蠖｢,縺・繧ｿ,繧ｿ
螂ｳ諤ｧ  蜷崎ｩ・荳?闊ｬ,*,*,*,*,螂ｳ諤ｧ,繧ｸ繝ｧ繧ｻ繧､,繧ｸ繝ｧ繧ｻ繧､
縺ｫ     蜉ｩ隧・譬ｼ蜉ｩ隧・荳?闊ｬ,*,*,*,縺ｫ,繝・繝
貂｡縺・ 蜍戊ｩ・閾ｪ遶・*,*,莠疲ｮｵ繝ｻ繧ｵ陦・騾｣逕ｨ蠖｢,貂｡縺・繝ｯ繧ｿ繧ｷ,繝ｯ繧ｿ繧ｷ
縺・    蜉ｩ蜍戊ｩ・*,*,*,迚ｹ谿翫・繧ｿ,蝓ｺ譛ｬ蠖｢,縺・繧ｿ,繧ｿ
縲・    險伜捷,蜿･轤ｹ,*,*,*,*,縲・縲・縲
        BOS/EOS,*,*,*,*,*,*,*,*
EOS
EOS
filename: C:\Program Files\Develop\MeCab\etc\..\dic\ipadic\sys.dic
charset: UTF-8
size: 392126
type: 0
lsize: 1316
rsize: 1316
version: 102