Goで書いた形態素解析器
Switch branches/tags
Nothing to show
Clone or download
Fetching latest commit…
Cannot retrieve the latest commit at this time.
Permalink
Type Name Latest commit message Commit time
Failed to load latest commit information.
data
src
.gitignore
LICENSE
Makefile
README.md
convert.sh

README.md

Senko

golangを使って実装した形態素解析器です。未実装フィーチャー多い。

辞書はmecab形式のcsvファイルを使っています。

How to run

% make preprocess
% make run
...

Decoding: 我輩は狐である
我輩,1285,1285,5618,名詞,一般,*,*,*,*,我輩,ワガハイ,ワガハイ
は,261,261,3865,助詞,係助詞,*,*,*,*,は,ハ,ワ
狐,1285,1285,5619,名詞,一般,*,*,*,*,狐,キツネ,キツネ
で,458,458,5856,助動詞,*,*,*,特殊・ダ,連用形,だ,デ,デ
ある,1315,1315,4245,連体詞,*,*,*,*,*,ある,アル,アル
EOS

現状の制限事項

  • CSVのipadicを使っているのでそもそもの辞書の読み込みが遅いです。
  • 未知語は推定しません。