Feature/dic with zipimport

[roy-ht]

問題点

• 現状のFSTバイナリの読み込み方がパッケージ下のファイル読み込みになっている
• zipimportしたい案件で失敗する(パッケージをzipで固めてimportする方法)

例:

import sys
sys.path.append('janome.zip')
from janome.tokenizer import Tokenizer
t = Tokenizer()  # ここで死ぬ

解決案

• 標準のpkgutil.get_data()を用いて、パッケージからバイナリを読み出す
• パフォーマンスへの影響がわからないため、失敗したときのみpkgutilを使う方式にフォールバックするようにする

宜しくおねがいします🙏

[coveralls]

Coverage increased (+0.05%) to 87.448% when pulling 708f5bf on roy-freee:feature/dic_with_zipimport into eb211f0 on mocobeta:master.

[mocobeta]

PRありがとうございます。

zipimport は使ったことがなく，手元でまだ試していないのですが，zip アーカイブの作成手順と簡単なサンプルスクリプトをいただけますか？
examples に例を追加していただけるとより良さそうです。

パフォーマンスへの影響がわからないため、失敗したときのみpkgutilを使う方式にフォールバックするようにする

辞書の読み込みは Tokenizer() の初期化時なので，パフォーマンス全般への影響はさほど考慮しなくてもいいと思います（つまり load_all_fstdata_from_package() に統一で良さそう）。

[roy-ht]

コメントありがとうございます。

examplesに例を追加しました。手元で実行して確認済みです。

パフォーマンス

言葉足らずで申し訳ないです。
初期化コストはいいのですが、gzipと違い、ストリーム読み込みではなく一旦bytesで全圧縮バイト列を読み込んでからdecompressで展開するので、ピーク消費メモリを気ににする人には辛いかなと思いこのような実装にしてみました。

因みに主な用途はAWS系（例えばLambdaとか。例）で使えて嬉しい、という感じです。

[mocobeta]

@roy-freee スクリプト追加ありがとうございます。いくつか動作確認をしてマージしました。

• usage_with_zipimport.py の説明に，クレジットと制限事項を追記しました。See: 769ad2c
• しばらくリリース予定がないので少し先になるかもしれないですが，次のリリース(0.3.7) から，(sdist と併せて) universal wheel も PyPI にアップロードしたいと思います。

Thanks so much for your contribution!