add usage to docstring

janome/tokenizer.py

@@ -15,6 +15,67 @@
 # limitations under the License.
 
 
+"""
+The tokenizer module supplies Token and Tokenizer classes.
+
+Usage:
+
+>>> from janome.tokenizer import Tokenizer
+>>> t = Tokenizer()
+>>> for token in t.tokenize(u'すもももももももものうち'):
+...   print(token)
+... 
+すもも	名詞,一般,*,*,*,*,すもも,スモモ,スモモ
+も	助詞,係助詞,*,*,*,*,も,モ,モ
+もも	名詞,一般,*,*,*,*,もも,モモ,モモ
+も	助詞,係助詞,*,*,*,*,も,モ,モ
+もも	名詞,一般,*,*,*,*,もも,モモ,モモ
+の	助詞,連体化,*,*,*,*,の,ノ,ノ
+うち	名詞,非自立,副詞可能,*,*,*,うち,ウチ,ウチ
+
+with user dictionary (IPAdic format):
+
+.. code-block:: shell
+
+  $ cat examples/user_ipadic.csv 
+  東京スカイツリー,1288,1288,4569,名詞,固有名詞,一般,*,*,*,東京スカイツリー,トウキョウスカイツリー,トウキョウスカイツリー
+  東武スカイツリーライン,1288,1288,4700,名詞,固有名詞,一般,*,*,*,東武スカイツリーライン,トウブスカイツリーライン,トウブスカイツリーライン
+  とうきょうスカイツリー駅,1288,1288,4143,名詞,固有名詞,一般,*,*,*,とうきょうスカイツリー駅,トウキョウスカイツリーエキ,トウキョウスカイツリーエキ
+
+>>> t = Tokenizer("user_ipadic.csv", udic_enc="utf8")
+>>> for token in t.tokenize(u'東京スカイツリーへのお越しは、東武スカイツリーライン「とうきょうスカイツリー駅」が便利です。'):
+...  print(token)... 
+... 
+東京スカイツリー	名詞,固有名詞,一般,*,*,*,東京スカイツリー,トウキョウスカイツリー,トウキョウスカイツリー
+へ	助詞,格助詞,一般,*,*,*,へ,ヘ,エ
+の	助詞,連体化,*,*,*,*,の,ノ,ノ
+お越し	名詞,一般,*,*,*,*,お越し,オコシ,オコシ
+は	助詞,係助詞,*,*,*,*,は,ハ,ワ
+、	記号,読点,*,*,*,*,、,、,、
+東武スカイツリーライン	名詞,固有名詞,一般,*,*,*,東武スカイツリーライン,トウブスカイツリーライン,トウブスカイツリーライン
+「	記号,括弧開,*,*,*,*,「,「,「
+とうきょうスカイツリー駅	名詞,固有名詞,一般,*,*,*,とうきょうスカイツリー駅,トウキョウスカイツリーエキ,トウキョウスカイツリーエキ
+」	記号,括弧閉,*,*,*,*,」,」,」
+が	助詞,格助詞,一般,*,*,*,が,ガ,ガ
+便利	名詞,形容動詞語幹,*,*,*,*,便利,ベンリ,ベンリ
+です	助動詞,*,*,*,特殊・デス,基本形,です,デス,デス
+。	記号,句点,*,*,*,*,。,。,。
+
+with user dictionary (simplified format):
+
+.. code-block:: shell
+
+  $ cat examples/user_simpledic.csv 
+  東京スカイツリー,カスタム名詞,トウキョウスカイツリー
+  東武スカイツリーライン,カスタム名詞,トウブスカイツリーライン
+  とうきょうスカイツリー駅,カスタム名詞,トウキョウスカイツリーエキ
+
+>>> t = Tokenizer("user_simpledic.csv", udic_type="simpledic", udic_enc="utf8")
+>>> for token in t.tokenize(u'東京スカイツリーへのお越しは、東武スカイツリーライン「とうきょうスカイツリー駅」が便利です。'):
+...   print(token)
+
+"""
+
 import sys
 import os
 from .lattice import Lattice, Node, BOS, EOS, NodeType