[DOC]Update documents

docs/source/conf.py

@@ -56,16 +56,24 @@ def copy_tree(src, tar):
 # npsphinx
 
 nbsphinx_thumbnails = {
-    'build/blitz/sif/sif': '_static/item_figure.png',
+    'build/blitz/sif/sif': '_static/sif.png',
     'build/blitz/sif/sif_addition': '_static/sif_addition.png',
     'build/blitz/utils/data': '_static/data.png',
     'build/blitz/formula/formula': '_static/formula.png',
     'build/blitz/seg/seg': '_static/seg.png',
     'build/blitz/parse/parse': '_static/parse.png',
     'build/blitz/formula/formula': '_static/formula.png',
     'build/blitz/tokenizer/tokenizer': '_static/tokenizer.png',
-    'build/blitz/pretrain/prepare_dataset': '_static/prepare_dataset.jpg',
     'build/blitz/vectorization/i2v': '_static/i2v.png',
+    'build/blitz/pretrain/prepare_dataset': '_static/prepare_dataset.jpg',
+    'build/blitz/pretrain/gensim/d2v_bow_tfidf': '_static/d2v_bow_tfidf.png',
+    'build/blitz/pretrain/gensim/d2v_general': '_static/d2v_general.png',
+    'build/blitz/pretrain/gensim/d2v_stem_tf': '_static/d2v_stem_tf.png',
+    'build/blitz/pretrain/gensim/w2v_stem_text': '_static/w2v_stem_text.png',
+    'build/blitz/pretrain/gensim/w2v_stem_tf': '_static/w2v_stem_tf.png',
+    'build/blitz/pretrain/seg_token/d2v': '_static/d2v.png',
+    'build/blitz/pretrain/seg_token/d2v_d1': '_static/d2v_d1.png',
+    'build/blitz/pretrain/seg_token/d2v_d2': '_static/d2v_d2.png',
 }
 
 # Add any paths that contain templates here, relative to this directory.

docs/source/tutorial/zh/index.rst

@@ -120,8 +120,8 @@ gensim模型d2v例子
     :name: rst2-gallery
     :glob:
 
-    d2v_bow_tfidf  <../../build/blitz/pretrain/gensim/d2v_bow_tfidf.ipynb>
     d2v_general  <../../build/blitz/pretrain/gensim/d2v_general.ipynb>
+    d2v_bow_tfidf  <../../build/blitz/pretrain/gensim/d2v_bow_tfidf.ipynb>
     d2v_stem_tf  <../../build/blitz/pretrain/gensim/d2v_stem_tf.ipynb>
 
 
@@ -146,5 +146,3 @@ seg_token例子
     :glob:
 
     d2v.ipynb  <../../build/blitz/pretrain/seg_token/d2v.ipynb>
-    d2v_d1  <../../build/blitz/pretrain/seg_token/d2v_d1.ipynb>
-    d2v_d2  <../../build/blitz/pretrain/seg_token/d2v_d2.ipynb>

docs/source/tutorial/zh/parse.rst

@@ -28,6 +28,7 @@
 --------------------
 
 .. toctree::
+   :maxdepth: 1
    :titlesonly:
 
    文本语法结构解析 <parse/文本语法结构解析>

docs/source/tutorial/zh/pretrain.rst

@@ -8,125 +8,13 @@
 * 如何加载预训练模型
 * 公开的预训练模型
 
-
-训练模型
----------
-
-基本步骤
-##################
-
-1.确定模型的类型，选择适合的Tokenizer（GensimWordTokenizer、 GensimSegTokenizer），使之令牌化；
-
-2.调用train_vector函数，即可得到所需的预训练模型。
-
-Examples：
-
-::
-
-        >>> tokenizer = GensimWordTokenizer(symbol="gmas", general=True)
-        >>> token_item = tokenizer("有公式$\\FormFigureID{wrong1?}$，如图$\\FigureID{088f15ea-xxx}$,\
-        ... 若$x,y$满足约束条件公式$\\FormFigureBase64{wrong2?}$,$\\SIFSep$，则$z=x+7 y$的最大值为$\\SIFBlank$")
-        >>> print(token_item.tokens[:10])
-        ['公式', '[FORMULA]', '如图', '[FIGURE]', 'x', ',', 'y', '约束条件', '公式', '[FORMULA]']
-
-        # 10 dimension with fasstext method
-        train_vector(sif_items, "../../../data/w2v/gensim_luna_stem_tf_", 10, method="d2v")
-
-装载模型
---------
-
-将所得到的模型传入I2V模块即可装载模型
-
-Examples：
-
-::
-
-        >>> model_path = "../test_model/test_gensim_luna_stem_tf_d2v_256.bin"
-        >>> i2v = D2V("text","d2v",filepath=model_path, pretrained_t2v = False)
-
-
-公开模型一览
-------------
-
-版本说明
-##################
-
-一级版本
-
-* 公开版本1（luna_pub）：高考
-* 公开版本2（ luna_pub_large）：高考 + 地区试题
-
-二级版本：
-
-* 小科（Chinese,Math,English,History,Geography,Politics,Biology,Physics,Chemistry）
-* 大科（理科science、文科literal、全科all）
-
-三级版本：【待完成】
-
-* 不使用第三方初始化词表
-* 使用第三方初始化词表 
-
-
-
-模型命名规则：一级版本 + 二级版本 + gensim_luna_stem +  分词规则 + 模型方法 + 维度
-
-Examples：
-
-::
-
-     全量版本-全学科的D2V模型路径：
-     `/share/qlh/d2v_model/luna_pub/luna_pub_all_gensim_luna_stem_general_d2v_256.bin`
-     （备注：一个D2V模型含4个bin后缀的文件）
-
-模型训练数据说明
-##################
-
-* 当前【词向量w2v】【句向量d2v】模型所用的数据均为 【高中学段】 的题目
-* 测试数据：`[OpenLUNA.json] <http://base.ustc.edu.cn/data/OpenLUNA/OpenLUNA.json>`_
-
-当前提供以下模型，更多分学科、分题型模型正在训练中，敬请期待
-    "d2v_all_256"(全科)，"d2v_sci_256"(理科)，"d2v_eng_256"（文科），"d2v_lit_256"(英语)
-
-模型训练案例
-------------
-
-获得数据集
-####################
-
-.. toctree::
-   :maxdepth: 1
-   :titlesonly:
-
-   prepare_dataset  <../../build/blitz/pretrain/prepare_dataset.ipynb>
-
-gensim模型d2v例子
-####################
-
-.. toctree::
-   :maxdepth: 1
-   :titlesonly:
-
-   d2v_bow_tfidf  <../../build/blitz/pretrain/gensim/d2v_bow_tfidf.ipynb>
-   d2v_general  <../../build/blitz/pretrain/gensim/d2v_general.ipynb>
-   d2v_stem_tf  <../../build/blitz/pretrain/gensim/d2v_stem_tf.ipynb>
-
-gensim模型w2v例子
-####################
-
-.. toctree::
-   :maxdepth: 1
-   :titlesonly:
-
-   w2v_stem_text  <../../build/blitz/pretrain/gensim/w2v_stem_text.ipynb>
-   w2v_stem_tf  <../../build/blitz/pretrain/gensim/w2v_stem_tf.ipynb>
-
-seg_token例子
-####################
+学习路线图
+------------------
 
 .. toctree::
    :maxdepth: 1
    :titlesonly:
 
-   d2v.ipynb  <../../build/blitz/pretrain/seg_token/d2v.ipynb>
-   d2v_d1  <../../build/blitz/pretrain/seg_token/d2v_d1.ipynb>
-   d2v_d2  <../../build/blitz/pretrain/seg_token/d2v_d2.ipynb>
+   训练模型 <pretrain/start.rst>
+   装载模型 <pretrain/loading.rst>
+   公开模型一览 <pretrain/pub.rst>

docs/source/tutorial/zh/pretrain/loading.rst

@@ -0,0 +1,11 @@
+装载模型
+--------
+
+将所得到的模型传入I2V模块即可装载模型
+
+Examples：
+
+::
+
+        >>> model_path = "../test_model/test_gensim_luna_stem_tf_d2v_256.bin"
+        >>> i2v = D2V("text","d2v",filepath=model_path, pretrained_t2v = False)

docs/source/tutorial/zh/pretrain/pub.rst

@@ -0,0 +1,85 @@
+公开模型一览
+------------
+
+版本说明
+##################
+
+一级版本
+
+* 公开版本1（luna_pub）：高考
+* 公开版本2（ luna_pub_large）：高考 + 地区试题
+
+二级版本：
+
+* 小科（Chinese,Math,English,History,Geography,Politics,Biology,Physics,Chemistry）
+* 大科（理科science、文科literal、全科all）
+
+三级版本：【待完成】
+
+* 不使用第三方初始化词表
+* 使用第三方初始化词表 
+
+
+
+模型命名规则：一级版本 + 二级版本 + gensim_luna_stem +  分词规则 + 模型方法 + 维度
+
+Examples：
+
+::
+
+     全量版本-全学科的D2V模型路径：
+     `/share/qlh/d2v_model/luna_pub/luna_pub_all_gensim_luna_stem_general_d2v_256.bin`
+     （备注：一个D2V模型含4个bin后缀的文件）
+
+模型训练数据说明
+##################
+
+* 当前【词向量w2v】【句向量d2v】模型所用的数据均为 【高中学段】 的题目
+* 测试数据：`[OpenLUNA.json] <http://base.ustc.edu.cn/data/OpenLUNA/OpenLUNA.json>`_
+
+当前提供以下模型，更多分学科、分题型模型正在训练中，敬请期待
+    "d2v_all_256"(全科)，"d2v_sci_256"(理科)，"d2v_eng_256"（文科），"d2v_lit_256"(英语)
+
+模型训练案例
+------------
+
+获得数据集
+####################
+
+.. toctree::
+   :maxdepth: 1
+   :titlesonly:
+
+   prepare_dataset  <../../../build/blitz/pretrain/prepare_dataset.ipynb>
+
+gensim模型d2v例子
+####################
+
+.. toctree::
+   :maxdepth: 1
+   :titlesonly:
+
+   d2v_bow_tfidf  <../../../build/blitz/pretrain/gensim/d2v_bow_tfidf.ipynb>
+   d2v_general  <../../../build/blitz/pretrain/gensim/d2v_general.ipynb>
+   d2v_stem_tf  <../../../build/blitz/pretrain/gensim/d2v_stem_tf.ipynb>
+
+gensim模型w2v例子
+####################
+
+.. toctree::
+   :maxdepth: 1
+   :titlesonly:
+
+   w2v_stem_text  <../../../build/blitz/pretrain/gensim/w2v_stem_text.ipynb>
+   w2v_stem_tf  <../../../build/blitz/pretrain/gensim/w2v_stem_tf.ipynb>
+
+seg_token例子
+####################
+
+.. toctree::
+   :maxdepth: 1
+   :titlesonly:
+
+   d2v.ipynb  <../../../build/blitz/pretrain/seg_token/d2v.ipynb>
+   d2v_d1  <../../../build/blitz/pretrain/seg_token/d2v_d1.ipynb>
+   d2v_d2  <../../../build/blitz/pretrain/seg_token/d2v_d2.ipynb>

docs/source/tutorial/zh/pretrain/start.rst

@@ -0,0 +1,22 @@
+训练模型
+---------
+
+基本步骤
+##################
+
+1.确定模型的类型，选择适合的Tokenizer（GensimWordTokenizer、 GensimSegTokenizer），使之令牌化；
+
+2.调用train_vector函数，即可得到所需的预训练模型。
+
+Examples：
+
+::
+
+        >>> tokenizer = GensimWordTokenizer(symbol="gmas", general=True)
+        >>> token_item = tokenizer("有公式$\\FormFigureID{wrong1?}$，如图$\\FigureID{088f15ea-xxx}$,\
+        ... 若$x,y$满足约束条件公式$\\FormFigureBase64{wrong2?}$,$\\SIFSep$，则$z=x+7 y$的最大值为$\\SIFBlank$")
+        >>> print(token_item.tokens[:10])
+        ['公式', '[FORMULA]', '如图', '[FIGURE]', 'x', ',', 'y', '约束条件', '公式', '[FORMULA]']
+
+        # 10 dimension with fasstext method
+        train_vector(sif_items, "../../../data/w2v/gensim_luna_stem_tf_", 10, method="d2v")

docs/source/tutorial/zh/seg.rst

@@ -18,6 +18,7 @@
 --------------------
 
 .. toctree::
+   :maxdepth: 1
    :titlesonly:
 
    语义成分分解 <seg/语义成分分解>