Skip to content

Commit 1551e96

Browse files
nan2088nan2088
committed
更新mdx格式，和readme
1 parent f839949 commit 1551e96

File tree

28 files changed

+478
-475
lines changed

28 files changed

+478
-475
lines changed

‎README.md‎

Lines changed: 10 additions & 7 deletions
Original file line numberDiff line numberDiff line change
@@ -1,15 +1,18 @@
1-
<div align="center">
21

32

4-
<h1 align="center">Torchpipe|<a href="https://torchpipe.github.io">Documentation</a></h1>
53
<p align="center">
6-
<a href="https://pytorch.org/">Pytorch</a> 内部的多线程流水线并行推理库。
7-
</p>
8-
<p align="center">
9-
Serving Inside <a href="https://pytorch.org/">Pytorch</a> with Multiple Threads.
4+
<h1 align="center">torchpipe</h1>
5+
<h6 align="center">Serving Inside <a href="https://pytorch.org/">Pytorch</a> with Multiple Threads</h6>
106
</p>
7+
<p align="center">
8+
<!-- <img alt="license" src="https://img.shields.io/github/license/alibaba/async_simple?style=flat-square"> -->
9+
<img alt="build" src="https://img.shields.io/badge/build-passing-brightgreen">
10+
<img alt="language" src="https://img.shields.io/github/languages/top/torchpipe/torchpipe.github.io?style=flat-square">
11+
<img alt="feature" src="https://img.shields.io/badge/pytorch-Serving-orange?style=flat-square">
12+
<img alt="last commit" src="https://img.shields.io/github/last-commit/torchpipe/torchpipe.github.io?style=flat-square">
13+
</p>
14+
1115

12-
</div>
1316

1417

1518
torchpipe是 介于底层加速库（如tensorrt，opencv，torchscript）以及 RPC（如thrift, gRPC）之间并与他们严格解耦的多实例流水线并行库；对外提供面向pytorch前端的线程安全函数接口，对内提供面向用户的细粒度后端扩展。

‎docs/Inter-node/filter.mdx‎

Lines changed: 5 additions & 5 deletions
Original file line numberDiff line numberDiff line change
@@ -77,11 +77,11 @@ filter="your_filter"
7777
7878
注意自定义filter请勿与内置filter重名。
7979
## 内置filter {#default_filters}
80-
||功能||
81-
|---|---|---|
82-
|Continue/continue/run <br />Skip/skip <br />SerialSkip/serial_skip/serialskip <br />SubGraphSkip/subgraph_skip/subgraphskip, <br />Break/break, <br />Error/error|无条件返回对应状态值||
83-
|swap|没有result返回Break, 否则返回Continue||
84-
|or|没有result返回Continue, 否则返回Skip||
80+
| | 功能 | |
81+
|-------------------------------------------------------------------------------------------------------------------------------------------------------------------|-------------------------------------|---|
82+
| Continue/continue/run <br />Skip/skip <br />SerialSkip/serial_skip/serialskip <br />SubGraphSkip/subgraph_skip/subgraphskip, <br />Break/break, <br />Error/error | 无条件返回对应状态值 | |
83+
| swap | 没有result返回Break, 否则返回Continue | |
84+
| or | 没有result返回Continue, 否则返回Skip | |
8585
8686
8787

‎docs/Inter-node/graphtraversal.mdx‎

Lines changed: 8 additions & 8 deletions
Original file line numberDiff line numberDiff line change
@@ -84,9 +84,9 @@ flowchart LR
8484

8585
### 初始化
8686

87-
||说明|备注|
88-
|---|---|---|
89-
|`jump`|需要跳转到的目标图的根节点节点名；只能有一个| |
87+
| | 说明 | 备注 |
88+
|--------|-------------------------------------------|------|
89+
| `jump` | 需要跳转到的目标图的根节点节点名；只能有一个 | |
9090

9191

9292
### min()/max()
@@ -97,11 +97,11 @@ MapReduce是Jump的子类，重新实现了split和merge操作。
9797
MapReduce将`一个`输入数据拆分为`多个`（split操作）, 跳转到其他图后进行计算，待所有计算完成后，将`多个`数据合并为`一个`(merge操作)。
9898
### 初始化
9999

100-
||说明|备注|
101-
|---|---|---|
102-
|`split`|待分裂的键值，多个以逗号分开|默认值: "data", 为空时把自身作为分裂后的对象|
103-
|`merge`|待合并的键值，多个以逗号分开|默认值: "result"，不能为空|
104-
|`jump`|需要跳转到的目标图的根节点；只能有一个| 继承自基类Jump|
100+
| | 说明 | 备注 |
101+
|---------|-------------------------------------|--------------------------------------------|
102+
| `split` | 待分裂的键值，多个以逗号分开 | 默认值: "data", 为空时把自身作为分裂后的对象 |
103+
| `merge` | 待合并的键值，多个以逗号分开 | 默认值: "result"，不能为空 |
104+
| `jump` | 需要跳转到的目标图的根节点；只能有一个 | 继承自基类Jump |
105105

106106

107107
### 前向计算

‎docs/Intra-node/computational_backend.mdx‎

Lines changed: 17 additions & 17 deletions
Original file line numberDiff line numberDiff line change
@@ -18,26 +18,26 @@ import TabItem from '@theme/TabItem';
1818
<TabItem value="python" label="opencv相关图像处理">
1919

2020

21-
|名称|说明|
22-
|---|---|
23-
| [DecodeMat](../backend-reference/opencv#decodemat) |jpg解码|
24-
| [cvtColorMat](../backend-reference/opencv#cvtcolormat) |颜色空间转换|
25-
|[ResizeMat](../backend-reference/opencv#resizemat)|resize|
26-
| [PillowResizeMat](../backend-reference/opencv#pillowresizemat)| 严格保持和pillow的结果一致的resize|
27-
|[更多...](../backend-reference/opencv.mdx)||
21+
| 名称 | 说明 |
22+
|----------------------------------------------------------------|------------------------------------|
23+
| [DecodeMat](../backend-reference/opencv#decodemat) | jpg解码 |
24+
| [cvtColorMat](../backend-reference/opencv#cvtcolormat) | 颜色空间转换 |
25+
| [ResizeMat](../backend-reference/opencv#resizemat) | resize |
26+
| [PillowResizeMat](../backend-reference/opencv#pillowresizemat) | 严格保持和pillow的结果一致的resize |
27+
| [更多...](../backend-reference/opencv.mdx) | |
2828

2929
</TabItem>
3030
<TabItem value="torch" label="pytorch相关后端">
3131

3232

3333

34-
|名称|说明|
35-
|---|---|
36-
| [DecodeTensor](../backend-reference/torch#decodetensor) |GPU上jpg解码|
37-
| [cvtColorTensor](../backend-reference/torch#cvtcolortensor) |颜色空间转换|
38-
|[ResizeTensor](../backend-reference/torch#resizetensor)|resize|
39-
| [PillowResizeTensor](../backend-reference/torch#pillowresizetensor)| 严格保持和pillow的结果一致的resize|
40-
|[更多...](../backend-reference/torch.mdx)||
34+
| 名称 | 说明 |
35+
|---------------------------------------------------------------------|------------------------------------|
36+
| [DecodeTensor](../backend-reference/torch#decodetensor) | GPU上jpg解码 |
37+
| [cvtColorTensor](../backend-reference/torch#cvtcolortensor) | 颜色空间转换 |
38+
| [ResizeTensor](../backend-reference/torch#resizetensor) | resize |
39+
| [PillowResizeTensor](../backend-reference/torch#pillowresizetensor) | 严格保持和pillow的结果一致的resize |
40+
| [更多...](../backend-reference/torch.mdx) | |
4141

4242

4343
</TabItem>
@@ -46,9 +46,9 @@ import TabItem from '@theme/TabItem';
4646

4747
默认的后端为`Identity`:
4848

49-
|名称|初始化参数|输入/类型|输出/类型|备注|
50-
|---|---|---|---|---|
51-
| [`Identity`](../backend-reference/basic#identity) |无|`data/any`|`result/any`|功能为将`data`的值赋给`result` |
49+
| 名称 | 初始化参数 | 输入/类型 | 输出/类型 | 备注 |
50+
|---------------------------------------------------|-----------|------------|--------------|------------------------------|
51+
| [`Identity`](../backend-reference/basic#identity) | 无 | `data/any` | `result/any` | 功能为将`data`的值赋给`result` |
5252

5353
使用示例：
5454
<Tabs groupId="language" className="unique-tabs">

‎docs/Intra-node/model_parallel.mdx‎

Lines changed: 18 additions & 18 deletions
Original file line numberDiff line numberDiff line change
@@ -24,10 +24,10 @@ import TabItem from '@theme/TabItem';
2424

2525
为了方便，假设将tensorrt推理功能封装为名称为 `TensorrtTensor` 的**计算后端**。由于计算发生在gpu设备上，我们加上`SyncTensor` 表示gpu上的流同步操作。
2626

27-
|配置项|参数|说明|
28-
|---|---|---|
29-
|backend|"SyncTensor[TensorrtTensor]"|**计算后端**和tensorrt推理本身一样，不是线程安全的。|
30-
| max |4| 模型支持的最大batchsize，用于模型转换（onnx->tensorrt） |
27+
| 配置项 | 参数 | 说明 |
28+
|---------|------------------------------|----------------------------------------------------|
29+
| backend | "SyncTensor[TensorrtTensor]" | **计算后端**和tensorrt推理本身一样，不是线程安全的。 |
30+
| max | 4 | 模型支持的最大batchsize，用于模型转换（onnx->tensorrt） |
3131

3232

3333
如果可以从多个线程中同时调用某个函数，则该函数是线程安全的。提供线程安全的接口将极大的方便使用者。
@@ -38,18 +38,18 @@ torchpipe默认会在此**计算后端**上包裹一层可扩展的**单节点
3838

3939
- 多实例并行
4040

41-
|配置项|默认值|说明|
42-
|---|---|---|
43-
|instance_num|1|多个模型实例并行执行推理任务。|
41+
| 配置项 | 默认值 | 说明 |
42+
|--------------|--------|-----------------------------|
43+
| instance_num | 1 | 多个模型实例并行执行推理任务。 |
4444

4545

4646
- Batching
4747

4848
对于resnet18, 模型本身输入为`-1x3x224x224`, batchsize越大，单位硬件资源所完成的任务越多。 batchsize 从**计算后端**（TensorrtTensor）读取。
4949

50-
|配置项|默认值|说明|
51-
|---|---|---|
52-
| batching_timeout |0|单位为毫秒，在此时间内如果没有接收到 batchsize 个数目的请求，则放弃等待。|
50+
| 配置项 | 默认值 | 说明 |
51+
|------------------|--------|----------------------------------------------------------------------|
52+
| batching_timeout | 0 | 单位为毫秒，在此时间内如果没有接收到 batchsize 个数目的请求，则放弃等待。 |
5353

5454

5555

@@ -59,10 +59,10 @@ torchpipe默认会在此**计算后端**上包裹一层可扩展的**单节点
5959
<Tabs groupId="language" className="unique-tabs">
6060
<TabItem value="python" label="Python">
6161

62-
<!-- ||值|备注|
63-
|---|---|---|
64-
|`torchpipe.TASK_DATA_KEY`|"data"|代表输入，必需存在，同一大版本不会改变定义|
65-
|`torchpipe.TASK_RESULT_KEY`|"result"|代表输出，可能不存在，同一大版本不会改变定义| -->
62+
<!-- | | 值 | 备注 |
63+
-----|-----------------------------|----------|------------------------------------------|----
64+
| `torchpipe.TASK_DATA_KEY` | "data" | 代表输入，必需存在，同一大版本不会改变定义 |
65+
| `torchpipe.TASK_RESULT_KEY` | "result" | 代表输出，可能不存在，同一大版本不会改变定义 | -->
6666

6767
```python
6868
import torchpipe as tp
@@ -91,10 +91,10 @@ result: torch.Tensor = input["result"] # 失败则 "result" 不存在
9191
</TabItem>
9292
<TabItem value="cpp" label="C++">
9393

94-
<!-- ||值|备注|
95-
|---|---|---|
96-
|ipipe::TASK_DATA_KEY|"data"|代表输入，必需存在，同一大版本不会改变定义|
97-
|ipipe::TASK_RESULT_KEY|"result"|代表输出，可能不存在，同一大版本不会改变定义|
94+
<!-- | | 值 | 备注
95+
-----|------------------------|----------|-----------------------
96+
| ipipe::TASK_DATA_KEY | "data" | 代表输入，必需存在，同一大版本不会改变定义
97+
| ipipe::TASK_RESULT_KEY | "result" | 代表输出，可能不存在，同一大版本不会改变定义
9898
-->
9999

100100
```cpp

‎docs/Intra-node/schedule.mdx‎

Lines changed: 5 additions & 5 deletions
Original file line numberDiff line numberDiff line change
@@ -41,11 +41,11 @@ max="1&4&8"
4141

4242
## `BaselineSchedule`
4343
### 初始化
44-
||功能|备注|
45-
|---|---|---|
46-
|batching_timeout|凑batch超时时间，默认为0（毫秒）|不接受`&`语法; 不需要凑batch时不生效|
47-
|instance_num|实例数目|instance_num与后端的max()的乘积一般设置为略小于需要的最大同时处理的数据量|
48-
|backend|真正的运算后端|通过min()/max()函数提供数据输入范围|
44+
| | 功能 | 备注 |
45+
|------------------|-----------------------------|-------------------------------------------------------------------------|
46+
| batching_timeout | 凑batch超时时间，默认为0（毫秒） | 不接受`&`语法; 不需要凑batch时不生效 |
47+
| instance_num | 实例数目 | instance_num与后端的max()的乘积一般设置为略小于需要的最大同时处理的数据量 |
48+
| backend | 真正的运算后端 | 通过min()/max()函数提供数据输入范围 |
4949

5050
在对`backend`实例初始化时，
5151
```cpp

0 commit comments

Comments
 (0)