这是一个记录学习的仓库,实现了学习的各种深度学习模型。欢迎提交PR,一起丰富这个仓库。
- architecture:各种深度学习模型的架构,主要为创新模型。
- attention:各种注意力机制,基本上做到即插即用。
- backbone:各种基准模型,常用来作为创新的基础模型,如ResNet等。
- conv:各种卷积结构,如深度可分离卷积等,基本上做到即插即用。
- dataset:常用数据集的加载过程。
- figure:各种图片,以及
attention
和conv
的介绍。 - loss_function:一些特殊的损失函数。
- normalization:一些归一化方法。
- pipeline:一些常用的训练流程。
- position_embedding:一些位置编码方法。
- utils:一些常用的工具函数。比如提前终止、指标计算、训练和测试的基本流程等。
记录了所学习的各种注意力机制,基本做到了即插即用。详细的介绍见 figure/attention.md。
记录了所学习的各种卷积结构,基本做到了即插即用。详细的介绍见 figure/conv.md。
git clone https://github.com/Alokia/SimpleResearch-Pytorch.git
cd SimpleResearch-Pytorch
pip install -e .
from SimpleResearch.attention.SelfAttention import MultiHeadAttention
...