1. tensorflow使用

项目文件夹：_tensorflow

• batch_normalization: 专栏
• dataset.shuffle、batch、repeat: 专栏
• tfrecord读写数据: 专栏
• estimator模型训练: 专栏
• tf版本hashtable：专栏

1.1 部署

项目文件夹：_tensorflow/serving

• tensorflow serving： 专栏

1.2 自定义算子

项目文件夹：_tensorflow/tensorflow-custom-op（独立实现git仓库）

• 如何实现TensorFlow自定义算子？： 专栏

2. 多任务学习MTL

项目文件夹：multitasklearning

• shared_bottom、mmoe、ple模型介绍: 专栏
• 多目标优化-Uncertainty Weight、GradNorm、Dynamic Weight Average、Pareto-Eficient：专栏

3. 推荐系统

项目文件夹：recommendation

• ctr训练提速(超大batch size)-CowClip：专栏

3.1 Match(召回)

项目文件夹：recommendation/match

• 多兴趣召回MIND: 专栏

• 多兴趣召回ComiRec: 专栏

• 深入浅出地理解Youtube DNN推荐模型: 专栏

• 引入对偶增强向量的双塔召回模型: 专栏

3.2 Rank(排序)

项目文件夹：recommendation/rank

• ctr特征重要性建模：FiBiNet&FiBiNet++模型：专栏
• ctr预估之FMs系列:FM/FFM/FwFM/FEFM：专栏
• ctr预估之DNN系列模型:FNN/PNN/DeepCrossing：专栏
• ctr预估之Wide&Deep系列模型:DeepFM/DCN：专栏
• ctr预估之Wide&Deep系列(下):NFM/xDeepFM：专栏
• CTR特征建模：ContextNet & MaskNet(Twitter在用的排序模型)：专栏
• CTR之行为序列建模用户兴趣：DIN：专栏
• CTR之行为序列建模用户兴趣：DIEN：专栏
• CTR之Session行为序列建模用户兴趣：DSIN：专栏

4. TensorRT & Triton

TensorRT：一种深度学习框架，提升GPU模型推理性能

Triton：TensorRT对应的模型服务化，实现模型统一管理和部署

4.1 Triton

项目文件夹：triton

• TensorRT&Triton学习笔记(一): triton和模型部署+client：专栏

5. 自然语言处理NLP

项目文件夹：nlp

5.1 bert句向量

• Sentence-BERT: 专栏

5.2 bert系列

BERT预训练代码(tensorflow和torch版本)：NLP/masked_language_model（独立实现git仓库）

• BERT模型系列大全解读：专栏

6. 深度学习trick

项目文件夹：trick

带pt后缀的为pytorch实现版本，不带后缀的则为tensorflow版本。

• 变量初始化(initialization)、分层学习率(hierarchical_lr)、梯度累积(gradient_accumulation): 专栏
• Stochastic Weight Averaging (SWA)、Exponential Moving Average(EMA)：专栏
• (unbalance)分类模型-类别不均衡问题之loss设计 & Label Smoothing：专栏

7. 多模态

项目文件夹：multimodal

7.1 Stable Diffusion

项目文件夹：Stable Diffusion

• AI绘画Stable Diffusion原理之VQGANs/隐空间/Autoencoder：专栏
• AI绘画Stable Diffusion原理之扩散模型DDPM：专栏

8. Embedding

项目文件夹：embedding

• Embedding压缩之hash embedding：专栏
• Embedding压缩之基于二进制码的Hash Embedding：专栏