这个目录用于整理视觉基础模型、视觉 Transformer、多模态模型和自监督表示学习方法的结构解读与实验 Notebook。
内容重点包括：
- 数据集加载与预处理流程
- 模型结构拆解
- 特征图或 token 变化分析
- 训练、验证与预测代码
- feature 提取与表示学习流程
- 模型设计逻辑与论文对应关系
-
CIFAR-10，224x224- 经典 CNN 起点，大卷积核、池化层、全连接分类头
-
CIFAR-10，224x224- 深层纯卷积堆叠，连续
3x3卷积结构
-
CIFAR-10，224x224- 残差连接、阶段式下采样、ResNet 基本结构
-
CIFAR-10，224x224- Dense Block、Transition Layer、特征复用与通道拼接
-
CIFAR-10，224x224- Patch Embedding、Class Token、Position Embedding、Transformer Encoder
-
swin-transformer-cifar10.ipynb
CIFAR-10，224x224- Window Attention（W-MSA）、Shifted Window Attention（SW-MSA）、Patch Merging、层次化特征图
-
- Multi30k 英德翻译数据集
- Positional Encoding、Multi-head Self-Attention、Cross-Attention、Encoder-Decoder 结构、Greedy Decoding
-
- TinyShakespeare，字符级语言模型
- 可学习绝对位置 Embedding、Causal Self-Attention、GeLU MLP、Pre-LayerNorm
-
- TinyShakespeare，字符级语言模型
- RMSNorm、RoPE、GQA（Grouped Query Attention）、SwiGLU、Pre-Norm、温度采样
-
CIFAR-10，32x32- 前向加噪过程、线性 Beta Schedule、U-Net 去噪网络、时间步嵌入、DDPM 采样算法
-
- 文本提示图像生成
- VAE Encoder/Decoder、CLIP 文本编码、Latent Diffusion U-Net、调度器（PNDM/DDIM）、Classifier-Free Guidance
-
- COCO 类别，自然图像输入
- YOLOv8 推理流程、CSP Backbone、PANet FPN Neck、检测头、NMS 后处理、边界框可视化
-
- COCO 类别，自然图像输入
- ResNet-50 Backbone、Transformer Encoder/Decoder、Object Query、二分图匹配、Cross-Attention 可视化
- clip-vit-l14-feature-classification.ipynb
- 单图输入，自定义类别文本
CLIP ViT-L/14，图像特征提取、文本特征提取、零样本分类
-
CIFAR-10，224x224- 双视图增强、projection head、
NT-Xent / InfoNCE、线性评估
-
CIFAR-10，224x224- query/key encoder、momentum update、queue memory bank、InfoNCE
-
CIFAR-10，224x224- online/target network、predictor、BYOL loss、无负样本训练
- Python 3
- PyTorch
- torchvision
- matplotlib
- transformers
- diffusers
- datasets
- ultralytics
- pillow
可使用以下命令安装基础依赖：
pip install torch torchvision matplotlib transformers diffusers datasets ultralytics pillow- 先看
AlexNet -> VGG16 -> ResNet18 -> DenseNet121，建立经典视觉模型演化脉络。 - 再看
ViT -> Swin Transformer，对比 CNN 和 Transformer 的视觉建模差异，以及全局 vs 窗口注意力。 - 看
Transformer（翻译任务），理解 Encoder-Decoder 结构与序列生成原理。 - 看
GPT-2 -> LLaMA，对比 Decoder-only 语言模型的演化（绝对 PE → RoPE，MHA → GQA，GeLU → SwiGLU）。 - 看
DDPM -> Stable Diffusion，从基础扩散模型到潜在扩散生成流程。 - 看
YOLO -> DETR，对比密集预测（Anchor-free）和集合预测（Transformer）两种检测范式。 - 最后看
CLIP，切到图文共同嵌入和零样本分类。 - 看
SimCLR / MoCo / BYOL，对比自监督表示学习三种典型路线。
- AlexNet: ImageNet Classification with Deep Convolutional Neural Networks
- VGG / VGG16: Very Deep Convolutional Networks for Large-Scale Image Recognition
- ResNet / ResNet18: Deep Residual Learning for Image Recognition
- DenseNet / DenseNet121: Densely Connected Convolutional Networks
- Vision Transformer (ViT): An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
- Swin Transformer: Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
- Transformer: Attention Is All You Need
- DDPM: Denoising Diffusion Probabilistic Models
- Stable Diffusion / LDM: High-Resolution Image Synthesis with Latent Diffusion Models
- YOLO: You Only Look Once: Unified, Real-Time Object Detection
- YOLOv8: Ultralytics YOLOv8
- DETR: End-to-End Object Detection with Transformers
- GPT-2: Language Models are Unsupervised Multitask Learners
- LLaMA 2: Llama 2: Open Foundation and Fine-Tuned Chat Models
- GQA: GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints
- SimCLR: A Simple Framework for Contrastive Learning of Visual Representations
- MoCo: Momentum Contrast for Unsupervised Visual Representation Learning
- BYOL: Bootstrap Your Own Latent: A New Approach to Self-Supervised Learning
这里统一将 CIFAR-10 图像拉伸到 224x224，主要目的是让经典 CNN、ViT 和自监督模型在更接近标准视觉输入设定的条件下进行结构分析、特征分析和实现对比。