计算机视觉理论、技术和现实问题

现实问题

图像分类面临以下问题

• 遮挡：目标物体被遮挡某一部分
• 多视角：每个物体的呈现视角是多样的
• 光照条件：像素层级上而言，不同光照对识别的影响较大
• 样本量较少：某些图像的样本难以获取，导致样本过少
• 类内差异：某种类别下的物体差异性较大，比如桌椅等，呈现形式多样，不具备统一的特征
• 类别不平衡：数据集不同类别的样本数量差异较大。

解决方法

数据不平衡

• 重采样技术：过采样和欠采样
• 类别加权：样本加权和损失函数加权
• 生成式模型：SMOTE和GAN
• 集成学习：

数据缺失

• 数据插值：线性插值、多项式插值和样条插值。
• 特征选择：过滤式特征选择、包裹式特征选择和嵌入式特征选择。
• 数据重构：PCA和自编码器AE？
• 多任务学习

处理类别不平衡和数据缺失同时存在的问题

选择方法需要注意：数据分布的特点、模型的复杂度和训练时间等。

• 数据插值和重采样：可能导致数据分布的改变，影响准确性和稳健性。
• 类别加权和特征选择：选择合适的权重和特征，否则可能会导致模型的准确性和稳健性下降。
• 多任务学习和集成学习：考虑多个任务之间的相关性，并选择合适的集成方法，否则可能会导致模型的准确性和稳健性下降。
• 深度学习：GAN和VAE，注意模型的复杂度和训练时间，否则可能导致模型的训练困难和泛化能力下降。

自监督预训练方法

自监督预训练方法用来应对标签数据较少的情况 CAE，BEiT（（ViT）），MAE

• https://paperswithcode.com/paper/context-autoencoder-for-self-supervised
• https://paperswithcode.com/paper/beit-bert-pre-training-of-image-transformers
• https://paperswithcode.com/paper/masked-autoencoders-are-scalable-vision MIM vs Contrastive Pretraining

端到端对象识别方法

End-to-End Object Detection with Transformers https://github.com/facebookresearch/detr