迁移学习 Transfer Learning

关于迁移学习的所有资料，包括：介绍、综述文章、最新文章、代表工作及其代码、常用数据集、硕博士论文、比赛等等。(可能是目前最全的迁移学习资料库？) 欢迎一起贡献！

Everything about Transfer Learning (Probably the most complete repository?). Your contribution is highly valued!

如果认为本仓库有用，请在你的论文和其他出版物中进行引用！ If you find this repo helpful, please cite it as follows:

@Misc{transferlearning.xyz,
howpublished = {\url{http://transferlearning.xyz}},   
title = {Everything about Transfer Learning and Domain Adapation},  
author = {Wang, Jindong and others}  
}  

---

目录 Table of contents

• 最新文章 Latest

• 迁移学习简介 Introduction to transfer learning

• 研究领域与相关文章 Research articles by area

• 理论与综述文章 Theoretical and survey papers

• 相关代码 Available codes

• 迁移学习代表性研究学者 Scholars

• 相关的硕博士论文 Thesis

• 常用公开数据集及算法结果 Datasets and benchmark

• 比赛 Challenges and competitions

• 其他 Miscellaneous

• Contributing

关于机器学习和行为识别的资料，请参考：行为识别｜机器学习

---

0.Latest

迁移学习文章汇总 Awesome transfer learning papers

• 最新发表论文

  • 20180731 ECCV-18 Dist-GAN: An Improved GAN using Distance Constraints

    • English: Embed an autoencoder in GAN to improve its stability in training and propose two distances
    • 中文：将autoencoder集成到GAN中，提出相应的两种距离进行度量，提高了GAN的稳定性
    • Code: Tensorflow

  • 20180731 ECCV-18 DeepJDOT: Deep Joint Distribution Optimal Transport for Unsupervised Domain Adaptation

    • English: Deep + Joint distribution adaptation + optimal transport
    • 中文：深度 + 联合分布适配 + optimal transport

  • 20180731 ICLR-18 Few Shot Learning with Simplex

    • English: Represent deep learning using the simplex
    • 中文：用单纯性表征深度学习

  • 20180731 ICANN-18 Metric Embedding Autoencoders for Unsupervised Cross-Dataset Transfer Learning

    • English: Deep transfer learning for Re-ID
    • 中文：将深度迁移学习用于Re-ID

  • 20180724 ACMMM-18 Visual Domain Adaptation with Manifold Embedded Distribution Alignment

    • English: The state-of-the-art results of domain adaptation, better than most traditional and deep methods
    • 中文：目前效果最好的非深度迁移学习方法，领先绝大多数最近的方法
    • Code: MEDA

• arXiv专区 (arXiv上的文章较新，但未经过peer-review，慎重看待)

  • 20180728 arXiv Meta-learning autoencoders for few-shot prediction

    • English: Using meta-learning for few-shot transfer learning
    • 中文：用元学习进行迁移学习

  • 20180724 arXiv Generalization Bounds for Unsupervised Cross-Domain Mapping with WGANs

    • English: Provide a generalization bound for unsupervised WGAN in transfer learning
    • 中文：对迁移学习中无监督的WGAN进行了一些理论上的分析

  • 20180724 arXiv Domain Generalization via Conditional Invariant Representation

    • English: Using Conditional Invariant Representation for domain generalization
    • 中文：生成条件不变的特征表达，用于domain generalization问题

  • 20180705 arXiv 将迁移学习应用于自动驾驶中的不同天气适配：Modular Vehicle Control for Transferring Semantic Information to Unseen Weather Conditions using GANs

  • 20180703 arXiv 一个使用了random walk的domain adaptation方法，异常简单，但是比绝大多数深度方法都好：https://arxiv.org/abs/1706.05335v2 | 代码

更多 More...

---

1.迁移学习简介

• 简介文字资料

  • 简单的中文简介 Chinese introduction
  • PPT(English)
  • PPT(中文)
  • 迁移学习中的领域自适应方法 Domain adaptation: PDF ｜ Video
  • 清华大学龙明盛老师的深度迁移学习报告 Transfer learning report by Mingsheng Long @ THU：PPT(Samsung)、PPT(Google China)

• 入门教程

  • 《迁移学习简明手册》Transfer Learning Tutorial 开发维护地址

• 视频教程

  • 台湾大学李宏毅的视频讲解(中文视频)
  • 迁移学习中的领域自适应方法(中文)

• 迁移学习领域的著名学者、代表工作及实验室介绍 Transfer Learning Scholars and Labs

• 什么是负迁移(negative transfer)？

• 动手教程、代码、数据 Hands-on Codes

  • 基于深度学习和迁移学习的识花实践 Using Transfer Learning for Flower Recognition
  • 基于Pytorch的图像分类 Using Transfer Learning for Image Classification
  • 使用Pytorch进行finetune Using Pytorch for Fine-tune
  • 基于AlexNet和ResNet的finetune Fine-tune based on Alexnet and Resnet

---

2.迁移学习研究领域与相关文章

Related articles by research areas:

• 领域自适应(非深度) Domain Adaptation (Shallow)

  • Domain adaptation介绍：Domain adaptation
  • 这个目录主要是非深度方法，深度方法在下面。

• 在线迁移学习 Online transfer learning

• 终身迁移学习 Lifelong transfer learning

• 异构迁移学习 Heterogeneous Transfer Learning

• 深度迁移学习 Deep Transfer Learning

  • 深度对抗迁移迁移学习 Deep Adversarial transfer learning

• 传递迁移学习 Transitive Transfer Learning

• 强化迁移学习 Transfer Learning with Reinforcement Learning

• 应用 Applications

  • 迁移学习用于行为识别 Transfer learning for activity recognition

一个推荐、分享论文的网站比较好，我在上面会持续整理相关的文章并分享阅读笔记。详情请见paperweekly。

---

3.理论与综述文章

Here are some articles on transfer learning theory and survey.

• 迁移学习领域最具代表性的综述是A survey on transfer learning，发表于2010年，对迁移学习进行了比较权威的定义。 -- The most influential survey on transfer learning.

• 迁移学习的理论分析 Transfer Learning Theory：

  • 迁移学习方面一直以来都比较缺乏理论分析与证明的文章，以下三篇连贯式的理论文章成为了经典 Transfer learning theory：

    • NIPS-06 Analysis of Representations for Domain Adaptation
    • ML-10 A Theory of Learning from Different Domains
    • NIPS-08 Learning Bounds for Domain Adaptation

  • 许多研究者在迁移学习的研究中会应用MMD(Maximum Mean Discrepancy)这个最大均值差异来衡量不同domain之间的距离。MMD的理论文章是：

    • MMD的提出：A Hilbert Space Embedding for Distributions 以及 A Kernel Two-Sample Test
    • 多核MMD(MK-MMD)：Optimal kernel choice for large-scale two-sample tests
    • MMD及多核MMD代码：Matlab | Python

  • 理论研究方面，重点关注Alex Smola、Ben-David、Bernhard Schölkopf、Arthur Gretton等人的研究即可。

• 较新的综述 Latest survey：

  • 2018 一篇最近的非对称情况下的异构迁移学习综述：Asymmetric Heterogeneous Transfer Learning: A Survey
  • 2018 Neural style transfer的一个survey：Neural Style Transfer: A Review
  • 2018 深度domain adaptation的一个综述：Deep Visual Domain Adaptation: A Survey
  • 2017 多任务学习的综述，来自香港科技大学杨强团队：A survey on multi-task learning
  • 2017 异构迁移学习的综述：A survey on heterogeneous transfer learning
  • 2017 跨领域数据识别的综述：Cross-dataset recognition: a survey
  • 2016 A survey of transfer learning。其中交代了一些比较经典的如同构、异构等学习方法代表性文章。
  • 2015 中文综述：迁移学习研究进展

• 迁移学习的应用

  • 视觉domain adaptation综述：Visual Domain Adaptation: A Survey of Recent Advances
  • 迁移学习应用于行为识别综述：Transfer Learning for Activity Recognition: A Survey
  • 迁移学习与增强学习：Transfer Learning for Reinforcement Learning Domains: A Survey
  • 多个源域进行迁移的综述：A Survey of Multi-source Domain Adaptation。

---

4.代码

请见这里 | Please see HERE for some popular transfer learning codes.

---

5.迁移学习代表性研究学者

Here are some transfer learning scholars and labs.

全部列表以及代表工作性见这里

Please refer to here to see a complete list.

• Qiang Yang：中文名杨强。香港科技大学计算机系讲座教授，迁移学习领域世界性专家。IEEE/ACM/AAAI/IAPR/AAAS fellow。[Google scholar]

• Sinno Jialin Pan：杨强的学生，香港科技大学博士，现任新加坡南洋理工大学助理教授。迁移学习领域代表性综述A survey on transfer learning的第一作者（Qiang Yang是二作）。[Google scholar]

• Wenyuan Dai：中文名戴文渊，上海交通大学硕士，现任第四范式人工智能创业公司CEO。迁移学习领域著名的牛人，在顶级会议上发表多篇高水平文章，每篇论文引用量巨大。[Google scholar]

• Lixin Duan：中文名段立新，新加坡南洋理工大学博士，现就职于电子科技大学，教授。[Google scholar]

• Fuzhen Zhuang：中文名庄福振，中科院计算所博士，现任中科院计算所副研究员。[Google scholar]

• Mingsheng Long：中文名龙明盛，清华大学博士，现任清华大学助理教授、博士生导师。[Google scholar]

• Qingyao Wu：中文名吴庆耀，现任华南理工大学副教授。主要做在线迁移学习、异构迁移学习方面的研究。[Google scholar]

• Weike Pan：中文名潘微科，杨强的学生，现任深圳大学副教授，香港科技大学博士毕业。主要做迁移学习在推荐系统方面的一些工作。 [Google Scholar]

• Tongliang Liu：中文名刘同亮，现任悉尼大学助理教授。主要做迁移学习的一些理论方面的工作。[Google scholar]

---

6.迁移学习相关的硕博士论文

Here are some popular thesis on transfer learning.

硕博士论文可以让我们很快地对迁移学习的相关领域做一些了解，同时，也能很快地了解概括相关研究者的工作。其中，比较有名的有

• 2016 Baochen Sun的Correlation Alignment for Domain Adaptation

• 2014 南加州大学的Boqing Gong的Kernel Methods for Unsupervised Domain Adaptation

• 2014 清华大学龙明盛的迁移学习问题与方法研究

• 2014 中科院计算所赵中堂的自适应行为识别中的迁移学习方法研究

• 2012 杨强的学生Hao Hu的Learning based Activity Recognition

• 2012 杨强的学生Wencheng Zheng的Learning with Limited Data in Sensor-based Human Behavior Prediction

• 2010 杨强的学生Sinno Jialin Pan的Feature-based Transfer Learning and Its Applications

• 2009 上海交通大学戴文渊的基于实例和特征的迁移学习算法研究

其他的文章，请见完整版。

---

7.公开数据集及实验结果

迁移学习领域有一些公开的数据集，用来对比算法的表现。

Please see HERE for the popular transfer learning datasets and certain benchmark results.

这里整理了常用的公开数据集和一些已发表的文章在这些数据集上的实验结果。

---

8.比赛

Here are some popular challenges on transfer learning. 一些关于迁移学习的国际比赛。

• Visual Domain Adaptation Challenge (VisDA)

---

其他

记与迁移学习大牛杨强教授的第二次会面

---

Contributing

如果你对本项目感兴趣，非常欢迎你加入！

• 正常参与：请直接fork、pull request，或者与我联系我把你加入合作者中
• 如果要上传文件：请不要直接上传到项目中，否则会造成git版本库过大。正确的方法是上传它的超链接。请按照如下方式上传：
  • (墙内)目前没有找到比较好的方式，只能通过链接，或者自己网盘的链接来做。
  • (墙外)首先在UPLOAD直接上传（不需要注册账号）；上传成功后，在DOWNLOAD里找到你刚上传的文件，共享链接即可。

Welcome!

[文章版权声明]这个仓库是我开源到Github上的，可以遵守相关的开源协议进行使用。这个仓库中包含有很多研究者的论文、硕博士论文等，都来源于在网上的下载，仅作为学术研究使用。我对其中一些文章都写了自己的浅见，希望能很好地帮助理解。这些文章的版权属于相应的出版社。如果作者或出版社有异议，请联系我进行删除。一切都是为了更好地学术！