- Zhou, C., Li, Q., Li, C., Yu, J., Liu, Y., Wang, G., ... & Sun, L. (2023). A Comprehensive Survey on Pretrained Foundation Models: A History from BERT to ChatGPT. arXiv preprint arXiv:2302.09419. Also see: 从BERT到ChatGPT，北航等9大顶尖研究机构全面综述：那些年一起追过的「预训练基础模型」 | 新智元 2023-02-27
- Liu, P., Yuan, W., Fu, J., Jiang, Z., Hayashi, H., & Neubig, G. (2023). Pre-train, prompt, and predict: A systematic survey of prompting methods in natural language processing. ACM Computing Surveys, 55(9), 1-35. Also see homepage.
- Sanh, V., Webson, A., Raffel, C., Bach, S. H., Sutawika, L., Alyafeai, Z., ... & Rush, A. M. (2021). Multitask Prompted Training Enables Zero-Shot Task Generalization. arXiv preprint arXiv:2110.08207.
- Wei, J., Bosma, M., Zhao, V. Y., Guu, K., Yu, A. W., Lester, B., ... & Le, Q. V. (2021). Finetuned language models are zero-shot learners. arXiv preprint arXiv:2109.01652.
- Schick, T. , & H Schütze. (2020). Exploiting cloze questions for few shot text classification and natural language inference. EACL 2021.
- Dai, D., Dong, L., Hao, Y., Sui, Z., & Wei, F. (2021). Knowledge neurons in pretrained transformers. arXiv preprint arXiv:2104.08696.
- Li, L., Xu, C., Wu, W., Zhao, Y., Zhao, X., & Tao, C. (2020). Zero-resource knowledge-grounded dialogue generation. arXiv preprint arXiv:2008.12918.
- Zhou, W., Lee, D. H., Selvam, R. K., Lee, S., Lin, B. Y., & Ren, X. (2020). Pre-training text-to-text transformers for concept-centric common sense. arXiv preprint arXiv:2011.07956.
- Heinzerling, B., & Inui, K. (2020). Language models as knowledge bases: On entity representations, storage capacity, and paraphrased queries. arXiv preprint arXiv:2008.09036.
- Wang, C., Liu, X., & Song, D. (2020). Language models are open knowledge graphs. arXiv preprint arXiv:2010.11967.
- He, B., Jiang, X., Xiao, J., & Liu, Q. (2020). KgPLM: Knowledge-guided Language Model Pre-training via Generative and Discriminative Learning. arXiv preprint arXiv:2012.03551.
- Cui, L., Cheng, S., Wu, Y., & Zhang, Y. (2020). Does BERT Solve Commonsense Task via Commonsense Knowledge?. arXiv preprint arXiv:2008.03945.
- Petroni, F., Rocktäschel, T., Lewis, P., Bakhtin, A., Wu, Y., Miller, A. H., & Riedel, S. (2019). Language models as knowledge bases?. arXiv preprint arXiv:1909.01066.
- Wang, X., Gao, T., Zhu, Z., Zhang, Z., Liu, Z., Li, J., & Tang, J. (2021). KEPLER: A unified model for knowledge embedding and pre-trained language representation. Transactions of the Association for Computational Linguistics, 9, 176-194.
- Talmor, A., Herzig, J., Lourie, N., & Berant, J. (2018). Commonsenseqa: A question answering challenge targeting commonsense knowledge. arXiv preprint arXiv:1811.00937.
- Bosselut, A., Rashkin, H., Sap, M., Malaviya, C., Celikyilmaz, A., & Choi, Y. (2019). Comet: Commonsense transformers for automatic knowledge graph construction. arXiv preprint arXiv:1906.05317.
- Wang, C., & Jiang, H. (2018). Explicit utilization of general knowledge in machine reading comprehension. arXiv preprint arXiv:1809.03449.
- Sap, M., Le Bras, R., Allaway, E., Bhagavatula, C., Lourie, N., Rashkin, H., ... & Choi, Y. (2019, July). Atomic: An atlas of machine commonsense for if-then reasoning. In Proceedings of the AAAI Conference on Artificial Intelligence (Vol. 33, No. 01, pp. 3027-3035).
- 技术总结：KG融合预训练语言模型中的常见知识类型及代表工作浅析 | AINLP 2021年12月22日 转载
- OpenAI-Cookbook: Examples and guides for using the OpenAI API.
- link: https://github.com/thunlp/PromptPapers
- author: THUNLP
- note: must-read papers on prompt-based tuning for pre-trained language models.
- blog:
- 大型视觉模型和视觉提示工程 | 专知 2023-07-06
- In-Context Learning中的示例选择及效果 | 李rumor 2023年04月24日
- 关于Prompt Engineering你该了解啥？OpenAI应用研究负责人帮你梳理了 | 机器之心 2023年04月22日
- 五万字综述！Prompt Tuning：深度解读一种新的微调范式 | AINLP 2023年04月03日
- 一文详解Prompt学习和微调（Prompt Learning & Prompt Tuning） | PaperWeekly 2023年03月30日
- ChatGPT中的提示工程（Prompt Engineering）怎么做？50页最新PPT下载 | 深度学习自然语言处理 2023年03月24日
- ChatGPT中的提示工程(Prompt)怎么做？DAIR.AI最新《提示工程指南》，全面讲述提示技术，附书册课件视频 | 专知 2023年03月20日
- In-Context Learning玩法大全 | AINLP 2023年02月22日 转载
- AI取代人类，可以自动生成prompt了 | 智商掉了一地 夕小瑶的卖萌屋 2022年11月01日
- Prompt+对比学习，更好地学习句子表征 | AINLP 2022年10月22日 转载
- NLP Prompt系列——Prompt Engineering方法详细梳理 | AINLP AINLP 2022年10月09日
- ACL‘22杰出论文：Prompt范式有bug！ | python 夕小瑶的卖萌屋 2022年07月10日 （paper）
- 总结|Prompt在NER场景的应用 | 刘聪NLP NLP工作站 2022年05月22日
- Prompt learning系列之训练策略篇 | AINLP 2022年05月01日 转载
- NLP新范式：从Fine-tuning到Prompt，再到AdaPrompt工作赏析 | CReep 老刘说NLP 2022年02月28日
- 后Prompt时代｜NLP统一范式：预训练+大规模多任务学习 | AINLP 2022年02月09日 转载
- 一文速览！多模态预训练中的 Prompt 范式 | 深度学习自然语言处理 2022年01月27日 转载
- ZeroPrompt：首个中文多任务Prompt统一模型，zeroshot性能可比微调！ | AINLP 2022年01月24日 转载
- WWW2022 | OntoPrompt & KnowPrompt：知识提示的预训练微调 | 张宁豫叶宏彬陈想 浙大KG 2022年01月24日
- nlp中的prompt learning 有哪些可能的天生的缺陷？目前有什么样的方法来解决这样的缺陷？ | 知乎问题
- 统一对比学习框架？没错它来了。 | rumor 李rumor 2021年12月27日
- Hugging Face牵头，42位作者发文，1939个prompt，大幅提升Zero-Shot性能！ | AINLP 2021年10月20日 转载
- Prompt超过finetune了？Emm... | rumor 李rumor 2021年10月19日
- 清华CPT：基于预训练视觉-语言模型的跨模态Prompt-Tuning | 李rumor 2021年10月15日 转载
- 格局打开，带你解锁 prompt 的花式用法 | Severus 夕小瑶的卖萌屋 2021年9月20日
- 一个「PPT」框架，让超大模型调参变简单：清华刘知远、黄民烈团队力作 | 机器之心编辑部 机器之心 2021年9月11日
- 清华提出：用于细粒度实体分类的Prompt-Learning，并提出可训练Prompt模板 | zenRRan 深度学习自然语言处理 2021年9月9日
- 清华大学刘知远组：文本分类任务中，将知识融入Prompt-tuning过程 | 苏剑林 PaperWeekly 2021年8月13日
- Fine-tune之后的NLP新范式：Prompt越来越火，CMU华人博士后出了篇综述文章 | 机器之心编辑部 机器之心 2021年8月3日
- Prompt范式的缘起｜Pattern-Exploiting Training | rumor 李rumor 2021年8月5日
- 近代自然语言处理技术发展的“第四范式” | 刘鹏飞 知乎专栏 2021年8月1日
- Prompt-based Language Models：模版增强语言模型小结 | 李泺秋 PaperWeekly 2021年6月14日
- link: https://github.com/clue-ai/PromptCLUE
- homepage: https://www.cluebenchmarks.com/clueai.html
- author: ClueAI
- note: 全中文任务支持零样本学习模型.
- link: https://github.com/phodal/prompt-patterns
- homepage: https://prompt.phodal.com/
- author: Fengda Huang
- note: Prompt编写模式：如何将思维框架赋予机器，以设计模式的形式来思考提示.
- link: https://github.com/THUDM/P-tuning
- author: THUDM
- paper: GPT Understands, Too
- extra: P-tuning by bojone
- blog:
- P-tuning：自动构建模版，释放语言模型潜能 | 苏剑林 科学空间 2021年04月03日
- link: https://github.com/dongguanting/In-Context-Learning_PaperList
- author: guanting dong
- note: Paper List for In-context Learning.
- paper: FINETUNED LANGUAGE MODELS ARE ZERO-SHOT LEARNERS （FLAN）.
- extra:
- Awesome-instruction-tuning: a curated list of awesome instruction tuning datasets, models, papers and repositories.
- awesome-instruction-learning: awesome papers on Textual Instruction learning.
- awesome-instruction-dataset: a collection of open-source dataset to train instruction-following LLMs (ChatGPT, LLaMA, Alpaca).
- paper: Instruction Tuning with GPT-4.
- blog:
- 打开模型Zero-Shot新范式：Instruction Tuning | 避暑山庄梁朝伟 PaperWeekly 2022年08月25日
- Instruction Tuning｜谷歌Quoc V.Le团队提出精调新范式！香过Prompt！ | rumor 李rumor 2021年9月9日
- 别再Prompt了！谷歌提出tuning新方法，强力释放GPT-3潜力！ | Yimin_饭煲 夕小瑶的卖萌屋 2021年9月7日
- Instruction Tuning：无/少样本学习新范式 | AINLP 2023-02-19
- 微软用GPT-4做大模型指令微调，新任务零样本性能再提升 | 机器之心 2023-04-09
- 从语言模型到ChatGPT，大模型调教全攻略 | 夕小瑶科技说 2023-04-19
- link: https://github.com/bojone/LST-CLUE
- author: bojone
- paper: LST: Ladder Side-Tuning for Parameter and Memory Efficient Transfer Learning.
- blog:
- Ladder Side-Tuning：预训练模型的“过墙梯” | 苏剑林 科学空间 2021年06月20日
- link: https://github.com/ClerkieAI/instructprompt
- author: Berri AI
- note: a python package for storing, retrieving, and dynamically creating prompts for GPT models.
- link: https://github.com/thunlp/OpenPrompt
- homepage: https://thunlp.github.io/OpenPrompt/
- author: THUNLP
- note: an open-source toolkit for prompt-learning.
- link: https://github.com/thunlp/OpenDelta
- author: THUNLP
- note: a plug-and-play library for parameter-efficient-tuning (Delta-tuning).
- link: https://github.com/bigscience-workshop/promptsource
- author: BigScience Workshop
- note: toolkit for collecting and applying prompts.
- paper: NSP-BERT: A Prompt-based Zero-Shot Learner Through an Original Pre-training Task —— Next Sentence Prediction
- blog:
- blog:
- CPT：刷爆少样本REC任务！清华刘知远团队提出跨模态预训练Prompt Tuning | 小马 我爱计算机视觉 2022年01月18日
- CPT模型：一种中文兼顾NLU和NLG的非平衡预训练语言模型 | 刘聪工作站 NLP工作站 2022年01月12日
- paper: Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classification
- code
- blog:
- paper: Unifying Language Learning Paradigms.
- code
- blog:
- 击败GPT3，刷新50个SOTA！谷歌全面统一NLP范式 | ZenMoore 夕小瑶的卖萌屋 2022年05月13日
- “统一语言学习范式”：详解50个任务达到sota的谷歌新模型 | LZM 数据实战派 2022年05月17日
- paper: SELF-INSTRUCT: Aligning Language Model with Self Generated Instructions.
- code
- blog:
- 面向大模型微调的instruction指令自动化生成技术：SELF-INSTRUCT指令自动化生成框架工作介绍 | 老刘说NLP 2023年03月23日
- paper: Parameter-efficient fine-tuning of large-scale pre-trained language models.
- code
- blog:
- 拨动大模型的琴弦！Delta Tuning成果登上Nature子刊封面 | PaperWeekly 2023年03月24日
- paper: Regeneration Learning: A Learning Paradigm for Data Generation.
- homepage
- blog:
- 微软研究员联合Yoshua Bengio推出AIGC数据生成学习范式Regeneration Learning | 微软亚洲研究院 2023-04-10
- link: https://github.com/lucidrains/JEPA-pytorch
- author: lucidrains(Phil Wang)
- paper: A Path Towards Autonomous Machine Intelligence
- note: implementation of JEPA, Yann LeCun's vision of how AGI would be built, in pytorch.
- 2022年02月04日：盘古α, Gopher, 派大星, GLIDE...18个中美大厂去年搞的大模型工作我们试着总结回顾了一下
- 2022年02月15日：关于大模型的发展趋势，我突然有个细思极恐的脑洞😅
- 2022年04月14日：百位学者署名的大模型综述研究被质疑「抄袭」，智源研究院官方发布致歉信
- 2022年05月01日：大型语言模型能真正理解人类语言吗？
- 2022年05月01日：斯坦福教授曼宁AAAS特刊发文：大模型已成突破，展望通用人工智能
- 2022年06月09日：Geoffrey Hinton 最新访谈：不出五年，我们就会破解大脑的运作机制，但不是通过反向传播
- 2022年06月09日：Gary Marcus公开喊话Hinton、马斯克：深度学习就是撞墙了，我赌十万美金
- 2022年06月17日：终于，Yann LeCun发文驳斥Gary Marcus：别把一时的困难当撞墙
- 2022年06月28日：思考总结10年，图灵奖得主Yann LeCun指明下一代AI方向：自主机器智能
- 2022年07月08日：LeCun论文被指「洗稿」？ LSTM之父发文怒怼：抄我的还标原创
- 2022年08月01日：Yann LeCun开怼谷歌研究：目标传播早就有了，你们创新在哪里？
- 2022年08月13日：人工智能有大事发生，LeCun也转型了
- 2022年09月24日：Gary Marcus：文本生成图像系统理解不了世界，离 AGI 还差得远
- 2022年09月26日：LeCun再炮轰Marcus： 他是心理学家，不是搞AI的
- 2022年10月14日：Yann LeCun：大模型方向错了，智力无法接近人类
- 2022年10月17日：Gary Marcus又来「整顿」AI圈：LeCun不可信，Nature审稿人没用脑子
- 2022年06月12日：谷歌研究员走火入魔事件曝光：认为AI已具备人格，被罚带薪休假，聊天记录让网友San值狂掉
- 2022年06月13日：又一篇超百名作者的 AI 论文问世！442位作者耗时两年发布大模型新基准 BIG-bench……
- 2022年06月29日：李飞飞划重点的「具身智能」，走到哪一步了？
- 2022年07月14日：下一站，Embodied AI
- 2022年10月22日：Bengio、LeCun 等人联名上书，呼吁美国投资神经AI，攻破「具身图灵测试」
- 2023年06月20日：具身智能与强化学习前沿进展 | 2023智源大会精彩回顾
- 2023年7月10日：零样本操控机器人，李飞飞团队新作！
- 2023年7月10日：李飞飞「具身智能」新成果！机器人接入大模型直接听懂人话，0预训练就能完成复杂指令
- 2023年7月15日：大模型让智能体学会与人类合作，具身智能新成果来了
- 2023年07月22日：具身智能 | CCF专家谈术语
- 2023年08月23日：独家 | 达摩院后的下一站：陈俊波推出具身智能大模型，要给所有机器人做一颗脑袋
- 2023年09月22日：Transformer+强化学习，DeepMind让大模型成为机器人感知世界的大脑
- 2023年10月04日：机器人研究迎来ImageNet时刻：一个数据集，让DeepMind具身智能大模型突飞猛进
- 2023年10月05日：【CMU博士论文】持续机器人学习:基准和模块化方法，125页pdf
- 2023年12月16日：具身智能的未来
- 2023年12月22日：通往具身通用智能：如何让机器从自然模态中学习到世界模型？
- 2023年01月08日：具身智能的未来
- 2024年03月11日：具身智能的Scaling Law在哪里？
- 2024年03月16日：如何评估具身智能？斯坦福李飞飞等发布《BEHAVIOR-1K: 以人为中心、具身化AI基准测试，含1000种日常活动和真实模拟》
- 2024年03月24日：大语言模型无法实现具身认知
- 2022年07月08日：人工智能是不是走错了方向？ 😄
- 2022年07月12日：DeepMind最新研究：让 AI 像婴儿一样思考
- 2022年07月18日：马毅沈向洋曹颖最新 AI 综述火了！耗时 3 月打造，网友：必读论文
- 2022年08月02日：DeepMind 首席科学家 Oriol Vinyals 最新访谈：通用 AI 的未来是强交互式元学习
- 2022年09月27日：【前沿报告】Richard Sutton 直言卷积反向传播已经落后，AI 突破要有新思路：持续反向传播
- 2022年12月02日：近万人围观Hinton最新演讲：前向-前向神经网络训练算法，论文已公开
- 2023年01月19日：超详超硬Jeff Dean万字总结火热出炉！图解谷歌2022年AIGC、LLM、CV三大领域成就
- 2023年01月27日：Transformer模仿大脑，在预测大脑成像上超越42个模型，还能够模拟感官与大脑之间的传输
- 2023年02月26日：ChatGPT掀智力革命！OpenAI发布AGI路线图，最终通向超级智能世界
- 2023年03月07日：仿造一个大脑，就可创造智能？
- 2023年03月25日：摩尔定律提出者去世，他奠定了英特尔CPU黄金时代，享年94岁
- 2023年03月27日：他自己的生命游戏结束了，留给后人的数学游戏长存
- 2023年03月29日：当自然语言处理遇上量子计算与范畴论：人工智能开启更大想象空间
- 2023年04月09日：欧洲“脑奖”得主：人脑为什么比机器学得好？
- 2023年04月11日：爆火论文打造《西部世界》雏形：25个AI智能体，在虚拟小镇自由成长
- 2023年04月12日：突破神经网络限制，量子蒙特卡洛研究新进展登Nature子刊
- 2023年04月12日：人类语言能力的自然演化：乔姆斯基对阵达尔文
- 2023年04月30日：放弃反向传播后，Geoffrey Hinton参与的前向梯度学习重磅研究来了
- 2023年05月09日：“LSTM之父”谈AI威胁论：AI将超越人类智力，对人类不感兴趣，呼吁暂停AI是一种误导
- 2023年05月26日：马斯克脑机接口公司获批开展首例人体实验
- 2023年07月24日：人鼠混合大脑出现了！斯坦福大学7年研究登Nature
- 2023年08月22日：脑机接口爆发前夜，技术瓶颈、资金掣肘、伦理挑战如何攻克？｜世界机器人大会
- 2023年09月21日：马斯克的脑机接口公司官宣首次人体试验，但还有一个「致命」问题要解决
- [2024年01月30日：马斯克宣布：首位人类被试已接受Neuralink 脑机芯片植入手术，目前恢复良好]
- 2024年01月30日：米哈游离「崩坏神域」又进一步？脑机技术已临床试验
- 2024年02月02日：脑控喝水！清华脑机接口临床试验宣告成功，患者可终生使用
- 2024年01月12日：脑机接口技术的三个发展趋势
- 2024年02月19日：中国首部《脑机接口研究伦理指引》公布
- 2024年02月21日：马斯克的脑机接口，如何又一次引发科学家的不满
- 2024年02月24日：专访“脑机接口之父”：我为什么担心马斯克在误导公众
- 2023年06月12日：75岁Hinton中国大会最新演讲「通往智能的两种道路」，最后感慨：我已经老了，未来交给年轻人
- 2023年06月15日：量子计算新里程碑登Nature封面！100+量子比特无需纠错，超越经典计算
- 2023年06月20日：我们能够量化机器意识吗？
- 2023年06月28日：没脑子也能学习？
- 2023年07月03日：13万个注释神经元，5300万个突触，普林斯顿大学等发布首个完整「成年果蝇」大脑连接组
- 2023年07月24日：大脑如何产生意识？神经科学家的预言输给了哲学家
- 2023年08月20日：直接压缩一切！OpenAI首席科学家Ilya Sutskever这么看无监督学习
- 2023年09月20日：AI4Web3.0? 北理工等最新《面向Web 3.0的人工智能》综述, 详述基础设施层、接口层、管理层和应用层的技术栈
- 2023年10月05日：MIT惊人证明：大语言模型就是「世界模型」？吴恩达观点再被证实，LLM竟能理解空间和时间
- 2023年10月07日：主观世界模型的3类4组18个惊奇的理论分析
- 2023年12月13日：语言模型和世界模型如何连接？NeurIPS 2023最新《语言模型、智能体模型和世界模型》增强机器推理和规划的LAW法则
- 2024年02月19日：100万token，一次能分析1小时YouTube视频，「大世界模型」火了
- 2024年02月21日：超越 Sora 自动学习完整的世界模型结构
- 2024年02月22日：什么是世界模型？为什么Sora不是 world simulator？
- 2024年02月26日：刚刚，谷歌发布基础世界模型：11B参数，能生成可交互虚拟世界
- 2024年03月03日：什么是世界模型？为什么Sora不是
- 2023年10月05日：Yann LeCun最新AI演讲《从机器学习到自主智能》，大模型不能规划，提出目标驱动AI，附视频与Slides
- 2023年10月07日：科研人员提出脑启发的神经环路演化策略
- 2023年10月12日：突发！Hinton入局机器人创业，公司新获9000万投资
- 2023年10月26日：35年首次证明！NYU重磅发现登Nature：神经网络具有类人泛化能力，举一反三超GPT-4
- 2023年11月30日：黑暗中的大脑：设计原则之神经模拟学习和推理
- 2023年12月03日：10年，6亿欧元，“欧洲人脑计划”成败几何？|《自然》长文
- 2023年12月20日：清华等团队研究登Nature子刊封面：用生物脑机制启发持续学习，让智能系统适者生存
- 2023年12月20日：为AI配备目标；强化学习是最低的智能行为，昆虫和哺乳动物在第几层？
- 2023年12月25日：一篇综述，看穿基础模型+机器人的发展路径
- 2024年01月15日：Nature论文 “浅脑理论”：深度神经网络或许不是下一代AI的核心架构？
- 2024年01月20日：有生计算，AGI之路，彻底改变具身、主动智能和认知研究的长期未来
- 2024年01月30日：大模型时代，南大周志华埋头做学件，最新论文上线
- 2024年02月08日：斯坦福最强家务机器人ALOHA 2来了，成本不到20万，联手谷歌DeepMind，完全开源
- ChatGPT出来后，我们是否真的面临范式转变? | 李rumor(符尧) 2022-12-29
- 万字拆解！追溯ChatGPT各项能力的起源 | 李rumor(符尧) 2022-12-20
- 自然语言处理范式正在变迁 | 李rumor(车万翔) 2022-12-08
- 通向AGI之路：大型语言模型（LLM）技术精要 | 张俊林 2023-01-18
- 乘风破浪的PTM：两年来预训练模型的技术进展 | 张俊林 2020-09-20