-
Notifications
You must be signed in to change notification settings - Fork 154
Commit
This commit does not belong to any branch on this repository, and may belong to a fork outside of the repository.
become a machine learning practitioner
- Loading branch information
1 parent
8d55c7c
commit 92bccb3
Showing
4 changed files
with
103 additions
and
9 deletions.
There are no files selected for viewing
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
97 changes: 97 additions & 0 deletions
97
source/machine_learning/become_a_machine_learning_practitioner.rst
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Original file line number | Diff line number | Diff line change |
---|---|---|
@@ -0,0 +1,97 @@ | ||
.. _become_a_machine_learning_practitioner: | ||
|
||
======================= | ||
成为一名机器学习实践者 | ||
======================= | ||
|
||
2016年,当 `【Netflix】阿尔法狗 AlphaGo (2017) <https://www.bilibili.com/video/BV1Ct411u71n>`_ 向世界展示了深度学习战胜人类最强棋手李世石的时候,我也曾想过是否要学习机器学习知识,但是自己以往的计算机知识局限于Linux系统以及运维为主,对于机器学习涉及的理论知识非常匮乏。虽然看了一些资料,但始终摸不到门槛。 | ||
|
||
2022年底,ChatGPT的横空问世(实际上要早很多,但是出圈确实是在2022年底),特别是随后GPT-4惊人的AGC能力,让人再次被机器学习/深度学习的能力所震撼。但是,处于这场狂潮之中,又该如何开始学习和真正掌握这项能力呢? | ||
|
||
Greg Brockman: 如何成为一名机器学习实践者 | ||
========================================== | ||
|
||
.. figure:: ../_static/machine_learning/greg_brockman.png | ||
|
||
`OpenAI联合创始人Greg Brockman在Linkedin上的个人介绍 <https://www.linkedin.com/in/thegdb>`_ | ||
|
||
.. note:: | ||
|
||
如果你想一睹Greg Brockman的风采和理念,可以观看一下他在TED的演讲 `The Inside Story of ChatGPT’s Astonishing Potential <https://www.youtube.com/watch?v=C_78DM8fG6E>`_ | ||
|
||
.. youtube:: C_78DM8fG6E | ||
|
||
今天,我读到一篇 OpenAI 联合创始人 Greg Brockman 在2019年撰写的blog 译文( `创立OpenAI前,Greg Brockman都不懂机器学习 <https://mp.weixin.qq.com/s?__biz=Mzg5Mjc3MjIyMA==&mid=2247565263&idx=1&sn=54b8b2056b2544cab85500544891ded4&chksm=c03ab5dcf74d3cca744cc76110ce9a51f8a64ddb69ae0771e590c014b3bd4a4d1ac42d9dc451&mpshare=1&scene=1&srcid=1205knHUh4ptaqrp2uBTQSTs&sharer_shareinfo=779dddba0685bf70929aa98bff9d8518&sharer_shareinfo_first=779dddba0685bf70929aa98bff9d8518&exportkey=n_ChQIAhIQ%2FNVukkGyyKU13cALcr%2FoqhKZAgIE97dBBAEAAAAAACuJAS8%2Fw7AAAAAOpnltbLcz9gKNyK89dVj0VXRAFVQvoN3yy9G85PnGjy%2BKHjnv63afvpcrCVXpyJrWgsv64gAT3bKeAqFmaykdewB%2B3NLmB8VcQ7X2g8eMKcPbKIjdrfZVgiB4fzHd0aRN3wY%2FHwDlgb02zh86sZJOSFZOA17ahHZ8EDK2fKMpVCLYZTFCOWpd0gl3iXSwetxx262T0PA%2Bf3yGXsfYzvjQZee4khUj%2FSevRQNCMRqWfH%2BKTQCF%2BwMnHAhyzkNs%2B%2FeIeYF3ELrkRBQMBT7skYoCf9TVEeAPG5kTQkcRq5golDTkFuaHK%2BZlSQTB%2BVGO6xtzJphbmn2UDjWqtSLatl7tKzYn&acctmode=0&pass_ticket=n8nl9hDyReOW39AJGwtYzR94f5lwg34pNoIvuNxt9Hqw5H%2BKKTyYGGdGc0KL2bpvOpa8KfvrPHnK81dzSHJu1A%3D%3D&wx_header=0#rd>`_ 原文见 `How I became a machine learning practitioner <https://blog.gregbrockman.com/how-i-became-a-machine-learning-practitioner>`_ ),对我有所启发和激励( **见贤思齐** ): | ||
|
||
- Greg Brockman 说他的软件技能在OpenAI中非常受欢迎(技术领袖),但是这也是阻碍他学习机器学习技能的绊脚石 | ||
|
||
- 确实,我们非常容易陷入 "技术舒适圈" ,在自己熟悉的技术领域不断(些微)进步,但是我们会畏惧进入自己不能控制的技术领域,例如机器学习(虽然我们知道这是一个先进和面向未来的技术) | ||
|
||
- 2017年 Greg Brockman 在首次尝试Dota游戏的机器学习,虽然他构建了软件基础设施,以及贡献了训练代码,但是(我感觉)他承认当时他并 **没有掌握结合软件和机器学习的关键技能** | ||
|
||
|
||
- 2018年11月 Greg Brockman 在输掉了国际邀请赛之后(应该是AI竞赛,当年OpenAI和DeepMind的AlphaGo一争长短),他下决心用三个月来尝试: | ||
|
||
- **最有效的方式是要有一个具体的构建目标** : 构建一个聊天机器人(Greg Brockman自学训练基于LSTM的语言模型和基于Transformer的模型) | ||
- 研究信息论、阅读大量论文(直到完全理解每一行内容) | ||
|
||
:: | ||
|
||
虽然进展缓慢,但这次我有所准备。 | ||
|
||
我并没有体验到那种心流状态。这让我想起我刚开始学习编程时的感觉,我一直在想花了多长时间才达到精通的感觉。 | ||
|
||
说实话,我不确定自己是否能在机器学习领域变得优秀。 | ||
|
||
但我继续前进,因为…… 坦白说,我不想仅仅局限于理解项目的一部分。 | ||
|
||
我想清楚地看到整个画面。 | ||
|
||
:: | ||
|
||
...一个重要的概念性突破,我克服了之前在 Dota 项目中因过于胆怯而未曾尝试的障碍: | ||
|
||
对别人的机器学习代码做出实质性的更改。... | ||
|
||
...但当我尝试生成更长的消息时,过程变得非常缓慢,这种挫败感甚至超过了我的恐惧... | ||
|
||
...当我最终让它工作时,我意识到我学到了一些之前认为不可能的东西:我现在了解整个模型是如何构建的... | ||
|
||
- 2019年初,在经过三个月自学之后 Greg Brockman 开始参与项目(他提到自己75%时间写代码,其余时间专注于机器学习),并且在六个月时间内转型为机器学习实践者(我理解他深度参与并构建了机器学习工程化): | ||
|
||
- 作为OpenAI的核心技术领袖,他坦承 **我之所以(以前)无法转型,是因为我不愿意再次成为初学者。** | ||
- 他以自身的经历来鼓励机器学习的后来者: | ||
|
||
:: | ||
|
||
如果你想成为深度学习实践者,你完全可以做到。 | ||
|
||
你需要给自己留出失败的空间和时间。 | ||
|
||
如果你 "从足够多的失败中学习" ,你最终会成功 -- 而且可能比你预想的要快得多。 | ||
|
||
.. note:: | ||
|
||
Greg Brockman 并不是没有基础的小白(虽然他很谦虚): | ||
|
||
- 2008年 Greg Brockman 进入哈佛攻读 数学和计算机专业 ,2010年转学到MIT就读计算机科学: 也就是说他本人 **数学** 和计算机能力已经非常强 | ||
- 2010年 Greg Brockman 辍学加入Stripe(支付巨头)成为"第四人",并成为CTO,构建了Stripe的基础架构(可见他的计算机工程能力极强,为后续OpenAI的机器学习工程化提供了基础) | ||
- 2015年 Greg Brockman 加入OpenAI,虽然此时他不懂深度学习,但是他作为技术负责人,为组建初期技术团队提供了主要推动(人脉):OpenAI训练ChatGPT的软硬件架构是由Gre Brockman主导的 | ||
- 2019年7月,他撰写 `How I became a machine learning practitioner <https://blog.gregbrockman.com/how-i-became-a-machine-learning-practitioner>`_ 阐述他作为软件后端基础设施和架构的传统软件开发者(十年的编程经验),如何以初学者的心态花费了九个月时间转型为一名机器学习实践者 | ||
|
||
我的思考 | ||
========== | ||
|
||
虽然我们绝大多数人都无法达到Greg Brockman高度,但是以他的传统软件开发者转型机器学习架构师,这个技术道路是我们借鉴的方向。哪怕我们能够学习和做到他1/10的程度,也是极大的成就和进步。 | ||
|
||
我看到了自己类似的情况,多年的基础设施运维使得我自己技能还算过得去,但是却始终没有跨出软件开发以及结合机器学习的爆发一步。想到连 Greg Brockmon 这样优秀的技术高手都承认自己的不足,我有什么理由不 ``以初学者的心态`` 来开始自己的机器学习之路呢? | ||
|
||
Greg Brockmon 的后端开发和软硬件基础架构能力也是他最终转型 ``机器学习实践者`` 的技术基石,我想我也可以以 :ref:`kubernetes` 以及 :ref:`kubeflow` 的工程实践来实现和理解机器学习,从部署到训练,从工程化到开发,也是类似的机器学习之路... | ||
|
||
参考 | ||
====== | ||
|
||
- `创立OpenAI前,Greg Brockman都不懂机器学习 <https://mp.weixin.qq.com/s?__biz=Mzg5Mjc3MjIyMA==&mid=2247565263&idx=1&sn=54b8b2056b2544cab85500544891ded4&chksm=c03ab5dcf74d3cca744cc76110ce9a51f8a64ddb69ae0771e590c014b3bd4a4d1ac42d9dc451&mpshare=1&scene=1&srcid=1205knHUh4ptaqrp2uBTQSTs&sharer_shareinfo=779dddba0685bf70929aa98bff9d8518&sharer_shareinfo_first=779dddba0685bf70929aa98bff9d8518&exportkey=n_ChQIAhIQ%2FNVukkGyyKU13cALcr%2FoqhKZAgIE97dBBAEAAAAAACuJAS8%2Fw7AAAAAOpnltbLcz9gKNyK89dVj0VXRAFVQvoN3yy9G85PnGjy%2BKHjnv63afvpcrCVXpyJrWgsv64gAT3bKeAqFmaykdewB%2B3NLmB8VcQ7X2g8eMKcPbKIjdrfZVgiB4fzHd0aRN3wY%2FHwDlgb02zh86sZJOSFZOA17ahHZ8EDK2fKMpVCLYZTFCOWpd0gl3iXSwetxx262T0PA%2Bf3yGXsfYzvjQZee4khUj%2FSevRQNCMRqWfH%2BKTQCF%2BwMnHAhyzkNs%2B%2FeIeYF3ELrkRBQMBT7skYoCf9TVEeAPG5kTQkcRq5golDTkFuaHK%2BZlSQTB%2BVGO6xtzJphbmn2UDjWqtSLatl7tKzYn&acctmode=0&pass_ticket=n8nl9hDyReOW39AJGwtYzR94f5lwg34pNoIvuNxt9Hqw5H%2BKKTyYGGdGc0KL2bpvOpa8KfvrPHnK81dzSHJu1A%3D%3D&wx_header=0#rd>`_ 原文见 `How I became a machine learning practitioner <https://blog.gregbrockman.com/how-i-became-a-machine-learning-practitioner>`_ | ||
- `不为人知的创始人山姆:OpenAI创始人Greg Brockman <https://zhuanlan.zhihu.com/p/635305355>`_ | ||
- `ChatGPT背后的男人——OpenAI“总设计师”Brockman <https://zhuanlan.zhihu.com/p/622324970>`_ |
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters