Skip to content

Commit

Permalink
become a machine learning practitioner
Browse files Browse the repository at this point in the history
  • Loading branch information
huataihuang committed Dec 5, 2023
1 parent 8d55c7c commit 92bccb3
Show file tree
Hide file tree
Showing 4 changed files with 103 additions and 9 deletions.
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
14 changes: 5 additions & 9 deletions source/kubernetes/debug/k8s_events.rst
Original file line number Diff line number Diff line change
Expand Up @@ -16,16 +16,12 @@ Kubernetes 默认保持 **最近一小时** 事件记录,这是通过 ``kube-a
事件存储方案
===============

.. note::
调研
-----

`Kubernetes events — how to keep historical data of your cluster <https://medium.com/@andrew.kaczynski/kubernetes-events-how-to-keep-historical-data-of-your-cluster-835d685cc45>`_ 原文介绍了通过 :ref:`metricbeat` 将Kubernetes的 :ref:`metrics` 采集到 :ref:`elasticsearch` 进行分析

我这里整理的概要有待实践

此外,我在考虑是否可以采用 :ref:`loki` 这样的 :ref:`log_systems` 来实现类似的集群事件采集?



- `Kubernetes events — how to keep historical data of your cluster <https://medium.com/@andrew.kaczynski/kubernetes-events-how-to-keep-historical-data-of-your-cluster-835d685cc45>`_ 原文介绍了通过 :ref:`metricbeat` 将Kubernetes的 :ref:`metrics` 采集到 :ref:`elasticsearch` 进行分析
- 是否可以采用 :ref:`loki` 这样的 :ref:`log_systems` 来实现类似的集群事件采集?
- `GitHub: kube-eventer <https://github.com/AliyunContainerService/kube-eventer>`_ 是阿里云开发的kubernetes事件采集组件,可以将Kubernetes events下沉到不同平台(elasticsearch, SLS, Kafka, InfluxDB),在生产环境中也有所采用

参考
======
Expand Down
97 changes: 97 additions & 0 deletions source/machine_learning/become_a_machine_learning_practitioner.rst
Original file line number Diff line number Diff line change
@@ -0,0 +1,97 @@
.. _become_a_machine_learning_practitioner:

=======================
成为一名机器学习实践者
=======================

2016年,当 `【Netflix】阿尔法狗 AlphaGo (2017) <https://www.bilibili.com/video/BV1Ct411u71n>`_ 向世界展示了深度学习战胜人类最强棋手李世石的时候,我也曾想过是否要学习机器学习知识,但是自己以往的计算机知识局限于Linux系统以及运维为主,对于机器学习涉及的理论知识非常匮乏。虽然看了一些资料,但始终摸不到门槛。

2022年底,ChatGPT的横空问世(实际上要早很多,但是出圈确实是在2022年底),特别是随后GPT-4惊人的AGC能力,让人再次被机器学习/深度学习的能力所震撼。但是,处于这场狂潮之中,又该如何开始学习和真正掌握这项能力呢?

Greg Brockman: 如何成为一名机器学习实践者
==========================================

.. figure:: ../_static/machine_learning/greg_brockman.png

`OpenAI联合创始人Greg Brockman在Linkedin上的个人介绍 <https://www.linkedin.com/in/thegdb>`_

.. note::

如果你想一睹Greg Brockman的风采和理念,可以观看一下他在TED的演讲 `The Inside Story of ChatGPT’s Astonishing Potential <https://www.youtube.com/watch?v=C_78DM8fG6E>`_

.. youtube:: C_78DM8fG6E

今天,我读到一篇 OpenAI 联合创始人 Greg Brockman 在2019年撰写的blog 译文( `创立OpenAI前,Greg Brockman都不懂机器学习 <https://mp.weixin.qq.com/s?__biz=Mzg5Mjc3MjIyMA==&mid=2247565263&idx=1&sn=54b8b2056b2544cab85500544891ded4&chksm=c03ab5dcf74d3cca744cc76110ce9a51f8a64ddb69ae0771e590c014b3bd4a4d1ac42d9dc451&mpshare=1&scene=1&srcid=1205knHUh4ptaqrp2uBTQSTs&sharer_shareinfo=779dddba0685bf70929aa98bff9d8518&sharer_shareinfo_first=779dddba0685bf70929aa98bff9d8518&exportkey=n_ChQIAhIQ%2FNVukkGyyKU13cALcr%2FoqhKZAgIE97dBBAEAAAAAACuJAS8%2Fw7AAAAAOpnltbLcz9gKNyK89dVj0VXRAFVQvoN3yy9G85PnGjy%2BKHjnv63afvpcrCVXpyJrWgsv64gAT3bKeAqFmaykdewB%2B3NLmB8VcQ7X2g8eMKcPbKIjdrfZVgiB4fzHd0aRN3wY%2FHwDlgb02zh86sZJOSFZOA17ahHZ8EDK2fKMpVCLYZTFCOWpd0gl3iXSwetxx262T0PA%2Bf3yGXsfYzvjQZee4khUj%2FSevRQNCMRqWfH%2BKTQCF%2BwMnHAhyzkNs%2B%2FeIeYF3ELrkRBQMBT7skYoCf9TVEeAPG5kTQkcRq5golDTkFuaHK%2BZlSQTB%2BVGO6xtzJphbmn2UDjWqtSLatl7tKzYn&acctmode=0&pass_ticket=n8nl9hDyReOW39AJGwtYzR94f5lwg34pNoIvuNxt9Hqw5H%2BKKTyYGGdGc0KL2bpvOpa8KfvrPHnK81dzSHJu1A%3D%3D&wx_header=0#rd>`_ 原文见 `How I became a machine learning practitioner <https://blog.gregbrockman.com/how-i-became-a-machine-learning-practitioner>`_ ),对我有所启发和激励( **见贤思齐** ):

- Greg Brockman 说他的软件技能在OpenAI中非常受欢迎(技术领袖),但是这也是阻碍他学习机器学习技能的绊脚石

- 确实,我们非常容易陷入 "技术舒适圈" ,在自己熟悉的技术领域不断(些微)进步,但是我们会畏惧进入自己不能控制的技术领域,例如机器学习(虽然我们知道这是一个先进和面向未来的技术)

- 2017年 Greg Brockman 在首次尝试Dota游戏的机器学习,虽然他构建了软件基础设施,以及贡献了训练代码,但是(我感觉)他承认当时他并 **没有掌握结合软件和机器学习的关键技能**


- 2018年11月 Greg Brockman 在输掉了国际邀请赛之后(应该是AI竞赛,当年OpenAI和DeepMind的AlphaGo一争长短),他下决心用三个月来尝试:

- **最有效的方式是要有一个具体的构建目标** : 构建一个聊天机器人(Greg Brockman自学训练基于LSTM的语言模型和基于Transformer的模型)
- 研究信息论、阅读大量论文(直到完全理解每一行内容)

::

虽然进展缓慢,但这次我有所准备。

我并没有体验到那种心流状态。这让我想起我刚开始学习编程时的感觉,我一直在想花了多长时间才达到精通的感觉。

说实话,我不确定自己是否能在机器学习领域变得优秀。

但我继续前进,因为…… 坦白说,我不想仅仅局限于理解项目的一部分。

我想清楚地看到整个画面。

::

...一个重要的概念性突破,我克服了之前在 Dota 项目中因过于胆怯而未曾尝试的障碍:

对别人的机器学习代码做出实质性的更改。...

...但当我尝试生成更长的消息时,过程变得非常缓慢,这种挫败感甚至超过了我的恐惧...

...当我最终让它工作时,我意识到我学到了一些之前认为不可能的东西:我现在了解整个模型是如何构建的...

- 2019年初,在经过三个月自学之后 Greg Brockman 开始参与项目(他提到自己75%时间写代码,其余时间专注于机器学习),并且在六个月时间内转型为机器学习实践者(我理解他深度参与并构建了机器学习工程化):

- 作为OpenAI的核心技术领袖,他坦承 **我之所以(以前)无法转型,是因为我不愿意再次成为初学者。**
- 他以自身的经历来鼓励机器学习的后来者:

::

如果你想成为深度学习实践者,你完全可以做到。

你需要给自己留出失败的空间和时间。

如果你 "从足够多的失败中学习" ,你最终会成功 -- 而且可能比你预想的要快得多。

.. note::

Greg Brockman 并不是没有基础的小白(虽然他很谦虚):

- 2008年 Greg Brockman 进入哈佛攻读 数学和计算机专业 ,2010年转学到MIT就读计算机科学: 也就是说他本人 **数学** 和计算机能力已经非常强
- 2010年 Greg Brockman 辍学加入Stripe(支付巨头)成为"第四人",并成为CTO,构建了Stripe的基础架构(可见他的计算机工程能力极强,为后续OpenAI的机器学习工程化提供了基础)
- 2015年 Greg Brockman 加入OpenAI,虽然此时他不懂深度学习,但是他作为技术负责人,为组建初期技术团队提供了主要推动(人脉):OpenAI训练ChatGPT的软硬件架构是由Gre Brockman主导的
- 2019年7月,他撰写 `How I became a machine learning practitioner <https://blog.gregbrockman.com/how-i-became-a-machine-learning-practitioner>`_ 阐述他作为软件后端基础设施和架构的传统软件开发者(十年的编程经验),如何以初学者的心态花费了九个月时间转型为一名机器学习实践者

我的思考
==========

虽然我们绝大多数人都无法达到Greg Brockman高度,但是以他的传统软件开发者转型机器学习架构师,这个技术道路是我们借鉴的方向。哪怕我们能够学习和做到他1/10的程度,也是极大的成就和进步。

我看到了自己类似的情况,多年的基础设施运维使得我自己技能还算过得去,但是却始终没有跨出软件开发以及结合机器学习的爆发一步。想到连 Greg Brockmon 这样优秀的技术高手都承认自己的不足,我有什么理由不 ``以初学者的心态`` 来开始自己的机器学习之路呢?

Greg Brockmon 的后端开发和软硬件基础架构能力也是他最终转型 ``机器学习实践者`` 的技术基石,我想我也可以以 :ref:`kubernetes` 以及 :ref:`kubeflow` 的工程实践来实现和理解机器学习,从部署到训练,从工程化到开发,也是类似的机器学习之路...

参考
======

- `创立OpenAI前,Greg Brockman都不懂机器学习 <https://mp.weixin.qq.com/s?__biz=Mzg5Mjc3MjIyMA==&mid=2247565263&idx=1&sn=54b8b2056b2544cab85500544891ded4&chksm=c03ab5dcf74d3cca744cc76110ce9a51f8a64ddb69ae0771e590c014b3bd4a4d1ac42d9dc451&mpshare=1&scene=1&srcid=1205knHUh4ptaqrp2uBTQSTs&sharer_shareinfo=779dddba0685bf70929aa98bff9d8518&sharer_shareinfo_first=779dddba0685bf70929aa98bff9d8518&exportkey=n_ChQIAhIQ%2FNVukkGyyKU13cALcr%2FoqhKZAgIE97dBBAEAAAAAACuJAS8%2Fw7AAAAAOpnltbLcz9gKNyK89dVj0VXRAFVQvoN3yy9G85PnGjy%2BKHjnv63afvpcrCVXpyJrWgsv64gAT3bKeAqFmaykdewB%2B3NLmB8VcQ7X2g8eMKcPbKIjdrfZVgiB4fzHd0aRN3wY%2FHwDlgb02zh86sZJOSFZOA17ahHZ8EDK2fKMpVCLYZTFCOWpd0gl3iXSwetxx262T0PA%2Bf3yGXsfYzvjQZee4khUj%2FSevRQNCMRqWfH%2BKTQCF%2BwMnHAhyzkNs%2B%2FeIeYF3ELrkRBQMBT7skYoCf9TVEeAPG5kTQkcRq5golDTkFuaHK%2BZlSQTB%2BVGO6xtzJphbmn2UDjWqtSLatl7tKzYn&acctmode=0&pass_ticket=n8nl9hDyReOW39AJGwtYzR94f5lwg34pNoIvuNxt9Hqw5H%2BKKTyYGGdGc0KL2bpvOpa8KfvrPHnK81dzSHJu1A%3D%3D&wx_header=0#rd>`_ 原文见 `How I became a machine learning practitioner <https://blog.gregbrockman.com/how-i-became-a-machine-learning-practitioner>`_
- `不为人知的创始人山姆:OpenAI创始人Greg Brockman <https://zhuanlan.zhihu.com/p/635305355>`_
- `ChatGPT背后的男人——OpenAI“总设计师”Brockman <https://zhuanlan.zhihu.com/p/622324970>`_
1 change: 1 addition & 0 deletions source/machine_learning/index.rst
Original file line number Diff line number Diff line change
Expand Up @@ -13,6 +13,7 @@ Machine Learning Atlas
.. toctree::
:maxdepth: 1

become_a_machine_learning_practitioner.rst
startup/index
concept/index
deep_learning/index
Expand Down

0 comments on commit 92bccb3

Please sign in to comment.