Skip to content

MooTong123/notebook

BranchesTags

Repository files navigation

notebook

工作之余学习历程

2021年 11.10

  1. clone仓库，下载两本书（/books）
  2. 《python编程从入门到实践》大概翻了下，到第二章，先把这个看完
  3. 《python数据分析》大概翻了一下，

11.11

  1. 《python编程从入门到实践？，看到了第11章测试，写了点测试案例，学习了下单元测试
  2. 看资料知道了现在automl框架很火，决定要学习auto-sklearn等框架

11.12 1.《python编程从入门到实践》第一部分全看完了，复习了下python的基础语法，第二部分实践部分就暂时不看了

11.15

  1. 开始看《python数据分析》 2.搜到b站清华大佬讲数据分析（详细的解释numpy，pandas，matplotlib），百度网盘下载资料，因数据data太大，传不上github，暂时不传，进度：看到了第二章第四节：numpy索引和切片。

11.16 忙工作

11.17 1.看到b站数据分析第二章第六节：Numpy数组操作

11.18 1.发现李沐大神b站讲的斯坦福大学 Practical_Machine_Learning的课程，去standford官网下载课件，上传到github(/CS329P_Practical_Machine_Learning)，准备结合经验好好看看，查漏补缺。 2. 晚上学习了三节课程，1.2 introduction 概述，1.3 data acquisition 收集数据，2.1 web scraping 数据抓取

11.19

  1. 学习了Practical_ML的2.2 data labeling 数据标注的问题

11.22

  1. 精读了Lichee论文，使用多粒度标记化改进语言模型预训练的论文
  2. 学习了Practical_ML的2.3 数据探查和 3.1 数据清洗

11.23 1.工作，用来整理Lichee代码结构，学习了python工程性的写法，用配置文件shell来run文件

11.24

  1. 学习了Practical_ML的3.2 数据转换和 ，3.3 特征工程，3.4数据总结，4.1机器学习总结，4.2树模型，4.3线性模型，5.1神经网络中的MLP，CNN

11.25

  1. 做lichee的demo测试

11.26

  1. 学习了Practical_ML的5.1神经网络的RNN模型，6.1 model metrics的内容

11.29

  1. 开始读《python数据分析》，从第1章看到了4.6节。

11.30

  1. 读《python数据分析》, 看完第四章numpy基础
  2. 学习了Practical_ML的6.2过拟合和欠拟合

12.01

  1. 读《python数据分析》, 看完第5章，pandas基础。
  2. 学习了Practical_ML的6.3 model validation 模型验证

12.02

  1. 读《python数据分析》, 看完第6章，pandas数据加载、存储文件格式。
  2. 整理《python数据分析》第5章pandas基础的思维导图，网址 https://docs.qq.com/mind/DY0tNTFJacndWcWx1

12.03 1.整理《python数据分析》第6章pandas数据加载存储文件格式的思维导图，【腾讯文档】Chapter 6：pandas数据加载、存储与文件格式 https://docs.qq.com/mind/DY29MalNZRG13TlRE

12.06 1.整理《python数据分析》第7章pandas数据清洗的思维导图，【腾讯文档】https://docs.qq.com/mind/DY09pRU1iWmtUS1py

12.07

  1. 读《python数据分析》,第8章数据规整：聚合合并和重塑
  2. 学习了Practical_ML的7.1 bias and variance 偏差方差

12.08 1.整理《python数据分析》第8章pandas数据整合：聚合合并和重塑的思维导图，【腾讯文档】https://docs.qq.com/mind/DY2JXVkJmSUtPYktT 2. 学习了Practical_ML的7.2 bagging

12.09

  1. 读《python数据分析》,第9章 绘图和可视化（matplotlib）
  2. 学习了Practical_ML的7.3 boosting

12.10

  1. 整理《python数据分析》第9章pandas绘图可视化的思维导图，【腾讯文档】Chapter 9：绘图和可视化 https://docs.qq.com/mind/DY0VNSmNObERGcFdJ
  2. 学习了Practical_ML的7.4 stacking

12.14

  1. 读《python数据分析》,第10章 pandas数据聚合与分组运算（groupby）

12.15

  1. 整理《python数据分析》第10章数据聚合与分组运算的思维导图，https://docs.qq.com/mind/DY0diWUNjSGxrSExY

12.16 1.学习了Practical_ML的12.1 model tuning 和12.2 HPO algorithms 2.读《python数据分析》,第11章 pandas时间序列 的11.2节

12.17

  1. 精读Transformer论文：Attention is all you need

12.20

  1. 读《python数据分析》,第11章 pandas时间序列 的11.4节
  2. 学习nlp课程01day

12.21

  1. 读完《python数据分析》,第11章 pandas时间序列，整理笔记到11.4节

12.22

  1. 整理《python数据分析》,第11章 pandas时间序列的思维导图，【腾讯文档】Chapter 11 pandas时间序列 https://docs.qq.com/mind/DY1JhZHBycUdMTnJQ

12.23 1、读完《python数据分析》,第12章 pandas高级应用，并整理完思维导图 【腾讯文档】Chapter 12 pandas高级应用 https://docs.qq.com/mind/DY2ZKbHliTEJGc0h3

12.24

  1. 学习了Practical_ML的12.3 NAS algorithms

12.27

  1. 读完《python数据分析》,第13章 python建模库介绍，并整理完思维导图【腾讯文档】Chapter 13：Python建模库介绍 https://docs.qq.com/mind/DY2hPTkxnYUdqRWVk

12.28

  1. 读《python数据分析》,第14章数据分析案例，14.1数据案例
  2. 看b站ML视频，P6 数据集的介绍

12.29

  1. 读《python数据分析》,第14章数据分析案例，14.2数据案例
  2. 看b站ML视频，P17 基础绘图演示

12.30

  1. 读《python数据分析》,第14章数据分析案例，14.3数据案例

12.31

  1. 学习了Practical_ML的13.1 batch norm和layer norm
  2. 读《python数据分析》,第14章数据分析案例，14.4数据案例

2022年 01.04

  1. 读《python数据分析》,第14章数据分析案例，14.5数据案例 【腾讯文档】Chapter 14 数据分析案例 https://docs.qq.com/mind/DY1R4dHlodExjQ1hz
  2. 看b站ML视频，看到P25 numpy ndarray

01.05

  1. 看b站ML视频，看到P27 ndarray reshape

01.06

  1. 测试H2O flow产品，写完测试文档。

01.07

  1. 看b站ML视频，看到P39 DataFrame索引
  2. 学习了Practical_ML的14.1 迁移学习 transfer learning

1.10

  1. 看b站ML视频，看到P52 Pandas透视表

1.11

  1. 看《统计学习方法》，第一章，监督学习的基础概念

1.12

  1. 看b站ML视频，看到P62 kNN

1.13

  1. 看b站ML视频，看到P77 grid Search

1.14

  1. 看b站ML视频，看到P95 模型保存

1.17

  1. 看b站ML视频，看到P107 决策树，信息增益
  2. 学习了Practical_ML的14.1 fine tuning for cv

1.18

  1. 看b站ML视频，看到P120 集成学习

1.19

  1. 学习了Practical_ML的14.2 fine tuning for nlp
  2. 整理numpy用户文档，在data_mining中
  3. 看b站ML视频，看到P125 boosting

1.20

  1. 整理numpy用户文档
  2. 看b站ML视频，看到P128 xgb

1.21

  1. 整理numpy用户文档(整理完成)

1.25

  1. 看b站ML视频，看到P131 kmeans

1.26

  1. 看b站ML视频，看到P136 降维

1.27

  1. 看b站ML视频，看到P142 看完

1.28

  1. 整理pandas文档，搭好框架，共11部分

1.29

  1. 整理pandas文档，整理到第4部分Pandas画图

2.07 1.整理pandas文档，整理到第6部分Pandas缺失值

2.08 1.整理pandas文档，整理到第9部分Pandas交叉表和透视表

2.09

  1. 整理pandas文档，整理到第11部分Pandas时间序列
  2. 读一篇博客 https://perceiving-systems.blog/en/post/novelty-in-science

2.10

  1. 精度BERT论文
  2. 整理pandas完文档，整理到第12部分Pandas案例

2.11

  1. 复习BERT论文，看笔记整理seaborn文档到第二部分关系绘图relplot
  2. 整理matplotlib文档

2.14

  1. 读博客，三年算法工程师总结： https://zhuanlan.zhihu.com/p/453800419
  2. 整理matplotlib文档，整理到散点图

2.15

  1. 整理完matplotlib文档
  2. 看b站matplotlib讲解视频，添加一些使用技巧。

2.16

  1. 看完b站seaborn的初步讲解
  2. 整理seaborn文档，搭好框架
  3. 找到一个好文章，Python工匠：python的编程经验分享，准备找时间读完 https://github.com/piglei/one-python-craftsman

2.17 1.读文章，如何成为CTO。https://mp.weixin.qq.com/s/SJsJ-3-sACv8C8p8y2d2Iw 2.整理seaborn文档到第二部分关系绘图relplot

2.21

  1. 整理seaborn文档到第5部分线性关系绘图
  2. 读《统计学习方法》，读到1.3章 （1）了解判别模型和生成模型的区别！ （2）复习MLE极大似然估计和贝叶斯估计的区别！

2.22

  1. 读《统计学习方法》，读完第1章和第二章感知机（推导公式需要手推） 2.整理seaborn文档到第7部分seaborn风格设置

2.23 1.读《统计学习方法》，读完第3章KNN和第4章朴素贝叶斯。 （1）kd树 （2）贝叶斯定理和朴素贝叶斯 （3）贝叶斯估计和极大似然估计 2. 整理完成seaborn用户文档 3. 准备kaggle中titanic数据挖掘问题

2.24 1.读《统计学习方法》，读完第5章决策树 2. 整理titanic数据挖掘，写完第二部分收集数据

2.25

  1. 整理titanic数据挖掘，第3部分数据探查中的前2节

2.28

  1. 读《统计学习方法》，读完第6章逻辑回归
  2. 整理机器学习笔记到腾讯文档，整理 （1）KNN 【腾讯文档】机器学习总览 https://docs.qq.com/mind/DY2RZRlJqeGdiZG5n

3.1

  1. fork leetcode资料，每天至少一道题，读前序里的一些文章 （1）BAT技术面试注意细节 （2）互联网大厂研发流程 （3）代码风格 （4）时间复杂度 （5）空间复杂度 （6）代码的内存消耗

  2. 整理机器学习笔记到腾讯文档，整理 （1）线性回归 （2）梯度下降 【腾讯文档】机器学习总览 https://docs.qq.com/mind/DY2RZRlJqeGdiZG5n

  3. leetcode 001.twosum easy

3.2

  1. 整理机器学习笔记到腾讯文档，整理 （1）逻辑回归 （2）欠拟合和过拟合 （3）评估方法 【腾讯文档】机器学习总览 https://docs.qq.com/mind/DY2RZRlJqeGdiZG5n

  2. 博客整理更新

  3. leetcode_master，数组部分习题 （1）数组第1节：数组理论基础 （2）数组第2节： 00704.二分法 easy 00035.搜索插入位置 easy 00069.x 的平方根 easy

3.3

  1. Pandas文本处理整理

  2. 整理机器学习笔记到腾讯文档，整理 （1）决策树（回归树）

  3. leetcode_master （1）数组第2节： 00367.完全平方数 easy 00034.在排序数组中查找元素的第一个和最后一个位置 medium

3.4

  1. leetcode_master，数组部分 （1）数组第2节：00034 二分法 medium （2）数组第3节：移除元素 27 26 easy

  2. 整理机器学习笔记到腾讯文档，整理 （1）回归树 （2）朴素贝叶斯 （3）聚类 （KMeans优化）

  3. Hands-on Machine Learning with Scikit-Learn, Keras, and TensorFlow, 2nd Edition 找到电子书 上传

3.5

  1. leetcode_master， （1）数组第3节：移除元素 283.移动零 esay 844.比较含退格的字符串 easy （2）数组第4节：977.有序数组的平方 easy

  2. 整理机器学习笔记到腾讯文档，整理 （1）聚类 （KMeans优化） （2）特征降维 （3）深度学习梯度下降优化方法 （4）imbalanced-learn常见API整理 （5）集成学习

3.8

  1. leetcode_master （1）数组第5节：滑动窗口 209.长度最小的子数组 medium 904.水果成篮 medium 76. 最小覆盖子串 hard

  2. 整理机器学习笔记到腾讯文档，整理 （1）集成学习：bagging和随机森林api参数整理 （2）集成学习剩下内容

3.9

  1. leetcode_master （1）数组第5节：滑动窗口 76. 最小覆盖子串 hard （2）数组第6节：循环 59. 螺旋矩阵II medium 54.螺旋矩阵 medium 剑指offer29 easy

  2. 整理机器学习笔记到腾讯文档，整理 （1）集成学习 （2）Adaboost （3）GBDT

3.11

  1. 整理机器学习笔记到腾讯文档，整理 （1）XGBoost （2）常见问题 a）什么是损失函数，代价函数，目标函数 b）梯度提升和梯度下降的区别 （3）XGB的API（TO DO）

  2. leetcode_master （1）链表第1节：基础知识 （2）链表第2节：虚拟头结点 203.移除链表元素 easy （3）链表第3节：链表基础知识 707.设计链表 medium 单链表和双链表两种解法

3.14

  1. leetcode_master （1）链表第4节：反转链表 00206.反转链表 easy （2）链表第5节：两两交换链表中的节点 00024.两两交换链表中的节点 medium

  2. 整理机器学习笔记到腾讯文档，整理 （1）XGBoost API，所有的参数理解 （2）了解决策树的进化史，包含DART是什么

3.15

  1. leetcode_master （1）链表第6节：删除链表的倒数第N个节点 19.删除链表的倒数第N个节点 medium （2）链表第7节：链表相交 面试题 02.07. 链表相交 easy （3）链表第8节：环形链表II 00142. 环形链表II medium TODO

  2. 整理机器学习笔记到腾讯文档，整理 （1）LightGBM (TODO)

3.16

  1. leetcode_master （1）链表第8节：环形链表II 00142. 环形链表II medium TODO

  2. 整理机器学习笔记到腾讯文档，整理 （1）LightGBM 重构(TODO)

3.17

  1. leetcode_master （1）链表第8节：环形链表II 00142. 环形链表II medium （2）链表总结：重做一遍链表的题 00203.移除链表元素 easy 00707.链表基本操作 medium

  2. 整理机器学习笔记到腾讯文档，整理 （1）XGB补充 a. XGB的工程优化 b. XGB和GBDT的优缺点 （2）LightGBM 优化 （3）LightGBM API参数详解 （TODO） （4）XGB和LightGBM参数调优（TODO） （5）XGB Python API详解 （TODO）

3.18

  1. 工作

3.22

  1. leetcode_master （1）链表总结：复习 虚拟头结点：00203（easy），24（medium） 链表基本操作：707（medium） 反转链表：206（easy） 删除倒数第n个节点：19（medium） 链表相交：面试02.07（easy） 环形链表：142（medium）

  2. 整理机器学习笔记到腾讯文档，整理 （1）LightGBM API参数详解 （TODO） （2）XGB和LightGBM参数调优（TODO） （3）XGB Python API详解 （TODO）

3.23

  1. leetcode_master （1）哈希表第一节：理论基础 （a) 遇到需要判断一个元素是否出现过的场景也应该第一时间想到哈希法 （b) collections 详解：https://blog.csdn.net/weixin_44772440/article/details/122311744? （2）哈希表第二节：有效的字母异位词 00242 easy 383.赎金信 easy 49.字母异位词分组 medium 438.找到字符串中所有字母异位词 medium

  2. 整理机器学习笔记到腾讯文档，整理 （1）LightGBM API参数详解 （2）LightGBM参数调优 未完成（TODO） （3）LightGBM 重点参数（TODO） （4）XGB Python API详解 （TODO） （5）XGB 调优（TODO）

3.24

  1. leetcode_master （1）哈希表第3节：查找常用字符 1002 easy （2）哈希表第4节： 两个数组的交集 349 easy 两个数组的交集2 350 easy （3）哈希表第5节： 用set来判断快乐数 202 easy （4）哈希表第6节： 两数之和 1 easy

  2. 整理机器学习笔记到腾讯文档，整理 （1）LightGBM API参数详解 （2）LightGBM参数调优 未完成（TODO） （3）LightGBM 重点参数（TODO） （4）XGB Python API详解 （TODO） （5）XGB 调优（TODO）

03.25

  1. 忙工作

03.28-03.30

  1. 感冒发烧

03.31 1.leetcode_master （1）哈希表第7节：四数相加II 454 medium （2）哈希表第8节：383. 赎金信 easy 用counter做

04.01 1.leetcode_master （1）哈希表第9节：第15题. 三数之和 medium （2）哈希表第10节：第18题. 四数之和 medium

04.02 1.leetcode_master （1）哈希表总结：重新做一遍 ## 数组作为哈希表（Counter或defaultdict） * 00242.有效的字母异位词 easy * 00383.赎金信 easy * 00049.字母异位词分组 medium

04.06 1.leetcode_master （1）哈希表总结：重新做一遍 * 00438.找到字符串中所有字母异位词 medium * 01002.查找常用字符 easy * 00350.两个数组的交集II easy * 00349. 两个数组的交集 easy * 00202.快乐数 easy * 00001.两数之和 easy * 00454. 四数之和 medium * 00015. 三数之和 medium * 00018.四数之和 medium

04.07 1.leetcode_master （1）字符串第1节：344 反转字符串 easy （2）字符串第2节：541 反转字符串II easy （3）字符串第3节：offer05 替换空格 easy

04.08 1.leetcode_master （1）字符串第4节：151.翻转字符串里的单词 medium

  1. 进行新冠疫情分析：pyecharts

04.11 1.leetcode_master （1）字符串第5节：剑指Offer58-II.左旋转字符串 easy

ToDO
（2）字符串第6节：28. 实现 strStr() KMP算法
  1. 整理了ARIMA和AR时间序列模型

04.12

  1. 整理ARCH模型
  2. 新冠疫情分析

04.13

  1. 上海疫情预测 2 .leetcode_master ToDO 看完视频讲解 （1）字符串第6节：28. 实现 strStr() KMP算法

04.14

  1. 公安防治模型

04.15

  1. 建模智慧政法

04.18-04.21

  1. 工作

04.22-04.26

  1. 泰坦尼克号建模用户文档

04.27

  1. 了解MLOps，deeplearning.ai 课程

04.28

  1. 上MLOps课程，看到课程1：第一章：1.2 部署的部署模式，记录笔记

04.29

  1. MLOps，课程一，第一章，1.2部署 - pipeline monitoring

05.05

  1. MLOps，课程一，第一章学完

05.09

  1. MLOps，课程一，第一章编程练习

05.10

  1. MLOps，课程一，第二章2.1 选择并训练一个模型

05.11 - 05.13

  1. 工作
  2. MLOps，课程一，第二章2.2-2.3 误差分析+数据迭代

05.16 - 05.18

  1. MLOps，课程一，第二章2.2 性能审计

05.19

  1. autogluon文档
  2. MLOps书，阅读（TODO）

05.20

  1. autogluon文档
  2. MLOps书，阅读（TODO）

05.23-05.27

  1. 居家隔离期间
  2. PGL选型测试
  3. 根据工作内容，学习django内容

05.20 -06.20

  1. 居家办公，摸鱼工作

06.21

  1. AI自动化建模文档调研，做产品规划

06.22

  1. MLOps 书，整理结构笔记，保存在腾讯文档，整理到1.2

06.23

  1. MLOps书，整理笔记到1.3

06.24

  1. MLOps书，整理笔记到1.4

06.27 - 07.01

  1. 工作

07.04

  1. 沐神-codex论文精读

07.05 - 07.08

  1. MLOps书，chapter3，代码更新
  2. 学习 Python 代码规范

07.11-07.15

  1. 算子代码整理

07.18 - 07.29

  1. 算子整理：（1）分类:逻辑回归、决策树、MLP、NB、SVM、KNN （2）回归：决策树、Lasso

08.01 - 08.02

  1. MLOps书，chapter3，代码更新到3.6 特征工程

08.03

  1. MLOps书，chapter3 整理到3.9

08.04

  1. MLOps书，chapter3 整理完

08.05

  1. MLOps书，chapter4 整理到4.1

08.08

  1. MLOps书，chapter 整理到4.2

08.09

  1. MLOps书，chapter 整理到4.3

08.10

  1. MLOps书，chapter 整理到4.4.整理完Chapter4

08.11-09.02

  1. 算子整理：（1）回归：线性回归，SVM回归 （2）聚类：KMeans聚类，层次聚类，DBSCAN密度聚类 （3）时序模型：自回归模型（AR），移动平均模型（MA）

09.05-09.09

  1. paddleNLP 流程整理：（1）文本分类（2）情感分析（3）词法分析（4）文本匹配
  2. paddleClas 学习：（1）安装环境（2）demo测试

09.12-09.23

  1. 自动机器学习流程整理： (1)传统机器学习：二分类、多分类、回归 (2)自然语言处理：文本分类-单标签，文本分类-多标签、情感分析、词法分析、文本匹配 (3)计算机视觉：图像分类、目标检测、图像分割 (4)时间序列：趋势预测
  2. 二分类-脚本开发

09.26-09.30

  1. 自动机器学习poc代码开发

10.17-10.21

  1. 自动机器学习 poc代码开发：（1）二分类（2）多分类（3）回归
  2. 自动机器学习 脚本开发：（1）train（2）predict（3）utils（4）部分flask接口

10.24-10.28

  1. 自动机器学习 机器学习部分脚本开发

10.31-11.4

  1. 自动机器学习 nlp：（1）文本分类（2）情感识别

11.7 - 11.11

  1. 自动机器学习 nlp：（1）情感识别

11.14 - 11.18

  1. 自动机器学习 nlp：（1）词法分析

11.21 - 11.25

  1. 自动机器学习 nlp：（1）文本匹配

11.28 - 12.02

  1. 自动机器学习 nlp：（1）训练评估预测的接口

12.05 - 12.09

  1. 优化仿真调研

12.12 - 12.16

  1. 优化仿真实现：excel solver 功能测试

12.19 - 12.23

  1. 优化仿真python实现：（1）线性规划 pulp（2）非线性规划 cvxpy

12.26 - 12.30 1.仿真优化python实现调研：（1）分支定界算法（2）遗传算法（3）cplex和gurobi求解器（4）仿真模拟 simpy

2023年 01.03 - 01.06

  1. 自动机器学习-nlp 完成：（1）训练评估预测的接口

01.09 - 01.13

  1. 自动机器学习 CV: （1)图像分类-paddleclas-PULC工具

01.16 - 01.20

  1. 自动机器学习 CV: （1)图像分类-PULC 9大场景的整理

01.28 - 02.03

  1. 自动机器学习 CV: （1)图像分类-PULC 9大场景的整理

02.06 - 02.10

  1. 自动机器学习 CV 数据集标签整理（1）目标检测（2）图像分割（3）图像分类

02.13 - 02.17

  1. 自动化建模-模型市场-部署API：（1）NLP-文本分类-单标签（2）NLP-文本分类-多标签

02.20 - 02.24

  1. 自动化建模-接口联调：（1）实时日志（2）身份验证
  2. 自动化建模-模型市场-部署API：NLP（1）情感分析（2）词法分析（3）文本匹配

02.27 - 03.03

  1. 自动化建模-模型市场-部署API：（1）ML相关接口，server.py（2）打镜像,dockerfile

03-05

  1. 完成工作任务

05.19

  1. 开始学习沐神的《动手学深度学习》https://courses.d2l.ai/zh-v2/

About

some learning notes

Resources

Readme
Activity

Stars

0 stars

Watchers

1 watching

Forks

0 forks
Report repository

Releases

No releases published

Packages

 
 
 

Contributors

Languages