README.md

MIT6.824: Distributed Systems

• 🏓课程资料
• 🏸本仓库资源
• 🎾课程索引
  • LEC 1: Introduction
  • LEC 2: RPC and Threads
• 🥏Lab 笔记索引
  • Lab 1: MapReduce

🏓课程资料

官方课程安排与资源索引：

• http://nil.csail.mit.edu/6.824/2020/schedule.html

大佬的中文文档与翻译链接：

• https://zhuanlan.zhihu.com/p/166409783

B 站视频：

• MIT 6.824: 分布式系统 2020春（简体中文字幕）

官方视频：

• MIT 6.824: Distributed Systems

🏸本仓库资源

• 资源比如课堂资料、作业要求在docs/html/和docs/lec/中
• 实验说明：6.824 Lab 1_ MapReduce.html

🎾课程索引

LEC 1: Introduction

• LEC 1: Introduction, video
• Preparation: Read MapReduce (2004)
• Assigned: Lab 1: MapReduce

本节课的笔记：./drafts/lec01.md

• 分布式系统的驱动力和挑战 Drivens and Challenges
  • 大量的相互协作的计算机驱动力
  • 分布式系统的问题（挑战）
• 课程结构（Course Structure）
• 分布式系统的抽象和实现工具 Abstraction and Implementation
• 分布式系统评判维度
  • 可扩展性 Scalability
  • 可用性 Availability
  • 一致性 Consistency
• MapReduce
  • MapReduce 诞生背景
  • Map Reduce 基本工作方式
  • Map 函数伪代码
  • Reduce 函数伪代码
  • 关于 MapReduce 的问答

LEC 2: RPC and Threads

feb 6

• LEC 2: RPC and Threads, crawler.go, kv.go, video
• Preparation: Do Online Go tutorial (FAQ)

我在 Go tutorial 把 Go 基本了解了，笔记放在 back-end-notes 中了：

• Basics
  • Packages, variables, and functions
  • Flow control statements: for, if, else, switch and defer
  • More types: structs, slices, and maps
• Methods and interfaces
• Generics
• Concurrency

课就不听了，把两个程序看懂似乎才是重点（课上也讲这两个代码）。语言这个东西还是知道思想和原理，然后便用边查最好。

在 ./lec/crawler.go 中，举了串行爬取、锁实现并行爬取、通道并行爬取三个例子，有这些要点：

• 在 lock 后立即 defer unlock 让程序不易出错，读起来也更美观
• sync.WaitGroup 的经典使用：有任务我就先 wg.Add(1) ，每个任务开始时 defer wg.done(1)
• master-worked 模式配合 channel 的经典使用

在 ./lec/kv.go 中，主要是对 net/rpc 做了经典实现。

🥏Lab 笔记索引

关于实验的环境配置见这里：./drafts/lab00.md

Lab 1: MapReduce

./drafts/lab01.md

• 所有的 test 都过了
• 大体思路
• 与论文的区别
• 一些其他收获
  • go: compile to so file AND load so file
  • 防止文件操作冲突，先写到 temp/xxx 文件中，写完再拷贝
  • Map+Reduce 总体给我的感觉就是分布式 groupby ？
  • Scala 中 groupMap 与 groupMapReduce