Skip to content

Latest commit

 

History

History
21 lines (13 loc) · 819 Bytes

gfs.md

File metadata and controls

21 lines (13 loc) · 819 Bytes

The Google File System

  • 数据流和控制流分开 : master控制流, chunk server负责数据流. Primary replica负责数据.
  • Metadata 在master的memory, 方便快速查询. ** Operation Log ** 和 ** check point ** 搭配负责容错.

  • 复制流水线化.
  • checksum 保证数据一致性
  • Shadow masters : master down掉赶紧接管

基本上和HDFS架构差不多. 毕竟HDFS就是从GFS学的.

不同点

  • Only single-writers per file. 没有GFS的Record Append操作.
  • HDFS开源.