Skip to content
muyannian edited this page Dec 3, 2013 · 2 revisions

1.fdt采用按照block方式的zip压缩(类似sequencefile方式的按照block方式的压缩),目的是减少全文检索模式索引的体积。
2.全文检索模式,检索的时候fdt的读取优化,减少读取次数
3.map到 reduce中间的数据,由 hashmap更换为数组,减少因hashmap的key部分的IO。
4.各种hdfs的优化(延迟打开文件,控制打开数量,关闭长时间没操作的文件)
5.查询的时候,进一步减少读取fdt的IO的量与次数。

Clone this wiki locally