Skip to content
No description, website, or topics provided.
Branch: master
Clone or download
Pull request Compare This branch is even with hit56:master.
Fetching latest commit…
Cannot retrieve the latest commit at this time.
Permalink
Type Name Latest commit message Commit time
Failed to load latest commit information.
README.md

README.md

hadoop

Hadoop 常用参数 参数名称 说明 stream.memory.limit 单个map,reduce最高使用内存,默认800M mapred.map.memory.limit 单个map最高使用内存,优先级高于stream.memory.limit mapred.reduce.memory.limit 单个reduce最高使用内存,优先级高于stream.memory.limit mapred.map.capacity.per.tasktracker 每台机器最多同时启动map个数 mapred.reduce.capacity.per.tasktracker 每台机器最多同时启动reduce个数 mapred.job.map.capacity map并发数目 mapred.job.reduce.capacity reduce并发数目 abaci.job.map.max.capacity map并发限制,默认10000 abaci.job.reduce.max.capacity reduce并发限制,默认3000 mapred.map.tasks map数目 mapred.reduce.tasks reduce数目 mapred.job.reuse.jvm.num.tasks 1表示不reuse,-1表示无限reuse,其他数值表示每个jvm reuse次数。reuse的时候,map结束时不会释放内存! mapred.compress.map.output 指定map的输出是否压缩。有助于减小数据量,减小io压力,但压缩和解压有cpu成本,需要慎重选择压缩算法。 mapred.map.output.compression.codec map输出的压缩算法 mapred.output.compress 结果输出是否压缩 mapred.output.compression.codec 控制mapred的输出的压缩的方式 io.compression.codecs 压缩算法 mapred.max.map.failures.percent 容忍map错误百分比,默认为0 mapred.max.reduce.failures.percent 容忍reduce错误百分比,默认为0 stream.map.output.field.separator map输出分隔符,默认Tab stream.reduce.output.field.separator reduce输出分隔符,默认Tab mapred.textoutputformat.separator 设置TextOutputFormat的输出key,value分隔符,默认Tab mapred.textoutputformat.ignoreseparator 设置为true后,当只有key没有value会去掉自动补上的Tab mapred.min.split.size 指定map最小处理数据量,单位B mapred.max.split.size 指定map最多处理数据量,单位B,同时设置inputformat=org.apache.hadoop.mapred.CombineTextInputFormat mapred.combine.input.format.local.only 是否只合并本节点,默认true,设置为false可以跨节点合并数据 abaci.job.map.cpu.percent map消耗cpu占比,参数默认值40(表示1个cpu的40%,即0.4个cpu) abaci.job.reduce.cpu.percent reduce消耗cpu占比,参数默认值40(表示1个cpu的40%,即0.4个cpu) mapred.map.capacity.per.tasktracker 表示每个节点最多并行跑几个该job的map任务(请根据内存情况适当增减该参数,默认是8) mapred.reduce.capacity.per.tasktracker 表示每个节点最多并行跑几个该job的reduce任务(请根据内存情况适当增减该参数,默认是8) mapred.map.tasks.speculative.execution 开启map预测执行,默认true mapred.reduce.tasks.speculative.execution 开启reduce预测执行,默认true mapred.textoutputformat.ignoreseparator 当只输出key的时候是否忽略末尾的Tab分隔符,默认false, 设置为true只输出key的内容

You can’t perform that action at this time.