MapBalanceReduce介绍
本文共 265 字，大约阅读时间需要 1 分钟。
目的： 1、从根本上 解决reduce时的数据倾斜 问题 2、从根本上解决基于优先级的并发调度问题
Map-Balance-Reduce (简称MBR)是在现有Map-Reduce模型基础之上的改进，以从根本上解决reduce倾斜问题，不用预先分析KEY的分布，编程接口在map和reduce之外，增加balance，但是只有在不均衡的时候balance才会被调用到。
如果某个Split大于设定的值，则再分割，如果某个Split小于指定的值，则和其它的合并（只需要逻辑上的合并，不需要物理上合并，这样对性能不会有影响）。
转自：
转载地址：http://ewtxi.baihongyu.com/
你可能感兴趣的文章
爬虫真的可以接单吗？爬虫实践（一）
查看>>
matplotlib画图（一）---柱状图和饼状图
查看>>
matplotlib画图基础篇（一）
查看>>
python爬虫基础---pyquery解析
查看>>
python爬虫---scrapy入门（一个实例来了解一下scrapy爬虫流程）
查看>>
Debug与Release版本的区别
查看>>
VS2008 Unicode和多字节编码区别
查看>>
SHELLEXECUTEINFO 和 ShellExecuteEx的使用
查看>>
在VC中调用WebService
查看>>
VC++调用webservice (不使用.NET的托管技术)
查看>>
VS2008非托管c++访问webservice服务
查看>>
C++extern用法
查看>>
vc++生成程序不需要.net运行环境的可以执行exe程序的方法
查看>>
fstream默认不支持中文路径和输出整数带逗号的解决办法
查看>>
各种程序打包软件的安装命令
查看>>
Wise Installation使用中注意的问题
查看>>
WinCE开发环境的搭建
查看>>
让fstream支持中文路径
查看>>
Wise Installation使用中注意问题 总结
查看>>
wince 禁止程序标题栏上的退出按钮X
查看>>