云计算与分布式系统

最新书摘:
  • 开心BOY
    2013-03-24
    Map任务和Reduce任务以管道的方式运行,Reduct任务接受从每个Map任务收到的管道数据,并将其存储在缓存中,在需要时,将已排好序的缓冲区内容写到磁盘。一旦Reduce任务得知每个Map任务均已完成,它执行已排序内容的最终合并,然后调用用户自定义的Reduce函数,将输出写入HDFS。在寻找合适的计算节点时,首先,该从节点首先计算自身的资源,如果其自身资源能够满足计算任务,则优先分配自身资源,如果自身资源不足分配用户的最小计算资源量,则根据搜索算法开始搜寻云环境中的其他合适的计算资源,蚁群算法就是在这一环节实现的。