使用Python编写MapReduce作业

kkkkk 2018年12月17日 23:07 Python高级

mrjob 可以让用 Python 2.5+ 来编写 MapReduce 作业,并在多个不同平台上运行,你可以:

使用纯 Python 编写多步的 MapReduce 作业

在本机上进行测试

在 Hadoop 集群上运行

使用 Amazon Elastic MapReduce (EMR) 在云上运行

pip 的安装方法非常简单,无需配置,直接运行:pip install mrjob

代码实例:

from mrjob.job import MRJob
class MRWordCounter(MRJob):
    def mapper(self, key, line):
        for word in line.split():
            yield word, 1
    def reducer(self, word, occurrences):
        yield word, sum(occurrences)
if __name__ == '__main__':
    MRWordCounter.run()


文章评论(0)
  • avatar kkkkkk 2018年12月21日 11:31
    这评论真好啊!
    kkkkk
    2018年12月21日 11:16
    拖泥带水,语不明晰。文句生涩,未能达意。草率成偏,殊少意义。快乐之状,耀然纸上。
    回复
  • avatar kkkkkk 2018年12月21日 11:31
    优秀啊
    kkkkklxinde
    2018年12月21日 11:17
    逸趣横生,读来可喜。叙述紧凑,扣人心弦。婉转流利,真实不虚内容充实,文字流利。
    回复
  • avatar kkkkklxinde 2018年12月21日 11:17
    逸趣横生,读来可喜。叙述紧凑,扣人心弦。婉转流利,真实不虚内容充实,文字流利。
    回复
  • avatar kkkkk 2018年12月21日 11:16
    拖泥带水,语不明晰。文句生涩,未能达意。草率成偏,殊少意义。快乐之状,耀然纸上。
    回复