MapReduce 编程实战
一、大数据的起源
1、举例：（1）商品推荐 问题1：大量订单如何存储？
问题2：大量订单如何计算？
（2）天气预报： 问题1：大量的天气数据如何存储？
问题2：大量的天气数据如何计算？
2、大数据核心的问题：
（1）数据的存储：分布式文件系统
（2）数据的计算：分布式计算（MapReduce）
3、MapReduce的计算模型的来源
（1）根据Google发表一篇论文：MapReduce
（2）问题：PageRank（网页排名）---> 举例
大数据MapReduce 编程实战
二、MapReduce的编程模型
Demo 演示：WordCount 单词计数
hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /input/data.txt /output/wc1
**三、MapReduce的处理数据流程（非常、非常、非常重要）
四、开发自己的MapReduce程序（Java程序）
五、Yarn调度的过程**
很多人都知道我有大数据培训资料，都天真的以为我有全套的大数据开发、hadoop、spark等视频学习资料。我想说你们是对的，我的确有大数据开发、hadoop、spark的全套视频资料。0daybank
文章评论