#
鲁春利的工作笔记，谁说程序员不能有文艺范？ Hadoop是大数据处理的存储和计算平台，HDFS主要用来实现数据存储，MapReduce实现数据的计算。&n
Spark作为数据处理的核心应用，有着重要的作用和地位，那么spark能不能取代Hadoop而存在呢？Spark只是分布式计算平台，而hadoop已经是分布式计算、存储、管理的生态系统。与Spark相
2019/2/19 星期二 MapReduce计算框架高级特性程序运行并发度 所谓的并发度，就是在MapReduce执行程序的过程中有多少个map task进程和reduce task进程，来一起完成
1. 自定义InputFormat –数据分类输出 需求：小文件的合并 分析： - 在数据采集的时候，就将小文件或小批数据合成大
1 MapReduce 概述 MapReduce 是一个分布式运算程序的编程框架，是用户开发基于 Hadoop 的数据分析应用的核心框架。 MapReduce 核心功能是将用户编写的业务逻辑代码和自带
1. MapReduce 的介绍： MapReduce 是一个分布式运算程序的编程框架，核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运
MapReduce源于Google一篇论文，它充分借鉴了“分而治之”的思想，将一个数据处理过程拆分为主要的Map(映射)与Reduce(归约)两步。简单地说，MapReduce就是"任务的分解与结果的
3.1 mapreduce的shuffle机制3.1.1 概述：v mapreduce中，map阶段处理的数据如何传递给reduce阶段，是mapreduce框架中最关键的一个流程
说明这篇文章是来自Hadoop Hive UDAF Tutorial - Extending Hive with Aggregation Functions：的不严格翻译，因为翻译的文章示例写得比较通
Hadoop：版本迭代较快，最新为3.0版本，本次学习以2.0为主；
