#
一、hadoop2.4编译方法可参考：Linux64位操作系统（CentOS6.6）上如何编译hadoop2.4.0。二、准备工具1.部署准备两个机器test1为Master，test2为Slave。
一、集群规划 这里搭建一个 3 节点的 Hadoop 集群，其中三台主机均部署 DataNode 和 NodeManager 服务，但只有 hadoop001 上部署 NameNode 和 Resou
import java.io.ByteArrayOutputStream;import java.io.FileInputStream;import java.io.FileOutputStream;
MapReduce自带的分区器是HashPartitioner原理：先对map输出的key求hash值，再模上reduce task个数，根据结果，决定此输出kv对，被匹配的reduce任务取走。自定
如下图所示，从逻辑上来看，Hive包含了3大部分。 Hive Clients Hive Services Hive Storage and Computing 用户操作Hive的接口主要有三个：C
(1)discp原理 DistCp（Distributed Copy）是用于大规模集群内部或者集群之间的高性能拷贝工具，和在linux上执行cp，scp实
[TOC] Yarn流程 可以参考《Hadoop权威指南》P79中的图示与介绍进行理解，当然结合下面这个图示与其中的解释进行理解则会更加清晰易懂，当然，基本的参考个人觉得书本上的图示要更精简，下面这
2019/2/18 星期一 yarn知识体系总结 Yarn 产生的原因（1）MapreduceV1 中，jobtracker 存在瓶颈：集群上运行的所有mr 程序都有jobtracker 来调度SPO
先下载zookeeper的linux安装包 //安装zookeeper必须要先安装jdk，现在都是1.8以上的版本//注意版本的控制，现在线上版本 zookeeper3.4.8无明显bug，生产上要
本篇文章给大家分享的是有关Hadoop定义及其安全优势是什么，小编觉得挺实用的，因此分享给大家学习，希望大家阅读完这篇文章后可以有所收获，话不多说，跟着小编一起来看看吧。 一、Hadoop定义 H
