#
1.基础环境[hadoop@master ~]$ cat /etc/redhat-release CentOS Linux r
一、环境选择 1，服务器选择 阿里云服务器:入门型(按量付费)操作系统:linux CentOS 6.8Cpu：1核内存：1G硬盘:40Gip:39.108.77.250 2，配置选择 JDK:1.
Hadoop集群资源管理器是什么？它是如何为上层应用提供资源管理和调度的呢？我们一起来看Apache Hadoop YARN的引入，为集群在利用率、资源统一管理和数据共享等方面带来的巨大好处。从开发人
Hive与Impala都是构建在Hadoop之上的数据查询工具，那么在实际的应用中，它们是如何加载和存储数据的呢？Hive和Impala存储和加载表，和所有的关系型数据库一样，有自己的数据管理结构，从
Spark Streaming 支持实时数据流的可扩展(Scalable)、高吞吐(high-throughput)、容错(fault-tolerant)的流处理(stream processing)
情景描述：用户的登录信息以记录的方式被存放在mysql(版本为5.1.73)的表中，现打算使用sqoop将登录记录抽取并存放到hdfs上，并使用mapreduce程序统计每个用户的登录次数。环境描述：
练习环境：操作系统：Ubuntu 16.04 LTSHadoop版本：Hadoop 2.7.11.配置core-site.xmlhadoop@dblab:/usr/local/hadoop/etc/h
1.在home目录中创建文件夹MyApps2.将压缩文件解压到该目录下命令格式为：tar -zxvf 压缩文件 -C 解压路径3.配置网络环境4.1临时修改主机名临时设置的主机名，系统重启之后，会失效
MR编程模型 MR编程模型主要分为五个步骤：输入、映射、分组、规约、输出。 输入（InputFormat）：主要包含两个步骤—数据分片、迭代输入 数据分片（getSplits）：数据分为多少个sp
NameNode在启动的时候，需要将Mettadata加载到内存中去，随着集群扩大，元数据的量也随之增加，内存压力过大。Hadoop1.x的缺点和解决办法：单点故障------à HA 一
