#
===> 环境架构部署规划： bigdata1 NameNode ResourceManager Zookeeper JournalNode failOverController
start-dfs.sh进程都启动成功master:65456 Jps64881 NameNode65057 DataNode7380 NodeManager65276 SecondaryNameNo
记录一个调试 pyspark2sql 访问 HDFS 透明加密的问题。访问源码如下，使用 pyspark2.1.3，基于 CDH 5.14.0 hive 1.1.0 + parquet，其中selec
YARN产生背景 YARN是Hadoop2.x才有的，所以在介绍YARN之前，我们先看一下MapReduce1.x时所存在的问题： 单点故障 节点压力大 不易扩展 MapReduce1.x时的架构
PageRank简单介绍：其值是通过其他值得指向值所决定，具体例子如下：第一部分：对应于每个mapReduce的计算：由mapper算出每个点所指节点的分值，由reduce整个key相同的，由公式算出
环境配置 1、Hadoop集群搭建完成，能正常对外访问 2、远程主机jdk、eclipse安装完成 eclipse远程调试Hadoop配置首先需要有MapReduce相应插件，将相应插件放到eclip
Region自动切分是HBase能够拥有良好扩张性的最重要因素之一，也必然是所有分布式系统追求无限扩展性的一副良药。HBase系统中Region自动切分是如何实现的?这里面涉及很多知识点，比如Regi
大数据平台，涉及到很多软件产品，如果刚刚入行hadoop，直接下载软件包，手动配置文件的方式，并没有那么直观和容易。Ambari提供了一个选择，图形化安装和管理hadoop集群Ambari公司就不介绍
1，什么是mapreduce ？Mapreduce是一种编程模型，是一种编程方法，抽象理论。hadoop要分布式包括两部分，一是分布式文件系统hdfs,一部是分布式计算框，就是mapreduce,缺一
本分档主要分四个部分，安装部署hadoop_hbase、hbase基本命令、移除一个hadoop+hbase节点、添加一个移除一个hadoop+hbase节点1、安装配置Hadoop 1.0.3+hb
