#
还有最后两天班，明天晚上回家过年了，可是CDH突然报了一个block missing的错误，用 hdfs fsck /检查了一下，我们的块一共有500W个，missing了将近100W个，天呐，不过由
HA背景对于HDFS、YARN的每个角色都是一个进程，比如HDFS：NN/SNN/DN 老大是NNYARN：RM/NM 老大是RM对于上面，都会存在单点故障的问题，假如老大NN或者RM挂了，那
Hadoop HDFS Balancer Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点。当HDFS出现不平衡状况的时
1创建工程 点击project——Maven——next 2通过maven导入项目依赖jar包 （1）设置maven自动导入依赖jar包勾选 Import Maven projects automa
dfs.ha.automatic-failover.enabledtrue
一：Spark集群开发环境准备启动HDFS，如下图所示： 通过web端查看节点正常启动，如下图所示：2.启动Spark集群，如下图所示：通过web端查看集群启动正常，如下图所示：3.启动st
Hadoop：版本迭代较快，最新为3.0版本，本次学习以2.0为主；
一、相关参数：1、core-site.xml 文件修改以下配置项： fs
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop 核心
记录一个调试 pyspark2sql 访问 HDFS 透明加密的问题。访问源码如下，使用 pyspark2.1.3，基于 CDH 5.14.0 hive 1.1.0 + parquet，其中selec
