#
package main.java;import java.io.*;import java.util.LinkedList;import java.util.List;import java.uti
Hadoop Cluster中的角色： HDFS： N
耗时很长时间解决了一个spark in docker的问题，记录一下。这是个非常奇怪的问题，找遍谷歌都找不到答案，与其说是分析出来倒不如说是偶然发现。先介绍一下架构和环境。Z机器是docker的宿主机
1.前言“大云物移”是当年很火热的一个话题，分别指大数据、云计算、物联网和移动互联网，其中大数据领域谈论得多就是Hadoop。当然Hadoop不代表大数据，而是大数据处理领域的一个比较有名的开源框架而
如果你看完有信心能坚持学习的话，那就当下开始行动吧！ 一、大数据技术基础 1、linux操作基础 linux系统简介与安装linux常用命令–文件操作linux常用命令–用户管理与权限linux常用
引言Join是SQL语句中的常用操作，良好的表结构能够将数据分散在不同的表中，使其符合某种范式，减少表冗余、更新容错等。而建立表和表之间关系的最佳方式就是Join操作。 对于Spark来说有3中Joi
hadoop+spark环境--单实例版1、修改主机名及关系映射2、关闭防火墙并创建文件夹mkdir /hadoop/tmpmkdir /hadoop/dfs/namemkdir /hadoop/df
背景：公司自建IDC机房，基于IDC机房构建大数据集群；需要对集群资源进行监控，集群采用的是CDH集群，采集主要分两块进行： HDFS和YARN相关的指标进行采集IDC机器自身的指标进行采集 注意：
一、配置虚拟机三台1.网络配置虚拟化软件： Vmware Workstations 10.7zLinux系统： Centos 6.5-x86_64采用4台安装Linux环境的机
环境如下： Centos6.5 Apache Hadoop2.7.1 Apache Hbase0.98.12 Apache Zookeeper3.4.6 JDK1.7 Ant1.9.5 Maven3
