1、安装JDK下载JDK 7u55版本,安装JDK和JRE都需要,JDK里面有tools.jar,这个jar包是一定需要的安装在/java上2、下载Hadoop 2.2.0源代码wget http:/
一.安装 protobufubuntu 系统首先确保具有 gcc gcc-c++ libtool cmake 具有这些环境1 在 /etc/ld.so.conf.d/目录下创建文件 libproto
今天下午写了一会代码,然后帮同事解决了一个hbase相关的故障分析,定位了问题根源,觉得比较有代表性,记录一下。先说一下问题的发生与背景。这个故障其实是分为两个故障的,第一个比较简单,第二个相对复杂一
Linux系统:Ubuntu 16.04Hadoop: 2.7.1JDK: 1.8Spark: 2.4.3一.下载安装文件http://spark.apache.org/downloads.html
一、hadoop yarn 简介 Apache YARN (Yet Another Resource Negotiator) 是 hadoop 2.0 引入的集群资源管理系统。用户可以将各种服务框架
namenode的文件存储namenode数据存储分为两个文件,fsp_w_picpath与edits文件,edits文件记录了所有namenode的操作,相当于日志记录。fsp_w_picpath记
Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari目前已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig
1.检查JDK版本2.时间同步3.设置免密码登录#生成密钥(node1,node2,node3,node4) ssh-keygen -t dsa -P ''&n
import java.io.ByteArrayInputStream;import java.io.ByteArrayOutputStream;import java.io.DataInputStr
1.NameNode: 相当于一个领导者,负责调度 ,比如你需要存一个1280m的文件 如果按照128m分块 那么namenode就会把这10个块(