#
本期内容：1、Spark Streaming 动手实战演示2、闪电般理解Spark Streaming原理案例动手实战并在电光石火间理解其工作原理流（Streaming），在大数据时代为数据流处理，就
耗时很长时间解决了一个spark in docker的问题，记录一下。这是个非常奇怪的问题，找遍谷歌都找不到答案，与其说是分析出来倒不如说是偶然发现。先介绍一下架构和环境。Z机器是docker的宿主机
如果你看完有信心能坚持学习的话，那就当下开始行动吧！ 一、大数据技术基础 1、linux操作基础 linux系统简介与安装linux常用命令–文件操作linux常用命令–用户管理与权限linux常用
hadoop+spark环境--单实例版1、修改主机名及关系映射2、关闭防火墙并创建文件夹mkdir /hadoop/tmpmkdir /hadoop/dfs/namemkdir /hadoop/df
源码:https://github.com/deeplearning4j 模块分类：deeplearning4jnd4j:基于jvm的科学计算工具包，类似于python numpy。DataVec：将
[TOC] Spark RDD持久化 RDD持久化工作原理 Spark非常重要的一个功能特性就是可以将RDD持久化在内存中。当对RDD执行持久化操作时，每个节点都会将自己操作的RDD的partiti
一、spark的产生背景（1）MapReduce的发展：MRv1的缺点：早在 Hadoop1.x 版本，当时采用的是 MRv1 版本的 MapReduce 编程模型。MRv1 版本的实现 都封装在 o
一、初识Spark和Hadoop Apache Spark 是一个新兴的大数据处理通用引擎，提供了分布式的内存抽象。Spark
Spark是分布式内存计算框架，而不是分布式内容存储框架，搭配tachyon分布式内存文件系统，会更加有效果。在文件模式下，spark比hadoop快10倍，在内存计算模式下，快100倍！下面是一些1
异常信息如下： at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$S
