#
Intelli IDEA开发Spark工程关联Spark源码！一、关联什么？一般关联zip、jar等，但是Spark的源码是tgz格式的，没法关联，没关系，下载tgz的，解压缩成目录。二、怎么关联？第
实验环境: linux centOS 6.7 vmware虚拟机spark-1.5.1-bin-hadoop-2.1.0apache-hive-1.2.1eclipse 或IntelJIDea 本次使
本期内容： 1、Executor的WAL容错机制 2、消息重放Executor的安全容错主要是数据的安全容错，那为什么不考虑数据计算的安全容错呢？原
去年年底出的一本学习Spark大数据的教程，文笔上言简意赅，只讲最常用的内容，很适合入门学习。是面向Spark开发者的一本实用参考书，结合实例全面系统的介绍了Spark工具的开发与使用。全书包括五章内
引言：和 Hadoop 一样，Spark 提供了一个 Map/Reduce API（分布式计算）和分布式存储。二者主要的不同点是，Spark 在集群的内存中保存数据，而 Hadoop 在集群的磁盘中存
一、spark的transformation 和 action区别Spark有一些基本的transformation 和 action的操作，其中transformation形成各类型的RDD，act
一、问题描述： Kafka生产集群中有一台机器cdh-003由于物理故障原因挂掉了，并且系统起不来了，使得线上的spark Streaming实时任务不能正常消费，重启实时任务都不行。查看kafka
Driver端 Driver端初始化构建Accumulator并初始化，同时完成了Accumulator注册，Accumulators.register(this)时Accumulator会在序列化
上图是一个job的提交流程图，job提交的具体步骤如下 一旦有action，就会触发DagScheduler.runJob来提交任务，主要是先生成逻辑执行图DAG，然后调用 finalStage =
Spark 可以读取文本，csv和rmdb中的数据，并且带有类型自动检测功能public final static String DATA_SEPARATOR_TAB = "\t";session.r
