#
第一，RDD架构重构与优化尽量去复用RDD，差不多的RDD，可以抽取称为一个共同的RDD，供后面的RDD计算时，反复使用。第二，公共RDD一定要实现持久化对于要多次计算和使用的公共RDD，一定要进行持
Cache的产生背景 我们先做一个简单的测试读取一个本地文件做一次collect操作： val rdd=sc.textFile("file:///home/hadoop/data/input.txt"
一提到大数据处理，相信很多人第一时间想到的是 Hadoop MapReduce。没错，Hadoop MapReduce 为大数据处理技术奠定了基础。近年来，随着 Spark 的发展，越来越多的声音提到
思路 & 需求 参考IntAccumulatorParam的实现思路（上述文章中有讲）： trait AccumulatorParam[T] extends AccumulableParam[
企业架构是一个能够使组织标准化并组织IT基础架构来与业务目标保持一致的过程。以下的这些战略可用于支持企业的数字化转型，IT发展以及IT部门的现代化。 什么是企业架构? 企业架构(EA)是一个分析、设
本期内容： 1、Spark Streaming资源动态分配 2、Spark Streaming动态控制消费速率为什么需要动态？ a)Spa
学习spark任何技术之前，请正确理解spark，可以参考：正确理解spark我们在 http://7639240.blog.51cto.com/7629240/1966131 中
Spark Streaming的DStream为我们提供了一个updateStateByKey方法，它的主要功能是可以随着时间的流逝在Spark Streaming中为每一个
一、再次思考pipeline 即使采用pipeline的方式，函数f对依赖的RDD中的数据集合的操作也会有两种方式： &n
[TOC] Spark Thrift JDBCServer应用场景解析与实战案例 1 前言 这里说的Spark Thrift JDBCServer并不是网上大部分写到的Spark数据结果落地到RDB
