#
本节课通过代码实战演示RDD中最重要的两个算子，join和cogroupjoin算子代码实战：//通过代码演示join算子val conf = new SparkConf
本期内容：1 解密Spark Streaming运行机制2 解密Spark Streaming架构 一切不能进行实时流处理的数据都是无效的数据。在流处理时代，SparkStreaming有着强大吸引
Spark Streaming 支持实时数据流的可扩展(Scalable)、高吞吐(high-throughput)、容错(fault-tolerant)的流处理(stream processing)
入门案例： object SparkSqlTest { def main(args: Array[String]): Unit = { //屏蔽多余的日志 Lo
本期内容： 1、ReceiverTracker的架构设计 2、消息循环系统 3、ReceiverTracker具体实现上节
本文将介绍在Mac os上搭建Spark开发环境。 在安装spark环境之前，需要确保配置相应的java环境，jdk或者jre的版本需要在1.8.0版本以上。 (1)首先下载开发IDE，目前比较流行的
interllj IDEA是一个编译环境IDE，有免费的社区版。百度可以下载，这里不赘述，有了编译器需要安装scala语言支持，见前面的博客。spark是一种类似多线程的结构，他的作用是将任务分发给多
一、Spark SQL简介 Spark SQL 是 Spark 中的一个子模块，主要用于操作结构化数据。它具有以下特点： 能够将 SQL 查询与 Spark 程序无缝混合，允许您使用 SQL 或 D
Spark Streaming写数据到Redis参考2篇文章：1、Kafka+Spark Streaming+Redis实时系统实践https://www.iteblog.com/archives/1
一、为什么需要惰性函数 惰性计算(尽可能延迟表达式求值)是许多函数式编程语言的特性。惰性集合在需要时提供其元素,无需预先计算它们,这带来了一些好处。首先,您可以将耗时的计算推迟到绝对需要的时候。其次,
