#
一、Scala环境基础 Scala对Java相关的类，接口进行了包装，所以依赖Jvm环境。 Jdk 1.8 scala 依赖 scala 2.11 安装版本 idea 2017.3 开发工具
代码如下：package com.dt.spark.streaming import org.apache.spark.sql.SQLContext import or
1.Spark的核心概念是RDD (resilient distributed dataset)，指的是一个 只读的，可分区的分布式数据集，这个数据集的全部或部分可以缓存在内存中，在多次计算间重用。2
Spark SQL支持两种方式将现有RDD转换为DataFrame。第一种方法使用反射来推断RDD的schema并创建DataSet然后将其转化为DataFrame。这种基于反射方法十分简便，但是前提
从 Hadoop 说
spark提供了对数据的核心抽象——弹性分布式数据集（Resilient Distributed Dataset，简称RDD）。RDD是一个分布式的数据集合，数据可以跨越集群中的多个机器节点，被分
spark
火花前的时间(http://www.3if0.com)要了解Spark的潜力，它有助于在十年前回顾大数据的形状。在2008 - 2009年，大数据即业务概念经常与Hadoop技术混为一谈。Hadoop
Spark 2.x企业级大数据项目实战（实时统计、离线分析和实时ETL）网盘地址：https://pan.baidu.com/s/12SYlzRX3fS6R1Ig_kblx1Q 提取码：mosm备用地
一、什么是Flume? Flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目
