#
安装 首先需要安装好Java和Scala，然后下载Spark安装，确保PATH 和JAVA_HOME 已经设置，然后需要使用Scala的SBT 构建Spark如下： $ sbt/sbt asse
前言 Apache Spark 是一个新兴的大数据处理通用引擎，提供了分布式的内存抽象。Spark 最大的特点就是快，可比 Hadoop MapReduce 的处理速度快 100 倍。本文没有使用一台
java 中Spark中将对象序列化存储到hdfs 摘要: Spark应用中经常会遇到这样一个需求: 需要将JAVA对象序列化并存储到HDFS, 尤其是利用MLlib计算出来的一些模型, 存储到hdf
The original dataframe 需求：hour代表一天的24小时，现在要将hour列展开，每一个小时都作为一个列 实现： val pivots = beijingGeoHourPo
dataframe是在spark1.3.0中推出的新的api，这让spark具备了处理大规模结构化数据的能力，在比原有的RDD转化方式易用的前提下，据说计算性能更还快了两倍。spark在离线批处理或者
[TOC] 实时WordCount案例 主要是监听网络端口中的数据，并实时进行wc的计算。 Java版 测试代码如下： package cn.xpleaf.bigdata.spark.java.st
[TOC] 1 场景 在实际过程中，遇到这样的场景： 日志数据打到HDFS中，运维人员将HDFS的数据做ETL之后加载到hive中，之后需要使用Spark来对日志做分析处理，Spark的部署方式是
SPARK用scala实现分组取topN原文件：class1 33class2 56class1 87class2 77class1 76class2 88class1 95class1 74clas
01、关联规则挖掘背景和基本概念如下所示的数据集，表中的每一行代表一次购买清单，注意我们只关心记录出现与否，不关心某条记录购买了几次，如购买十盒牛奶也只计一次。数据记录的所有项的集合称为总项集，上表中
1. aggregate函数 将每个分区里面的元素进行聚合，然后用combine函数将每个分区的结果和初始值(zeroValue)进行combine操作。这个函数最终返回的类型不需要和RDD中元素类
