#
Spark集群硬件配置推荐 计算与存储： 大多数Spark作业可能需要从外部存储系统（例如 ：Cassandra、Hadoop文件系统或HBase）读取输入数据，所以要让Spark计算引擎尽可能靠近数
[TOC] Spark算子概述 RDD：弹性分布式数据集，是一种特殊集合、支持多种来源、有容错机制、可以被缓存、支持并行操作，一个RDD代表多个分区里的数据集。 RDD有两种操作算子： T
Linux 下运行spark local bind on port 0. Attempting port 1 问题2016-11-01&nb
要学会和使用一门技术的时候，首先要弄清楚该技术出现的背景和要解决的问题。要说spark首先要了解海量数据的处理和Hadoop技术。 一个系统在运行的过程中都会产生许多的日志数据，这些日志数据
[TOC] DStream的各种transformation Transformation Meaning map(func) 对DStream中的各个元素进行func函数操作，然后返回一个新
本人亲自测试搭建,由于是初学一路搭建下来走了不少弯路。如有不对或更简洁的步骤请提出环境： win10上安装的虚拟机，虚拟机装的centos7，并liunx界面化(之前搭建一次在网和端口都可以telne
dataframe可以实现很多操作，但是存储到本地的时候，只能存 parquest格式需要存储源格式，需要转换为rdd类型将dataframe中的每一行都map成有逗号相连的string，就变为了一个
1、免秘钥登录配置： ssh-keygen cd .ssh touch authorized_keys cat id_rsa.pub > authorized_keys chmod 600 au
我们上篇文章中讲了，RDD的持久化是spark优化中必须掌握的，并且，在内存不足的情况下，我们可以将持久化类型选择为MEMORY_ONLY_SER，减少内存的占用，持久化更多的partition，并且
键值对RDD（pair RDD）是spark中许多操作所需要的常见数据类型，通常用来进行聚合计算。 创建Pair RDD spark有多种方式可以创建pair RDD。比如：很多存储键值对的数
