#
作者：个推数据研发工程师 学长 1 业务背景 随着大数据的快速发展，业务场景越来越复杂，离线式的批处理框架MapReduce已经不能满足业务，大量的场景需要
Databricks官方是这样描述Databricks优势的： 像Databricks这样的云平台提供了一套集成的、主机托管的解决方案，消除了企业采用Spark和确保大数据项目成功所面临
引言 在之前的大数据学习系列中，搭建了Hadoop+Spark+HBase+Hive 环境以及一些测试。其实要说的话，我开始学习大数据的时候，搭建的就是集群，并不是单机模式和伪分布式。至于为什
现在由于人工智能的大热，这方面的人才稀缺，薪资水平不用说，行业中的NO.1，所以各路人马纷纷集结互联网行业，有转行的，有转岗的。对于初学者在学习这方面肯定有许多疑问，是什么疑问呢，我在这里一 一给你解
Spark特点 Spark是Apache的一个顶级项目，Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分
鲁春利的工作笔记，好记性不如烂笔头Spark1.5.1学习笔记（一）Standalone集群配置 http://luchunli.blog.51cto.c
很多初学Hadoop开发的同学分不清Hadoop和Spark究竟有什么联系？搞不清Hadoop和Spark是两个独立的框架，还是必须相互依存才能完成工作？今天就给大家分析一下Hadoop和Spark几
弹性式数据集RDDs 一、RDD简介 RDD 全称为 Resilient Distributed Datasets，是 Spark 最基本的数据抽象，它是只读的、分区记录的集合，支持并行操作，可以由外
（1）StreamingContext 与spark core的编程类似，在编写SparkStreaming的程序时，也需要一个通用的编程入口----StreamingCont
[TOC] 引入 前面进行过wordcount的单词统计例子，关键是，如何对统计的单词按照单词个数来进行排序？ 如下： scala> val retRDD = sc.textFile("hdf
