#
Spark 是一个基于内存式的分布式计算框架。具有高性能，高效可扩展，容错等优点。今天讲解一下spark的流计算，其实它也不完全是实时的流计算，算是一种准实时的流计算。上图讲解运行环境:需要linux
spark框架是用scala写的，运行在Java虚拟机（JVM）上。支持Python、Java、Scala或R多种语言编写客户端应用。 下载Spark 访问http://spark.apach
软件版本： jdk：1.8 maven：3.61 http://maven.apache.org/download.cgi spark：2.42 https://ar
一、首先介绍Spark的基本概念 1、Cluster Manager：Spark集群的资源管理中心 1>Standalone模式：Cluster Manager为Spark原生的资源管理器，由M
[TOC] 概述 大数据实时计算介绍 1、Spark Streaming，其实就是一种Spark提供的，对于大数据，进行实时计算的一种框架。它的底层，其实，也是基于我们之前讲解的Spark Cor
在hive中建表格式存储格式为orc create table user(id int,name string) stored as orc; spark写文件 &n
Yarn是一个分布式的资源管理系统，用以提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。 最初MapReduce的com
SELECT CASE (pmod(datediff(f0.`4168388__c_0`,'1970-01-04'),7)+1) WHEN '1' THEN '星期日' WHEN '2'
1.map 和 mapPartitions map的输入变换函数应用于RDD中所有元素，而mapPartitions应用于所有分区。区别于mapPartitions主要在于调用粒度不同。mapPart
[TOC] 基本概述 1、Spark 1.0版本以后，Spark官方推出了Spark SQL。其实最早使用的，都是Hadoop自己的Hive查询引擎；比如MR2，我们底层都是运行的MR2模型，底层都
