#

spark

  • 处理键值对RDD

    保存Key/Value对的RDD叫做Pair RDD。1.创建Pair RDD:1.1 创建Pair RDD的方式:很多数据格式在导入RDD时,会直接生成Pair RDD。我们也可以使用map()来将

    作者:maninglwj
    2020-07-17 01:10:28
  • 浅聊Spark的应用场景有哪些?

         Spark 是一种与 Hadoop 相似的开源集群计算环境,是专为大规模数据处理而设计的快速通用的计算引擎,现已形成一个高速发展应用广泛的生态系统,主要应用场景如下:   1. Spark是

    作者:mo默羽
    2020-07-17 00:04:26
  • windows 基于docker下的 spark 开发环境搭建

    docker toolboxhttps://www.docker.com/products/docker-toolboxsparkhttps://hub.docker.com/r/singularit

    作者:拖鞋崽
    2020-07-16 23:43:23
  • Hadoop、Spark、HBase与Redis的适用性讨论(二):HBase

    接下来说说HBase。对此,经常听到的一个说法是:HBase只适合于支撑离线分析型应用,特别是做为MapReduce任务的后台数据源。持这个观点不少,甚至在国内一个响当当的电信设备提供商中,HBase

    作者:数据视野
    2020-07-16 22:50:13
  • Spark介绍,安装

    1.简单介绍和安装:(1)Spark使用scala编写,运行在JVM(java虚拟机)上。所以,安装Spark需要先安装JDK。安装好java后,到官网下载安装包(压缩文件):http://spark

    作者:maninglwj
    2020-07-16 16:56:09
  • 【全集】IDEA入门到实战

    课程介绍 IDEA是一款功能强悍、非常好用的Java开发工具,近几年编程开发人员对IDEA情有独钟。虽然IDEA功能很强大,但目前市面讲解的不细致、不系统,导致很多IDEA初学者要么无从下手,要么耗费

    作者:qq5af005cc0afde
    2020-07-16 15:24:00
  • Spark cluster 部署

    Spark 框架 Spark与Storm的对比对于Storm来说:1、建议在那种需要纯实时,不能忍受1秒以上延迟的场景下使用,比如实时金融系统,要求纯实时进行金融交易和分析2、此外,如果对于实时计算的

    作者:Meteor_hy
    2020-07-16 10:54:04
  • spark大数据架构初学入门基础详解

    Spark是什么 a) 是一种通用的大数据计算框架b) Spark Core 离线计算        Spark SQL 交互式查询 Spark Streaming 实时流式计算 Spark MLli

    作者:13157330443
    2020-07-16 10:17:20
  • Apache Beam程序向导4

    Apache Beam程序向导4今天在集群上实验Beam On Spark的时候,遇到一个坑爹的问题,这个问题总结起来是一个java.lang.NoClassDefFoundError错误,具体错误如

    作者:Spark贵1
    2020-07-16 07:49:40
  • spark之master与worker通信模型讲解

    通信模型架构图master 端代码 import akka.actor.{Actor, ActorSystem, Props} import com.

    作者:ChinaUnicom110
    2020-07-16 06:07:14