#
一、Spark SQL与DataframeSpark SQL之所以是除Spark core以外最大和最受关注的组件的原因：a） 能处理一切存储介质和各种格式的数据（你同时可以方便的扩展Spark SQ
==> 什么是 Spark ---> Spark 是一个针对大规模数据处理的快速通用引擎
spark支持的运行模式：本地模式、本地集群模式、standalone模式、yarn模式及mesos模式。 本地模式 local、local[N]或local[N,maxRetries]。主要用于代
16/03/04 00:21:09 WARN SparkContext: Using SPARK_MEM to set amount of memory to use per executor pro
我的Spark源码核心SparkContext走读全纪录Dirver Program(SparkConf) package org.apache.spark.SparkConfMaster
实际开发过程中遇到了需要实现选择性聚合的场景，即对于某一个key对应的数据，将满足条件的记录进行聚合，不满足条件的则不进行聚合。 使用spark处理这种计算场景时，想到了使用combineByKey算
Linux命令 我是小白，我从来没玩过Linux,请点这里： https://user-gold-cdn.xitu.io/2019/2/24/1691e1dda7807059 推荐的一个Git仓库 我
Spark LDA 实例 一、准备数据 数据格式为：documents: RDD[(Long, Vector)]，其中：Long为文章ID，Vector为文章分词后的词向量； 通过分词以及数据格式的转
报错一: 背景 启动spark-shell后查询hive中的表信息，报错 $SPARK_HOME/bin/spark-shell spark.sql("select * from student.st
val jdbcDF = spark.read.format("jdbc").option("url", "jdbc:mysql://hadoop000:3306").option("dbtable"
