#
Spark能做什么？Spark应用领域Spark是大数据技术中数据计算处理的王者，能够一次处理PB级的数据，分布在数千个协作的物理或虚拟服务器集群中，它有一套广泛的开发者库和API，并且支持Java，
中国已经进入大数据创新突破与应用落地的发展上升期，根据相应调查对中国大数据发展的十大趋势进行了展望。 大数据发展呈现十大新趋势 趋势之一：政务大数据应用开发将获得有力支撑。作为一直阻碍大数据发展的一个
Spark编译的目前都是基于Scala 2.10.4的，安装Scala插件版本也是选择2.10.4，否则eclipse会报spark的jar包和scala版本不兼容的错误.&
问题：用spark-submit以yarn-client方式提交任务，在集群的某些节点上的任务出现连接超时的错误，排查过各种情况后，确定在防火墙配置上出现问题。原因：我猜测是python程序启动后，作
废话不多说，直接上干货！！！相关依赖： UTF8
SparkStreaming性能调优大全！一、日志已满： spark.executor.logs.rolling.maxSize 下面三个日志rolling参数记得设置：
1、保证spark-sql已经使用mysql作为metadata存储介质2、启动thrift网关$SPARK_HOME/sbin/start-thriftserver.sh --driver-clas
IDEA集成Spark开发环境的pom文件
 spark sql 可以说是 spark 中的精华部分了，我感觉整体复杂度是 spark streaming 的 5 倍以上，现在 spark 官方主推 structed streaming， s
products一个商品价格变化的表，orders商品订单，记录每次购买商品和日期基于Spark SQL中的不等值join实现orders和products的匹配，统计每个订单中商品对应当时的价格 缓
