#
jdk7http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html scala2.10.4h
简介 为了可以通过WebUI控制台页面来查看具体的运行细节，解决应用程序运行结束，无法继续查看监控集群信息。无法回顾运行的程序细节，配置开启spark.history服务.Spark History
Spark设置setMaster=local，不提交集群，在本地启用多线程模拟运行object SparkUtil { priva
1，首先需要安装hive，参考http://lqding.blog.51cto.com/9123978/1750967 2，在spark的配置目录下添加配置文件，让Spark可以访问hive的meta
前置知识：1、事务的特征：1)、处理且仅被处理一次；2)、输出且只被输出一次2、SparkStreaming进行事务处理有没有可能处理完全失败？ 这个可能性不大，因为Spark
spark是一个用于大规模数据处理的统一计算引擎。适用于各种各样原先需要多种不同的分布式平台处理的场景，包括批处理、迭代计算、交互式查询、流处理。通过统一的框架将各种处理流程整合到一起。 spark特
spark任务运行的源码分析 在整个spark任务的编写、提交、执行分三个部分：① 编写程序和提交任务到集群中 ②sparkContext的初始化③触发action算子中的run
摘要 sparkSQL在使用cache缓存的时候，有时候缓存可能不起作用，可能会发出缓存是假的吧的感慨。现在我们就把这个问题说道说道。问题 场景描述 当我们通过spark进行统计和处理数据时，发现他是
软件环境: VMware workstation 11.0linux ：CentOS 6.7hadoop-2.7.3jdk-1.0.7_67spark-2.1.0-bin-hadoop2.7/安装虚拟
大数据学习过程中一个重要的环节就是spark，但是在spark中有很多的知识点，很多人都傻傻分不清楚，其中，最易搞混的就是ml与mllib的区别，所以我们不妨来详细的了解一下二者的区别。 如果你
