#
[TOC] 下面的测试代码使用的都是下面的topic： $ kafka-topics.sh --describe hadoop --zookeeper uplooking01:2181,uplook
主题 + 客户端 发布订阅的对象是主题（Topic） 向主题发布消息的客户端应用程序称为生产者（Producer），生产者可以持续不断地向多个主题发送消息 订阅这些主题消息的客户端应用程
一、前言 早上醒来打开微信，同事反馈kafka集群从昨天凌晨开始写入频繁失败，赶紧打开电脑查看了kafka集群的机器监控，日志信息，发现其中一个节点的集群
1下载并安装JDK 参考jdk的安装，需要jdk1.6+。2 Kafka的安装 2.1 下载kafka 下载地址：http://mirrors.hust.edu.cn/a
概要：本例子为SparkStreaming消费kafka消息的例子，实现的功能是将数据实时的进行抽取、过滤、转换，然后存储到HDFS中。 实例代码 package com.fwmagic.test
太平洋保险集团“家园项目”大数据平台DSG应用（oracle&kafka） 项目背景根据太平洋保险集团的IT建设规划，在2017年年底，需要完成“一个太保，共同的家园”项目（简称家园项目）
1、kafka 安装 安装JDK tar xvf jdk1.8.0_231.tar.gz -C /usr/local && cd /usr/local ln -sv jdk1.8
kafka是一个高吞吐速度的消息中间件，可以部署在廉价的主机上。速度快的原因有两个:1.从写数据方面:写入的数据按顺序写入到磁盘;memory mapped files磁盘读写的快慢取决于你怎么使用它
基于binlog的离线分析平台的一些初步实践 参考文档： http://quarterback.cn/%e9%80%9a%e8%bf%87kafka-nifi%e5%bf%ab%e9%80%9f%e6
用ELK打造强大的日志分析平台，具体拓扑结构如下：在这里我们将进行kafka+filebeat+ELK5.4的部署各软件版本jdk-8u131-linux-i586.tar.gz filebeat-5
