kafkademo

介绍

项目中定义了使用kafka进行消息发送的simpledemo和自定义序列化进行发送消息对象。同时提供了如何在本地搭建kafka环境

软件架构

软件架构说明

安装教程

• 1、 下载confluent 下载地址：链接: https://pan.baidu.com/s/1HNyX_QXVmxu4vOms1mk2ZA 提取码: bs8u

• 2、 解压zip包并修改配置文件

  1） 在confluent目录下创建tmp,var两个目录
  2） 1.修改confluent/etc/kafka/zookeeper.properties中的dataDir（zk日志存放路径）参数  [如：dataDir=/Volumes/Extreme_SSD/confluent-5.2.2/tmp/zookeeper] 其他默认
      2.修改confluent/etc/kafka/server.properties中的log.dirs(kafka服务日志路径)参数 [如：log.dirs=/Volumes/Extreme_SSD/confluent-5.2.2/tmp/kafka-logs] 其他默认

• 3、 启动命令

  1） 启动zookeeper: bin/zookeeper-server-start etc/kafka/zookeeper.properties
  2) 启动kafka: bin/zookeeper-server-start etc/kafka/zookeeper.properties
  3) 启动schema: bin/zookeeper-server-start etc/kafka/zookeeper.properties

• 4、kafka 默认端口:9092

配置文件信息详解

• 1、consumer -->auto.offset.reset earliest:当各分区下有已提交的offset时，从提交的offset开始消费；无提交offset时，从头开始消费 latest:当各分区有已提交的offset时，从提交的offset开始消费；无提交offset时，消费新产生的该分区下的数据 none:topic各分区都存在已提交的offset时，从offset后开始消费；只要有一个分区不存在已提交的offset，则抛出异常

demo涉及两个信息

• 1、简单的生产者与消费者 序列化为string 【kafka自带的序列化有：（String、ByteArray、ByteBuffer、Bytes、Double、Integer、Long）】
• 2、自定义序列化

注意:项目中只允许使用一种序列化 ##kafka 相关资料信息 https://zhuanlan.zhihu.com/p/38269875 https://gitbook.cn/books/5ae1e77197c22f130e67ec4e/index.html http://www.jasongj.com/2015/03/10/KafkaColumn1/

码云特技

1. 使用 Readme_XXX.md 来支持不同的语言，例如 Readme_en.md, Readme_zh.md
2. 码云官方博客 blog.gitee.com
3. 你可以 https://gitee.com/explore 这个地址来了解码云上的优秀开源项目
4. GVP 全称是码云最有价值开源项目，是码云综合评定出的优秀开源项目
5. 码云官方提供的使用手册 https://gitee.com/help
6. 码云封面人物是一档用来展示码云会员风采的栏目 https://gitee.com/gitee-stars/