大数据技术越来越被广泛应用,在互联网技术中Elasticsearch,redis,solr,Kafka等都被不断用到了系统架构中.作为一个技术追求者,不断补充新的技术来充实自己,让自己的架构设计层次不被技术而局限. 让你在系统架构时更得心应手.希望本课程Kafka高级实战能够帮助到大家.

Kafka是一个高吞吐量分布式消息系统。linkedin开源的kafka。

Kafka 在系统设计已经将消息的接受,消息的存储,消息的查询,消息的传输等做了很多优化.

首先，kafka的开发者们认为不需要在内存里缓存什么数据，操作系统的文件缓存已经足够完善和强大，顺序读写的性能是非常高效的。kafka的数据只会顺序append，数据的删除策略是累积到一定程度或者超过一定时间再删除。Kafka另一个独特的地方是将消费者信息保存在客户端而不是MQ服务器，这样服务器就不用记录消息的投递过程，每个客户端都自己知道自己下一次应该从什么地方什么位置读取消息，消息的投递过程也是采用客户端主动pull的模型，这样大大减轻了服务器的负担。Kafka还强调减少数据的序列化和拷贝开销，它会将一些消息组织成Message Set做批量存储和发送，并且客户端在pull数据的时候，尽量以zero-copy的方式传输，利用sendfile（对应java里的 FileChannel.transferTo/transferFrom）这样的高级IO函数来减少拷贝开销。可见，kafka是一个精心设计，特定于某些应用的MQ系统，这种偏向特定领域的MQ系统我估计会越来越多，垂直化的产品策略值的考虑。

本套课程围绕Kafka架构详细讲解kafka的核心 架构组件,broker,consumer,producer,以及日志的分段存储,稀疏索引,副本平衡,重分区, 数据同步,Kafka的核心组控制器和消费者控制器等机制.全面讲解java 最新版的api ,指定分区消费,流控制,手动commit,异步Callback,同步的按照Partition进行批量commit等.实战集成Springboot,spring,以及会讲解到最新的exactly-once, 集成序列化框架protobuf,集群的架构容错,集群的调优,以及数据回溯,实战kafka集群的安全,分布式集群搭建,集成各种常用的框架Apache Camel ,Spark Streaming, Storm.Kafka的核心源码讲解.以及Kafka的实战调优.