录制于 SpringOne2GX 2015。演讲者：Joe Stein 大数据方向 幻灯片：http://www.slideshare.net/SpringCentral/developing-realtime-data-pipelines-with-apache-kafka-53201942 使用 Apache Kafka 开发实时数据管道 http://kafka.apache.org/ 是为开发人员介绍为什么以及如何使用 Apache Kafka 的介绍。 Apache Kafka 是一种发布-订阅消息系统，被重新构想为分布式提交日志。 Kafka 旨在允许单个集群充当中心数据主干。单个 Kafka 代理可以处理来自数千个客户端的每秒数百兆字节的读取和写入。它可以弹性且透明地扩展，而无需停机。数据流被分区并分布在机器集群上，以允许数据流大于任何单个机器的容量，并允许协调的消费者集群。消息持久保存在磁盘上并在集群内复制，以防止数据丢失。每个代理可以处理数 TB 的消息。对于 Spring 用户，Spring Integration Kafka 和 Spring XD 提供了与 Apache Kafka 的集成。