初试Kafka Connector，Confluent Kafka体验如何？

本文共计5043个文字，预计阅读时间需要21分钟。

LinkedIn数据驱动主要包含两点领悟能力，一是强化动态数据的有效性，要求其远大于静态数据，二是要利用所有数据化信息，而不仅是交易核心数据。本文从Kafka诞生背景入手，逐步引出数据驱动的概念。

LinkedIn数据驱动主要有两点领悟，其一是强调动态数据有效性要远远大于静态数据，其二是要利用所有数据化信息而不仅仅是交易核心数据。 本篇主要从Kafka诞生背景开始，一步步引出Kafka的Connect组件，而Confluent也免费开源100多种Connector，最后用一个完整的Source和Sink例子带入门如何在分布式模式使用Kafka的Connector 概述 背景

Apache Kafka 是最大、最成功的开源项目之一，可以说是无人不知无人不晓，在前面的文章《Apache Kafka分布式流处理平台及大厂面试宝典》我们也充分认识了Kafka，Apache Kafka 是LinkedIn 开发并开源的，LinkedIn 核心理念之一数据驱动主要有两点领悟，其一是强调动态数据有效性要远远大于静态数据，何为动态数据和静态数据，可以简单理解静态数据则为我们目前基于各种各样的数据库或文件系统等存储系统，而动态数据是基于事件驱动的理念如现在主流Apache Kafka和Apache Pulsar。其二是要利用所有数据化信息而不仅仅是交易核心数据，非交易核心数据量比交易核心数据量往往要大100倍都不止。作为当时开发出Apache Kafka实时消息流技术的几个团队成员出来创业，其中Jay Kreps带头创立了新公司Confluent，还有饶军也是Confluent联合创始人之一，而Confluent的产品基本都是围绕着Kafka来做的。基于动态数据理念是Apache Kafka 到Confluent企业化之路的主引线。