kafka 初稿整理阶段二:演变历程是怎样的?

2026-05-27 11:550阅读0评论SEO资源
  • 内容介绍
  • 文章标签
  • 相关推荐

本文共计2100个文字,预计阅读时间需要9分钟。

kafka 初稿整理阶段二:演变历程是怎样的?

前言+简单整理一些Kafka的设计。正文+Kafka的设计注重于日志+原文提及的重要性,包括Kafka在其中的作用,以及日志管理分发的功能。对于其他服务来说,相当于新闻报社,订阅特定主题便会收到相应类别的内容。

前言

简单整理一些kafka的设计。

正文

前文提及到log 的重要性,以及kafka在其中的作用,起着一个日志管理分发的作用,对于其他服务来说相当于新闻报社,订阅某种主题就会收到某类信息。

当人们意识到事件状态的重要性的时候,当时还没有日志管理系统,可能像下面这样:

他们各自传递着各自的事件状态给需要的服务,有点乱且难以维护。

于是为了给他们解耦,就出现了下面这样的:

这种模式解决了日志分发问题。

这种模式的出现是否解决了各种服务之间日志的共享。

现在日志和数据库似乎没有什么关联了,也就是事件状态的出现满足了新的需求,并没有和事物的状态有什么影响,似乎这两者在并行的发展。

在事物状态历史发展中,出现了一种东西叫做也就是数据仓库。

通过清洗业务仓库里面的东西来进行对聚合整理,这个清洗过程叫做etl,也就是extract-transform-load.

顾明思议哈,收集、转换、加载。

ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程,目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析依据, ETL是BI(商业智能)项目重要的一个环节。

这东西有什么作用呢,比如说,要查询进一个月每天的订单,如果直接这样查的话,一个是数据库语句难写,有人可能会问怎么就难写哈,不就是group by 聚合吗,但是还有一个问题那就可能有一天没有订单哈。

阅读全文

本文共计2100个文字,预计阅读时间需要9分钟。

kafka 初稿整理阶段二:演变历程是怎样的?

前言+简单整理一些Kafka的设计。正文+Kafka的设计注重于日志+原文提及的重要性,包括Kafka在其中的作用,以及日志管理分发的功能。对于其他服务来说,相当于新闻报社,订阅特定主题便会收到相应类别的内容。

前言

简单整理一些kafka的设计。

正文

前文提及到log 的重要性,以及kafka在其中的作用,起着一个日志管理分发的作用,对于其他服务来说相当于新闻报社,订阅某种主题就会收到某类信息。

当人们意识到事件状态的重要性的时候,当时还没有日志管理系统,可能像下面这样:

他们各自传递着各自的事件状态给需要的服务,有点乱且难以维护。

于是为了给他们解耦,就出现了下面这样的:

这种模式解决了日志分发问题。

这种模式的出现是否解决了各种服务之间日志的共享。

现在日志和数据库似乎没有什么关联了,也就是事件状态的出现满足了新的需求,并没有和事物的状态有什么影响,似乎这两者在并行的发展。

在事物状态历史发展中,出现了一种东西叫做也就是数据仓库。

通过清洗业务仓库里面的东西来进行对聚合整理,这个清洗过程叫做etl,也就是extract-transform-load.

顾明思议哈,收集、转换、加载。

ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程,目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析依据, ETL是BI(商业智能)项目重要的一个环节。

这东西有什么作用呢,比如说,要查询进一个月每天的订单,如果直接这样查的话,一个是数据库语句难写,有人可能会问怎么就难写哈,不就是group by 聚合吗,但是还有一个问题那就可能有一天没有订单哈。

阅读全文