Flink状态管理如何实现长尾词的实时高效处理?
- 内容介绍
- 文章标签
- 相关推荐
本文共计4175个文字,预计阅读时间需要17分钟。
家人好,我是小寒~ 原文链接:Flink的状态管理 2022+大数据学习路线图。在上篇文章中,我们分享了Flink中时间和窗口的相关技术细节,今天我们来分享Flink中的状态管理相关内容。
大家好,我是小寒~
原文链接: Flink的状态管理
2022 大数据学习路线图
在上一篇文章,我们分享了 FLink 中时间和窗口的相关技术细节,今天我们来分享一下 FLink 中的状态管理相关的内容。
状态管理状态在 FLink 中叫作 State,用来保存中间计算结果或者缓存数据。
对于流计算而言,事件待续不断地产生,如果每次计算都是相互独立的,不依赖于上下游的事件,则是无状态计算。
如果计算常要依赖于之前或者后续的事件,则是有状态的计算。 State 是实现有状态计算下的 Exactly-Once 的基础。
Flink 中的 State 提供了对状态的操作接口,向上对接 Flink DataStream Api,让用户在开发 Flink 应用的时候,可以将临时数据保存在 State 中 和 从 State 中读取数据。在运行的时候,与算子、Function 体系融合,自动对 State 进行备份(CheckPoint),一旦出现异常,能够从保存的 State 中恢复状态,实现 Exactly-Once。
状态的类型按照数据结构的不同,Flink 中定义了多种 State ,应用于不同的场景。
本文共计4175个文字,预计阅读时间需要17分钟。
家人好,我是小寒~ 原文链接:Flink的状态管理 2022+大数据学习路线图。在上篇文章中,我们分享了Flink中时间和窗口的相关技术细节,今天我们来分享Flink中的状态管理相关内容。
大家好,我是小寒~
原文链接: Flink的状态管理
2022 大数据学习路线图
在上一篇文章,我们分享了 FLink 中时间和窗口的相关技术细节,今天我们来分享一下 FLink 中的状态管理相关的内容。
状态管理状态在 FLink 中叫作 State,用来保存中间计算结果或者缓存数据。
对于流计算而言,事件待续不断地产生,如果每次计算都是相互独立的,不依赖于上下游的事件,则是无状态计算。
如果计算常要依赖于之前或者后续的事件,则是有状态的计算。 State 是实现有状态计算下的 Exactly-Once 的基础。
Flink 中的 State 提供了对状态的操作接口,向上对接 Flink DataStream Api,让用户在开发 Flink 应用的时候,可以将临时数据保存在 State 中 和 从 State 中读取数据。在运行的时候,与算子、Function 体系融合,自动对 State 进行备份(CheckPoint),一旦出现异常,能够从保存的 State 中恢复状态,实现 Exactly-Once。
状态的类型按照数据结构的不同,Flink 中定义了多种 State ,应用于不同的场景。

