FLink中时间窗口与时间戳如何精确匹配?
- 内容介绍
- 文章标签
- 相关推荐
本文共计3499个文字,预计阅读时间需要14分钟。
读前福利,全面PDF获取+联系我+大家好,我是小寒~+从今天开始,我们开始分享Flink系列相关文章。如果喜欢,记得关注一波。+在Flink中有四大基石,分别是+Time、Window、Checkpoint+和“
读前福利,最全pdf获取
联系我
大家好,我是小寒~
从今天开始,我们开始分享 FLink 系列相关的文章。如果喜欢,记得关注一波。
在Flink中有四大基石,分别是 Time、Window、CheckPoint 和 State,今天我们就先来分享一下 FLink 中的时间和窗口概念。
我们都知道flink是流式的、实时的计算引擎。
所谓的流式就是指数据源源不断的流进来,是一个无界的数据流,但是我们在进行计算的时候必须在一个有边界的范围内进行,那边界该如何确定呢?无非就两种方式,根据时间段或者数据量进行确定,根据时间段就是每隔多长时间就划分一个边界,根据数据量就是每来多少条数据划分一个边界。
时间如果以时间段进行数据划分的话,那么时间就是一个非常重要的概念。FLink中包括三种时间概念。
EventTime事件时间指事件发生的时间,一旦确定之后再也不会改变。它通常由事件中的时间戳描述,例如采集的日志数据中,每一条日志都会记录自己的生成时间,Flink 通过时间戳分配器访问事件时间戳。
使用事件时间的好处是不依赖操作系统的时钟,无论执行多少次,可以保证计算结果是一样的。
Ingestion Time摄取时间是指事件进入流处理系统的时间,对于一个事件来说,使用其被读取的那一刻的时间戳作作为摄取时间。
本文共计3499个文字,预计阅读时间需要14分钟。
读前福利,全面PDF获取+联系我+大家好,我是小寒~+从今天开始,我们开始分享Flink系列相关文章。如果喜欢,记得关注一波。+在Flink中有四大基石,分别是+Time、Window、Checkpoint+和“
读前福利,最全pdf获取
联系我
大家好,我是小寒~
从今天开始,我们开始分享 FLink 系列相关的文章。如果喜欢,记得关注一波。
在Flink中有四大基石,分别是 Time、Window、CheckPoint 和 State,今天我们就先来分享一下 FLink 中的时间和窗口概念。
我们都知道flink是流式的、实时的计算引擎。
所谓的流式就是指数据源源不断的流进来,是一个无界的数据流,但是我们在进行计算的时候必须在一个有边界的范围内进行,那边界该如何确定呢?无非就两种方式,根据时间段或者数据量进行确定,根据时间段就是每隔多长时间就划分一个边界,根据数据量就是每来多少条数据划分一个边界。
时间如果以时间段进行数据划分的话,那么时间就是一个非常重要的概念。FLink中包括三种时间概念。
EventTime事件时间指事件发生的时间,一旦确定之后再也不会改变。它通常由事件中的时间戳描述,例如采集的日志数据中,每一条日志都会记录自己的生成时间,Flink 通过时间戳分配器访问事件时间戳。
使用事件时间的好处是不依赖操作系统的时钟,无论执行多少次,可以保证计算结果是一样的。
Ingestion Time摄取时间是指事件进入流处理系统的时间,对于一个事件来说,使用其被读取的那一刻的时间戳作作为摄取时间。

