StreamingPro是否兼容Spark Structured Streaming功能？
- 内容介绍
- 文章标签
- 相关推荐
本文共计462个文字，预计阅读时间需要2分钟。
前言：Structured Streaming的文章参考如下：
Spark 2.0 Structured Streaming 分析
2.0 的时候，Spark Structured Streaming 只是将框架搭建起来，当时也只支持 FileSource（监控目录新增文件）。到 2.0.2 后，开始支持 Kafka。
前言
Structured Streaming 的文章参考这里： Spark 2.0 Structured Streaming 分析。2.0的时候只是把架子搭建起来了，当时也只支持FileSource(监控目录增量文件)，到2.0.2后支持Kafka了，也就进入实用阶段了，目前只支持0.10的Kafka。Structured Streaming 采用dataframe API,并且对流式计算重新进行了抽象，个人认为Spark streaming 更灵活，Structured Streaming 在某些场景则更方便，但是在StreamingPro中他们之间则没太大区别，唯一能够体现出来的是，Structured Streaming 使得checkpoint真的进入实用阶段。
本文共计462个文字，预计阅读时间需要2分钟。
前言：Structured Streaming的文章参考如下：
Spark 2.0 Structured Streaming 分析
2.0 的时候，Spark Structured Streaming 只是将框架搭建起来，当时也只支持 FileSource（监控目录新增文件）。到 2.0.2 后，开始支持 Kafka。
前言
Structured Streaming 的文章参考这里： Spark 2.0 Structured Streaming 分析。2.0的时候只是把架子搭建起来了，当时也只支持FileSource(监控目录增量文件)，到2.0.2后支持Kafka了，也就进入实用阶段了，目前只支持0.10的Kafka。Structured Streaming 采用dataframe API,并且对流式计算重新进行了抽象，个人认为Spark streaming 更灵活，Structured Streaming 在某些场景则更方便，但是在StreamingPro中他们之间则没太大区别，唯一能够体现出来的是，Structured Streaming 使得checkpoint真的进入实用阶段。