在spark结构化流处理过程中会出现有状态流和无状态流,这两个流有什么区别?

提问者:帅平 问题分类:大数据

在spark结构化流处理过程中会出现有状态流和无状态流,这两个流有什么区别?

1 个回答
与酒
与酒

无状态流:它只对流入的流数据进行基本的转换,然后将数据写入到一个data sink上。

有状态流:它需要保持一定数量的状态,不管它是隐式还是显式的完成。在有状态流的类型上,我们经常执行某种聚合或使用像mapGroupsWithState 或 flatMapGroupsWithState 这样的结构化流 API,可以维护特定用例所需的任意状态,例如,维护用户会话数据。

发布于:3个月前 (12-15)
我来回答