如何进行iceberg小文件合并冲突的测试分析？

本文共计1495个文字，预计阅读时间需要6分钟。

基于iceberg的master分支（9b6b5e0d2（2022-2-9））。参数说明：1、PARTIAL_PROGRESS_ENABLED（partial-progress.enabled）默认为false。该参数允许合并任务以group为单位进行提交，当其中某个group任务失败时，会抛出异常。

基于iceberg的master分支的9b6b5e0d2（2022-2-9）。

参数说明

1、PARTIAL_PROGRESS_ENABLED（partial-progress.enabled）
默认为 false。该参数能够让合并任务以group为单位做提交，当其中一个group任务失败，可以单独对该group任务重试。

2、USE_STARTING_SEQUENCE_NUMBER（use-starting-sequence-number）
默认为 true。
该参数使用做合并时的sequenceNumber作为新的数据文件的sequenceNumber。

测试 一、append方式生成 a,b,c三个snapshot，基于b做文件合并。

模拟的场景是：已存在a,b快照，现在基于b快照做小文件合并，但任务还未完成时，另一条数据流基于b快照做了append类型的数据：

右:USE_STARTING_SEQUENCE_NUMBER，下：PARTIAL_PROGRESS_ENABLED true false true 成功 成功 false 成功 成功

• 成功：生成新的快照，最终snapshot是 a,b,c,d。