如何实现字节跳动数据质量动态探查及相关前端的长尾词功能？

本文共计3472个文字，预计阅读时间需要14分钟。

更多技术交流、求职机会、试用福利，欢迎关注+字节跳动数据分析平台微信公众号，回复【1】进入官方交流群+求职背景+数据查询线上前，数据验证都通过写+SQL+方式查询的。

更多技术交流、求职机会、试用福利，欢迎关注字节跳动数据平台微信公众号，回复进入官方交流群

需求背景

数据探查上线之前，数据验证都是通过写 SQL 方式进行查询的，从编写 SQL，到解析运行出结果，不仅时间长，还会反复消耗计算资源，探查上线后，只需要一次探查，就可以得到整张表的探查报告，但后续我们还发现了一些问题，主要有三点：

1. 无法看到探查的数据明细以及关联的行详情，无法对数据进行预处理操作。

2. 探查还是需要资源调度，等待时长平均分钟级。

3. 与质量监控没有打通，探查数据的后续走向不明确。

针对这些问题，我们进一步开发了动态探查需求，解决的问题如下：

1. 基于大数据预览的探查，支持对数据进行函数级别的预处理。

2. 探查结果秒级更新，实时响应。

3. 与数据监控打通，探索 SQL 的生成模式。

本文主要介绍动态探查的应用场景和相关的技术实现。