ETL 测试 – 自动化


ETL 测试主要使用 SQL 脚本并在电子表格中收集数据来完成。这种执行 ETL 测试的方法非常缓慢、耗时、容易出错,并且是在样本数据上执行的。

手动 ETL 测试的技术挑战

您的 ETL 测试团队编写 SQL 查询来测试仓库系统中的数据,他们需要使用 SQL 编辑器手动执行它们,然后将数据放入 Excel 电子表格中并手动比较它们。这个过程非常耗时、耗费资源并且效率低下。

市场上有各种工具可以自动化此过程。最常见的 ETL 测试工具是 QuerySurge 和 Informatica Data Validation。

查询激增

QuerySurge 是一款数据测试解决方案,旨在测试大数据、数据仓库和 ETL 流程。它可以为您自动化整个流程,并非常适合您的 DevOps 策略。

QuerySurge 的主要特点如下:

  • 它具有查询向导,可以快速轻松地创建测试查询对,而无需用户编写任何 SQL。

  • 它有一个设计库,其中包含可重用的查询片段。您也可以创建自定义查询对。

  • 它可以将源文件和数据存储中的数据与目标数据仓库或大数据存储进行比较。

  • 它可以在几分钟内比较数百万行和列的数据。

  • 它允许用户安排测试运行(1)立即,(2)任何日期/时间,或(3)在事件结束后自动运行。

  • 它可以生成信息丰富的报告、查看更新并自动通过电子邮件将结果发送给您的团队。

为了自动化整个过程,您的 ETL 工具应在 ETL 软件完成其加载过程后通过命令行 API 启动 QuerySurge。

QuerySurge 将在无人值守的情况下自动运行,执行所有测试,然后通过电子邮件将结果发送给团队中的每个人。

与 QuerySurge 一样,Informatica Data Validation 提供了 ETL 测试工具,可帮助您在开发和生产环境中加速和自动化 ETL 测试流程。它使您能够在更短的时间内提供完整、可重复且可审核的测试覆盖范围。它不需要任何编程技能!