生产式AI驱动的主机自动化测试

译者 | 陈峻

审校 | 重楼

将传统大型主机应用的代码和数据迁移到现代化技术架构上，被业界认为是企业信息系统数字化发展的关键阶段。尤其是在追求提高效率和可扩展性的过程中，这种转变通常会涉及到从传统的大型主机环境，转移到更加灵活的云计算、或是在内部部署方案中。

不过，随着业务环境的动态变化，也会使得迁移过程变得更加复杂。这不仅仅是技术上的资源重新部署，而且是一种根本性的转变，因此往往需要经历严格的测试，以确保各项功能的等效，进而保持应用在运行上的完整性和性能上的标准化。

同时，在迁移之后，应用程序经常会在新的要求、业务战略的演变、以及监管标准变化的驱动下，被迫进行大量的修改。而每一次修改，无论是微小的调整、还是重大的“翻修”，都必须经过严密的测试。其中最关键的挑战就在于，如何确保新的变化能够与现有的功能和谐集成，而不会造成意想不到的后果或中断。可见，验证新功能和保留现有功能的双重要求，凸显了在迁移后自动化测试套件的重要性。

近年来，生成式AI（GenAI）的广泛应用，已辐射到了各个领域。如果将其引入大型主机的现代化过程，不但有望让企业在软件质量、运营效率等方面取得显著改善，而且能够带来软件开发和质量保证理念上的根本转变，进而让企业最终获得可观的投资回报。

下面，我将和您探讨如何通过合适的自动化测试方法、工具和最佳实践，实现在技术平稳过渡中，确保现代化大型主机应用的固有质量和性能。

传统的手动测试理念

一直以来，大型主机环境并不愿意接受自动化的测试方式。由Compuware和Vanson Bourne联合开展的2019年全球调查显示，仅有7%的受访者为大型主机应用采用了自动化的测试用例，这足以说明业界对此的态度。

手动测试的困境

作为对比，手动测试则是许多企业普遍采用的传统方法。不过，在复杂的大型主机现代化过程中，该方法越来越显得力不从心，而且容易出错。毕竟，测试工程师需要手动验证每个方案和业务规则。这一过程就充满了人为出错的可能性。而且，鉴于许多大型主机应用的高风险性和关键任务性特点，我们一旦在测试过程中忽略了某个细微的错误，则可能会导致严重的生产问题、大量的停机时间、乃至经济损失。因此，该缺点会变得尤为突出。此外，人工测试还存在着如下缺陷：

1. 遗漏与不准确：手动处理大量测试用例，会增加遗漏关键场景、以及数据验证不准确的风险。

2. 耗时性：手动方法需要大量时间对每个方面进行彻底测试，因此在快节奏的开发环境中效率不高。

3. 可扩展性问题：随着应用程序的扩展和演进，人工测试所需的工作量会成倍增加，更无法有效地识别错误。

有的企业可能会直观地想到扩大人工测试团队。不过，这并非一个可行的解决方案。此举既会导致成本效率的低下，又无法解决人工测试流程的固有局限性。企业需要通过DevOps等现代方法，来整合自动化测试流程，以提高效率并减少错误。

测试自动化的必要性

总的说来，通过在现代化大型主机应用程序中集成自动化测试流程，企业可以大幅提高迁移的效率和准确性。当然，大型主机环境中自动化测试的采用率并不高。有的企业认为这是挑战，但也有的企业视之为巨大的转型机遇。毕竟，在测试中采用自动化不仅仅是一种技术升级，更是一种降低风险、节省时间和优化资源利用的战略举措。

对于希望在快速发展的技术环境中，保持竞争力和效率的企业来说，这一转变至关重要。根据《DevOps状态报告》显示，自动化测试在优化操作工作流程和确保应用程序可靠性等方面，能够发挥巨大的作用。

什么是自动化测试？

根据Atlassian的定义，自动化测试是通过运用软件工具，自动完成那些由人工驱动的软件产品的审查和验证过程。其速度、效率和精度，都超越了传统人工测试方法的局限性。也就是说，自动化测试有助于在加快应用变化的同时，确保其质量和可靠性不受影响。自动化测试不仅能够简化新变化的验证过程，也可以监控现有功能的完整性，从而在现代化应用的无缝过渡和持续维护方面发挥关键性作用。

在追求优化软件测试流程的过程中，采用自动化测试往往需要初始的人工投入，会涉及到测试工程师对于应用程序底层错综复杂的业务逻辑的理解。这种理解对于使用Selenium等框架有效地生成自动化测试用例是至关重要的。该阶段虽然会耗费大量人力，却是一项基础性工作。毕竟后续的自动化测试将大幅减少测试本身对于人工的依赖，尤其是在重复和广泛的测试场景中。而且，自动化框架一旦被建立，就会成为对应用程序进行持续评估的强大机制。其优势在于，它善于识别因应用更改而可能出现的错误或bug。

大型主机现代化过程中的自动化测试方法

在软件工程领域，针对大规模的迁移或现代化大型主机应用程序的自动化测试，往往需要全面了解应用程序中的所有业务规则，以便为通常由数百万行代码组成的庞大代码库，生成自动化的测试用例。这是一项复杂而又相当艰巨的任务。鉴于难以实现100%的代码覆盖率，我们需要在测试覆盖深度与实际可行性之间实现平衡，以确保关键性的业务逻辑，能够得到充分的测试覆盖。

在这种情况下，GenAI等新兴技术提供了一种可能性。它能够自动生成自动化测试脚本，以简化大型主机现代化项目的测试流程，为软件开发中的质量保证提供一种更高效、更准确、更可扩展的方法。

GenAI的广泛利用

在深入研究GenAI如何在大型主机现代化中实现自动化测试之前，让我们简单了解一下GenAI。从根本上说，GenAI代表了人工智能的一个方面。它通过生成式模型，来生成各种文本、图像或其他媒介。这些生成式人工智能模型善于学习输入训练数据的模式和结构元素，进而生成能够反映这些特征的新数据。显然，此类系统主要依赖机器学习模型，尤其是深度学习领域的模型。

自然语言生成（Natural Language Generation，NLG）是与大型主机现代化强相关的一种GenAI形式。它能够在大语言模型（large language models，LLM）的支持下，产生出类似人类的文本。通常，LLM在大量文本数据的语料库中接受训练，使之能够辨别和复制语言的细微差别和结构。因此，这种训练使得它们能够执行各种自然语言处理任务，包括：文本生成、翻译摘要、以及情感分析等。值得注意的是，LLM还能够熟练地生成准确的计算机程序代码。

目前，大语言模型的著名用例包括：GPT-3（Generative Pre-trained Transformer 3）、BERT（Bidirectional Encoder Representations from Transformers）和T5（Text-to-Text Transfer Transformer）。这些模型通常建立在深度神经网络的基础上，尤其是那些采用了Transformer架构的模型。因此，它们在处理文本等顺序数据方面，表现出了卓越的功效。大量的训练数据（包括数百万、甚至数十亿的单词或文档）使得这些模型能够全面掌握各种编程语言。它们不仅在生成连贯且与上下文相关的文本方面表现出色，而且在预测语言模式（如完成句子或回答查询）方面也很优秀。

当前，某些大语言模型还可以理解和生成多种语言的文本，从而提高其在全球范围内的实用性，从为聊天机器人和虚拟助手提供“智力”，到支持内容生成、语言翻译与摘要等应用领域，LLM的多功能性都能够带来不俗的表现。

如何使用GenAI生成自动化测试脚本

在软件测试领域，LLM可以帮助我们从应用程序的代码中提取业务逻辑，并将这些规则转化为人类可读的格式，进而生成相应的自动化测试脚本。同时，它也能够帮助我们遴选出必要数量的测试用例，以满足代码片段的各种潜在覆盖率要求。

通常，使用GenAI生成应用程序代码的自动化测试脚本，需要如下结构化的三步流程：

1. 使用GenAI提取业务规则：作为初始阶段，我们需要使用GenAI从应用程序中提炼业务规则。该流程会对提炼到的规则按照详细程度进行判定，并以人类可读的格式进行诠释。此外，GenAI也有助于全面了解给定代码段的所有潜在结果。这些知识对于确保创建准确、相关的测试脚本是至关重要的。

2. 利用GenAI在功能层面生成自动化测试脚本：根据提取到的业务逻辑，测试工程师能够对应用程序的功能拥有全面的了解，以便在功能层面上利用GenAI来开发测试脚本。该步骤涉及到确定所需的测试脚本数量，并识别可能被排除在外的场景。当然，此类自动化测试脚本的代码覆盖范围，往往是由团队集体决定的。

3. 由主题专家（Subject Matter Experts，SME）进行验证和推理添加：在最后阶段，一旦提取了业务逻辑，并生成了相应的自动化测试脚本，测试专家就会验证这些脚本，并有权进行添加、修改或删除等操作。此类干预解决了GenAI输出可能产生的潜在概率错误，并提高了自动化测试脚本的质量确定性。

上述过程看似复杂，实际上却能充分利用GenAI的能力，以简化测试脚本生成的流程，并确保自动化的效率与人类专业知识的完美结合。其中，测试人员在验证阶段的参与尤为重要。这会让人工智能生成的输出结果，能够建立在实际、真实的应用知识之上，从而显著提高测试脚本的可靠性和适用性。

小结

综上所述，作为一种提高效率的工具，GenAI可以通过其NLG能力生成自动化测试脚本，进而提高大型主机现代化的软件测试过程的准确性和可靠性。同时，GenAI需要通过结构化的三步流程，来完善AI生成的输出结果，并确保自动化脚本不仅在技术上合理，而且在实践中适用，从而体现AI能力与人类专业知识的和谐统一。而这种融合对于解决现代化大型主机应用程序的复杂性和动态要求，显然是至关重要的。

译者介绍

陈峻（Julian Chen），51CTO社区编辑，具有十多年的IT项目实施经验，善于对内外部资源与风险实施管控，专注传播网络与信息安全知识与经验。

原文标题：GenAI-Driven Automation Testing in Mainframe Modernization，作者：sampath amatam)