# FIVEOS AI智能编程测试说明

# FIVEOS AI智能编程测试说明

## 一、背景

当前，AI辅助编程工具在代码生成方面展现了相当的能力。与此同时，一个值得关注的问题是：AI模型所使用的训练数据，主要来自公开的代码库。这些代码本身可能携带着编写过程中产生的各种潜在问题。当AI学习这些代码时，这些问题可能被一同吸收，进而在AI生成的代码中有所体现。

FIVEOS AI智能编程测试环境，是为观察和检验上述问题而搭建的。它尝试通过一套预先定义的规则，对软件构造过程进行约束和引导，并在此基础上观察AI在规则框架内的行为表现。

本测试环境在搭建过程中，参考了业界在自动化编程和软件验证方面的一些已有探索。

## 二、基础规则

本测试环境所使用的规则，建立在一套被称为“数理网格法”的计算与统计方法之上。该方法认为，软件系统可以被看作一组功能单元在逻辑空间中的有序组合，构成一个逻辑网格。

这套规则主要关注两个方面：一是处理过程的完整性，即一个完整的处理过程应当包含从输入接收、校验、处理、验证到输出的完整信息链条；二是单元组合的规模约束，即在逻辑网格的任意一个层级中，直接相互关联的单元数量存在一个可被计算的合理范围。

基于上述认识，本测试环境建立了一套包含结构定义、功能分解、组装规则、校验标准和排错流程的规则体系。这套体系为软件的构造提供了一个可被观察和检验的操作框架。

## 三、五个测试阶段

本测试环境将软件构造过程划分为五个阶段，AI在每个阶段中的行为均受到规则体系的约束。

**第一阶段：目标设定**
使用者以结构化的方式描述软件的功能需求。AI将这些描述解析为一个可被后续流程使用的功能网格。这个网格作为后续各阶段的参照基准。

**第二阶段：结构分解**
依据预设的层级规则，功能网格被分解为更小的组成单元。分解过程遵循固定的规则，包括每层单元数量的限制和模块边界的界定方式。AI在此过程中利用已有的知识库辅助判断，但其分解行为受到规则的严格约束。

**第三阶段：规则约束下的生成**
从分解后的基础单元出发，AI从一套预先整理过的语料库中选取功能组件。这套语料库中的组件均已经过统一规则的整理和验证。AI按照预定义的模板，将这些组件逐层装配为更大的功能模块，最终形成完整的软件系统。

**第四阶段：同步比对**
每完成一层装配，系统自动生成测试用例，运行已完成装配的部分，并将其输出与第一阶段设定的功能网格进行比对。比对不一致时，AI自动回溯到该层进行调整。这种“边装配边校验”的方式，使得偏差能够在产生的第一时间被发现和修正。

**第五阶段：结构化排查**
对于已存在的软件或测试过程中发现的问题，AI执行一套分层、分序的排查流程。问题被分为骨架层面、逻辑层面、语法文字层面、数值层面和边界层面五个类别。排查按照固定的优先顺序进行，每类问题处理完毕后再进入下一类。

## 四、AI在测试环境中的角色

在本测试环境中，AI被置于一个受约束的位置。它不在开放空间中进行自由创作，而是在预设的规则框架内执行任务。具体而言：AI不从零创造代码结构，而是从已有模板中选取并装配；AI不自行判断代码的对错，而是执行预定义的比对规则进行检验；AI不依靠经验猜测问题的位置，而是按照固定的顺序逐层排查。

这种设置的目的，是观察在规则明确、边界清晰的环境中，AI的软件构造行为是否具有可复现性，以及最终生成的软件是否具有一致的逻辑结构。

## 五、测试说明

本测试环境目前以FIVEOS为测试载体，涵盖了从底层内核模块到上层应用组件的多个层面。测试代码和规则体系以开源方式提供，供有兴趣的研究者和开发者自行搭建、运行和检验。

测试结果不对被测试方法做出“成功”或“失败”的总体定性，而是以可观测的数据和可复现的流程呈现。每位使用者可以根据自己的测试结果和判断标准，得出独立的结论。

经过多次测试，AI对训练中形成的逻辑仍然占据主导，很难保持一致性，经常产生漂移。同时，反过来，没有AI的推理能力和综合编程知识体系，这一方法几乎无用。

所以，真正能达到高水平的编程，还得依赖AI能务的大幅提升。