如何使用Riteway进行AI驱动开发？5个核心问题彻底解答

如何使用Riteway进行AI驱动开发？5个核心问题彻底解答

【免费下载链接】ritewaySimple, readable, helpful unit tests.项目地址: https://gitcode.com/gh_mirrors/ri/riteway

Riteway是一款简单、易读且实用的单元测试框架，它通过AI驱动开发理念，让开发者能够像测试代码一样严格测试AI提示词，成为AI驱动开发和软件代理的标准测试框架。无论是新手还是有经验的开发者，都能通过Riteway轻松实现对AI项目的测试与优化。

一、Riteway是什么？为什么选择它进行AI驱动开发？

Riteway的核心理念是“Simple, readable, helpful unit tests”，它不仅是一个普通的测试工具，更是为AI驱动开发量身打造的测试框架。通过Riteway，开发者可以将AI提示词视为一等公民进行测试，确保AI模型的输出符合预期。

与传统测试工具相比，Riteway具有以下优势：

• AI原生支持：专为测试AI提示词设计，可直接处理SudoLang等提示词格式
• 简单易用：清晰的语法和直观的测试结果展示，降低学习成本
• 灵活可靠：支持多次运行测试并设置通过阈值，应对AI的非确定性
• 丰富输出：生成TAP格式报告，支持媒体嵌入，便于结果分析

二、Riteway的AI测试核心功能有哪些？

Riteway提供了一系列强大的AI测试功能，让AI驱动开发变得更加可控和高效：

1. 提示词测试能力

Riteway允许开发者创建SudoLang格式的测试文件，将AI提示词作为测试单元。通过riteway ai <promptfile>命令，可直接对提示词进行测试，就像测试普通代码一样简单。

2. 多轮测试与阈值设置

考虑到AI输出的非确定性，Riteway支持通过--runs N参数设置测试运行次数（默认4次），并通过--threshold P参数设置通过率阈值（默认75%）。这确保了AI模型的稳定性和可靠性。

3. 并行执行与结果聚合

Riteway能够并行执行多次测试，提高测试效率。同时，它会自动聚合多次运行的结果，计算通过率，并根据设定的阈值判断测试是否通过。

4. 丰富的测试报告

测试结果会以TAP格式保存到ai-evals/目录，文件命名包含日期、测试文件名和唯一标识符，便于追踪和比较。报告支持颜色高亮和媒体嵌入，可直接在浏览器中打开查看。

三、如何快速开始使用Riteway进行AI驱动开发？

1. 安装Riteway

首先，克隆Riteway仓库到本地：

git clone https://gitcode.com/gh_mirrors/ri/riteway cd riteway npm install

2. 创建AI测试文件

创建一个SudoLang格式的测试文件（例如test-prompt.sudo），定义测试需求和断言：

import $targetPrompt describe("AI Prompt Test", { userPrompt = "Hello, AI!" $response = callSubAgent($userPrompt) $requirements = [ "Response should be friendly", "Response should include a greeting" ] assert(requirements) })

3. 运行AI测试

使用以下命令运行测试：

riteway ai test-prompt.sudo --runs 5 --threshold 80

这将运行5次测试，要求至少80%的测试通过。

4. 查看测试结果

测试完成后，结果会保存到ai-evals/目录，并自动在浏览器中打开。你可以查看详细的测试报告，包括每次运行的结果和聚合分析。

四、Riteway的AI测试文件结构是怎样的？

Riteway使用SudoLang作为测试文件格式，它允许开发者以自然语言描述测试需求，同时保持结构化。一个典型的Riteway AI测试文件包含以下部分：

1. 导入目标提示词

import $targetPrompt

这行代码用于导入要测试的提示词。

2. 定义测试场景

describe(moduleName, { userPrompt = $userPrompt $response = callSubAgent($userPrompt) $requirements ... })

在describe块中，你可以定义用户提示、获取AI响应，并列出测试需求。

3. 断言需求

assert(requirements)

这行代码告诉Riteway对列出的需求进行断言，AI会根据响应推断每个需求的通过情况。

Riteway会将测试文件的全部内容传递给AI代理，而不进行解析，这使得测试文件可以包含任何有效的SudoLang或Markdown内容，包括frontmatter等。

五、Riteway如何处理AI测试的不确定性？

AI模型的输出往往具有不确定性，相同的输入可能产生不同的输出。Riteway通过以下机制来处理这一挑战：

1. 多次运行测试

通过--runs N参数，Riteway可以多次运行相同的测试，默认运行4次。这有助于了解AI模型输出的稳定性。

2. 设置通过阈值

--threshold P参数允许你设置通过测试所需的最低通过率（百分比）。例如，设置为75意味着至少75%的运行需要通过，测试才会被视为整体通过。

3. 并行执行与独立上下文

Riteway会并行执行多次测试，并且确保每次运行都有独立的上下文，避免状态泄漏影响测试结果。

4. 结果聚合与分析

测试完成后，Riteway会聚合所有运行的结果，计算通过率，并生成详细的报告。如果通过率低于设定的阈值，测试套件将失败，帮助你识别不稳定的AI提示词。

通过这些机制，Riteway有效地解决了AI测试中的不确定性问题，让AI驱动开发变得更加可靠和可预测。

总结

Riteway为AI驱动开发提供了强大而简单的测试解决方案，通过将AI提示词视为可测试的单元，让开发者能够以与测试代码相同的严谨态度测试AI系统。无论是处理AI输出的不确定性，还是生成详细的测试报告，Riteway都能满足AI驱动开发的需求，帮助开发者构建更可靠、更高效的AI应用。

如果你正在进行AI驱动开发，不妨尝试Riteway，体验它带来的简单、可读且实用的测试体验。

【免费下载链接】ritewaySimple, readable, helpful unit tests.项目地址: https://gitcode.com/gh_mirrors/ri/riteway