Verbalized Sampling CLI工具使用教程：3步完成创意写作与对话模拟

Verbalized Sampling CLI工具使用教程：3步完成创意写作与对话模拟

【免费下载链接】verbalized-samplingVerbalized Sampling, a training-free prompting strategy to mitigate mode collapse in LLMs by requesting responses with probabilities. Achieves 2-3x diversity improvement while maintaining quality. Model-agnostic framework with CLI/API for creative writing, synthetic data generation, and dialogue simulation.项目地址: https://gitcode.com/gh_mirrors/ve/verbalized-sampling

Verbalized Sampling是一个无需训练的提示策略，通过请求带有概率的响应来减轻大型语言模型（LLMs）中的模式崩溃问题。该工具实现了2-3倍的多样性提升，同时保持质量。作为一个模型无关的框架，它提供CLI和API接口，适用于创意写作、合成数据生成和对话模拟等场景。

1️⃣ 环境准备：快速安装与配置

1.1 克隆项目仓库

首先，克隆Verbalized Sampling项目到本地：

git clone https://gitcode.com/gh_mirrors/ve/verbalized-sampling cd verbalized-sampling

1.2 安装依赖

使用pip安装所需依赖：

pip install -e .

1.3 验证安装

运行以下命令验证CLI是否安装成功：

verbalized-sampling --help

如果安装成功，将显示工具的帮助信息，包括可用命令和参数说明。

2️⃣ 核心功能探索：任务与方法

2.1 查看可用任务

Verbalized Sampling提供了多种预设任务，涵盖创意写作、合成数据生成、对话模拟等多个领域。运行以下命令查看所有可用任务：

verbalized-sampling list_tasks

主要任务类型包括：

• 创意写作：诗歌（POEM）、笑话（JOKE）、故事续写（BOOK）等
• 合成数据生成：数学问题（GSM8K、AMCAndAIMEMathTask）、编码问题（LIVECODEBENCH）等
• 对话模拟：说服对话（PERSUASION_DIALOGUE）
• 安全评估：有害内容拒绝率测试（SAFETY）

2.2 了解采样方法

该工具提供了多种采样方法，包括基准方法和Verbalized Sampling特有的方法。运行以下命令查看所有可用方法：

verbalized-sampling list_methods

主要方法类型：

• 基准方法：直接采样（DIRECT）、链式思维（DIRECT_COT）、序列采样（SEQUENCE）等
• Verbalized Sampling方法：VS-Standard（带响应和概率的语言化采样）、VS-CoT（带链式思维的语言化采样）、VS-Multi（多轮/组合语言化采样）

2.3 方法性能对比

不同采样方法在多样性和质量上表现各异。以下是两种关键参数对性能的影响分析：

上图展示了不同候选数量（k）对GPT-4.1和Gemini-2.5-Flash模型多样性和质量的影响。可以看出，Verbalized Sampling（VS-Standard）在保持较高质量的同时，显著提升了输出的多样性。

上图展示了不同概率阈值对多样性的影响。通过调整阈值，可以在多样性和质量之间取得平衡。

3️⃣ 实战指南：创意写作与对话模拟

3.1 创意写作：生成诗歌

使用VS-Standard方法生成诗歌，比较其与传统直接采样的差异：

verbalized-sampling run \ --task POEM \ --model openai/gpt-4.1 \ --methods DIRECT VS_STANDARD \ --num_responses 10 \ --num_samples 5 \ --output_dir poem_results

参数说明：

• --task POEM：指定任务为诗歌生成
• --model：指定使用的模型
• --methods：指定要比较的采样方法
• --num_responses：生成的响应数量
• --num_samples：每个提示的样本数量
• --output_dir：结果输出目录

运行后，结果将保存在poem_results目录中，包括生成的诗歌和性能指标报告。

3.2 对话模拟：说服对话

使用Verbalized Sampling进行说服对话模拟：

verbalized-sampling dialogue \ --persuader_model openai/gpt-4.1-mini \ --persuadee_model openai/gpt-4.1-mini \ --method VS_STANDARD \ --max_turns 10 \ --num_conversations 5 \ --evaluate True \ --output_file persuasion_results.jsonl

参数说明：

• --persuader_model：说服者角色使用的模型
• --persuadee_model：被说服者角色使用的模型
• --method：采样方法
• --max_turns：最大对话轮数
• --num_conversations：模拟的对话数量
• --evaluate：是否计算捐赠和语言指标
• --output_file：结果输出文件

运行后，将生成包含对话内容和评估指标的JSONL文件。

3.3 参数调优：提升多样性与质量

通过调整温度（temperature）和top-p参数，可以进一步优化输出结果。以下是不同top-p值对多样性和质量的影响：

根据实验结果，建议在创意写作任务中使用以下参数组合：

• temperature=0.7
• top-p=0.9

调整参数的命令示例：

verbalized-sampling run \ --task JOKE \ --model openai/gpt-4.1 \ --methods VS_STANDARD \ --temperature 0.7 \ --top_p 0.9 \ --num_responses 20

4️⃣ 高级应用：自定义任务与批量处理

4.1 自定义提示

除了使用预设任务，你还可以通过--prompt参数提供自定义提示：

verbalized-sampling run \ --task POEM \ --model openai/gpt-4.1 \ --methods VS_STANDARD \ --prompt "写一首关于人工智能的十四行诗" \ --num_samples 3

4.2 批量处理

通过调整--num_prompts参数，可以批量处理多个提示：

verbalized-sampling run \ --task SIMPLE_QA \ --model openai/gpt-4.1 \ --methods VS_STANDARD \ --num_prompts 10 \ --num_responses 50

总结

Verbalized Sampling CLI工具为创意写作和对话模拟提供了强大的支持。通过简单的三步操作，你可以快速上手并体验其带来的多样性提升。无论是内容创作、数据生成还是对话研究，Verbalized Sampling都能成为你的得力助手。

开始探索这个强大的工具，释放LLM的创造力吧！如果你想深入了解更多功能，可以查看项目中的示例代码和文档：

• 示例代码：examples/
• 任务定义：verbalized_sampling/tasks/
• 方法实现：verbalized_sampling/methods/

【免费下载链接】verbalized-samplingVerbalized Sampling, a training-free prompting strategy to mitigate mode collapse in LLMs by requesting responses with probabilities. Achieves 2-3x diversity improvement while maintaining quality. Model-agnostic framework with CLI/API for creative writing, synthetic data generation, and dialogue simulation.项目地址: https://gitcode.com/gh_mirrors/ve/verbalized-sampling