新手必看：5分钟上手Dromedary聊天机器人，本地搭建智能对话系统教程

新手必看：5分钟上手Dromedary聊天机器人，本地搭建智能对话系统教程

【免费下载链接】DromedaryDromedary: towards helpful, ethical and reliable LLMs.项目地址: https://gitcode.com/gh_mirrors/dr/Dromedary

Dromedary是一款致力于打造有帮助、符合伦理且可靠的大型语言模型(LLM)，通过简单几步即可在本地搭建属于自己的智能对话系统。本教程将带你快速掌握从环境准备到启动聊天机器人的全过程，让AI助手触手可及。

一、准备工作：快速搭建运行环境

1.1 克隆项目代码库

首先需要获取Dromedary的源代码，在终端中执行以下命令：

git clone https://gitcode.com/gh_mirrors/dr/Dromedary cd Dromedary

1.2 安装依赖包

进入项目目录后，通过requirements.txt安装必要的依赖组件。确保你的环境已安装Python 3.8+，执行：

pip install -r inference/requirements.txt

该文件包含了运行聊天机器人所需的核心依赖，如transformers、accelerate和gradio等。

二、了解Dromedary的工作原理

Dromedary采用创新的自对齐技术，通过四个关键步骤构建可靠的AI助手：

Dromedary自对齐流程展示了从种子提示到最终模型的构建过程，仅需不到300行人工标注

1. 主题引导的自指令生成：使用195个种子提示和7条规则生成36万个合成指令
2. 原则驱动的自对齐：基于16条AI助手原则和5个上下文学习示例，生成26万个对齐响应
3. 原则雕刻：通过修剪原则和示例后微调原始模型
4. 详细克隆：优化模型以产生深入且详细的响应

三、启动聊天机器人的两种方式

3.1 使用预配置脚本（推荐）

项目提供了便捷的启动脚本，位于inference/scripts/目录下，根据你的硬件配置选择合适的脚本：

• 对于2个GPU的配置：

bash inference/scripts/demo_dromedary_stream_2shards.sh

• 对于8个GPU的配置：

bash inference/scripts/demo_dromedary_stream_8shards.sh

3.2 手动运行Python脚本

如果需要自定义参数，可以直接运行聊天机器人主程序：

python inference/run_stream_chatbot_demo.py \ --ckpt_dir /path/to/llama-2-70b \ --tokenizer_path /path/to/tokenizer \ --meta_prompt_file prompts/inference_prompts/dromedary_standard_prompt_distill.txt

其中meta_prompt_file参数可选择不同的提示模板，位于prompts/inference_prompts/目录下。

四、使用聊天界面与机器人交互

启动成功后，程序会自动打开Gradio网页界面。你可以：

• 在输入框中直接键入问题或指令
• 调整参数优化输出：
  • Temperature：控制输出随机性（0.0-2.0），值越高回答越有创意
  • Top p：控制采样多样性（0.0-1.0），推荐设置0.75-0.95
  • Max new tokens：控制回答长度（32-1024）

程序提供了几个示例问题，如"Tell me about llama."和"Who is the president of US in 2021?"，你可以直接点击使用这些示例快速体验。

五、常见问题解决

5.1 模型加载缓慢

如果模型加载时间过长，可能是因为硬件配置不足。Dromedary推荐使用至少24GB显存的GPU运行。

5.2 运行时出现内存错误

尝试减少max_new_tokens参数值，或使用低配置的启动脚本（如2shards版本）。

5.3 找不到模型文件

确保你已正确下载并指定了LLaMA-2模型文件路径，模型下载脚本可参考llama_dromedary/download.sh。

通过以上步骤，你已经成功在本地搭建并运行了Dromedary聊天机器人。这个强大的AI助手不仅能回答各种问题，还遵循伦理原则，提供可靠的响应。开始探索与Dromedary的智能对话吧！

【免费下载链接】DromedaryDromedary: towards helpful, ethical and reliable LLMs.项目地址: https://gitcode.com/gh_mirrors/dr/Dromedary