基于Whisper.cpp与GPT-4的AI面试助手Cheetah：本地化实时反馈系统搭建指南

1. 项目概述与核心价值

最近在准备软件工程师面试，尤其是那些需要现场写代码的环节，总感觉压力山大。自己刷题是一回事，但模拟真实面试，尤其是面对“面试官”的追问和压力，完全是另一回事。就在我四处寻找能提供实时反馈的练习工具时，发现了 Cheetah 这个项目。它是一个运行在 macOS 上的 AI 应用，核心思路非常巧妙：利用本地语音转文字和 GPT-4 的大模型能力，在你进行模拟面试或练习时，扮演一个实时“教练”的角色。简单来说，你对着电脑说话（模拟回答面试官问题），它能“听”懂并转录，然后由 GPT-4 分析你的回答，给出提示、优化建议甚至完整答案。更厉害的是，它还能通过浏览器插件，抓取你在 LeetCode 这类在线编程平台上的实时代码和日志进行分析。这相当于把一个经验丰富的面试官和代码审查员，打包进了一个本地应用里。

对于正在备战技术面试的开发者而言，Cheetah 解决的核心痛点是“缺乏高质量的即时反馈”。自己闷头刷题，很难发现表达上的逻辑漏洞、解题思路的局限性，或者代码中的坏味道。而真人模拟面试成本又高。Cheetah 试图用 AI 填补这个空白，提供一个随时可用的、智能的陪练伙伴。它适合有一定编程基础，正在系统性准备算法、系统设计或行为面试的工程师。不过需要明确，它只是一个辅助练习工具，其生成的答案可能不完全正确或不适合所有面试场景，最终的责任和使用判断在于用户自身。

2. 核心架构与工作原理拆解

Cheetah 的整体架构可以看作一个精心设计的“音频-文本-智能”处理流水线。它的工作流程并不复杂，但每个环节的技术选型都经过了考量，以在功能、性能和隐私之间取得平衡。

2.1 音频采集与本地语音识别

这是整个流程的起点。当用户开始模拟面试并说话时，Cheetah 需要捕获这些音频。这里涉及一个关键设置：为了能同时捕获用户（候选人）和模拟面试官（可能是来自视频会议软件的另一方声音）的对话，应用推荐使用像 BlackHole 这样的虚拟音频驱动来创建聚合设备。这样，无论是你麦克风的声音，还是电脑播放的音频，都能被 Cheetah 作为一个统一的音频流捕获到。这个设计确保了后续转录能获得完整的对话上下文，对于 AI 理解“问题”和“回答”的互动关系至关重要。

捕获到的音频流随后被送入语音识别引擎。Cheetah 没有使用在线的语音识别服务（如 OpenAI 的 Whisper API），而是选择了Georgi Gerganov 的 whisper.cpp 项目，在本地运行 Whisper 模型。这是一个至关重要的设计决策，主要基于两点：

1. 低延迟与实时性：面试对话要求快速反馈。如果音频需要上传到云端处理再返回，延迟会严重影响交互体验，让“实时教练”的感觉大打折扣。本地处理几乎消除了网络延迟。
2. 隐私与数据安全：面试练习可能涉及个人信息、未公开的题目思路甚至公司内部信息。所有音频数据在本地设备上处理，完全不离开你的电脑，极大保障了隐私。这对于注重保密性的用户来说是一个巨大的优势。

whisper.cpp 是原始 OpenAI Whisper 模型的一个高效 C++ 移植版本，针对 Apple Silicon (M1/M2/M3) 芯片做了深度优化，能够利用其神经网络引擎进行加速。这也是为什么 Cheetah 要求较新的 Apple Silicon Mac 以获得最佳性能。在搭载 M 系列芯片的 Mac 上，whisper.cpp 可以实现接近实时的转录，为后续的 AI 分析提供了可能。

2.2 智能分析与交互逻辑

经过 whisper.cpp 转录得到的文本，包含了模拟面试中的问题和你的回答。这部分文本被发送给OpenAI 的 GPT-4 API（需要用户自行配置 API Key）。Cheetah 扮演的是一个“智能调度器”的角色，它会根据你的操作，构造不同的提示词（Prompt）给 GPT-4。

• “回答”模式：当你点击“Answer”按钮，应用会将当前转录的文本（通常是面试官提出的问题）作为主要输入，请求 GPT-4 生成一个解决方案或回答。这适用于你被问题卡住，需要一些启发的场景。
• “优化”模式：当你点击“Refine”按钮，应用会将已有的回答（可能是之前 GPT-4 生成的，也可能是你自己写的）连同新的上下文（比如面试官追加的限制条件，或者你选中希望详述的某部分文本）一起发送给 GPT-4，要求它进行优化、扩展或修正。
• “分析”模式：这是 Cheetah 的特色功能。当你激活浏览器插件并在 LeetCode 等平台编码时，插件会将代码编辑器的内容、运行输出/日志自动抓取并发送给 Cheetah 应用。Cheetah 再将这段代码和上下文发送给 GPT-4，请求其进行代码审查、复杂度分析、错误调试或优化建议。这相当于将 AI 编程助手深度集成到了面试练习环境中。

整个交互逻辑的核心在于Prompt Engineering。虽然项目代码中没有公开具体的提示词，但可以推断，为了模拟技术面试，提示词很可能包含了诸如“你是一位资深软件工程师，正在面试一位候选人”、“请评估以下代码的时间复杂度和空间复杂度”、“请用简洁清晰的语言解释这个算法”、“如果候选人这样说，你会如何追问？”等指令。正是这些精心设计的提示，让 GPT-4 能够扮演好“面试教练”的角色，而不仅仅是一个普通的代码生成器。

2.3 技术栈选型：为什么是 SwiftUI？

Cheetah 的客户端应用使用Swift 和 SwiftUI构建，这是一个非常贴合其目标环境的选择。

1. 原生体验与性能：作为一款 macOS 专属应用，使用 SwiftUI 可以充分利用 macOS 的原生控件和系统集成，带来流畅、符合平台习惯的用户体验。对于需要实时更新转录文本和分析结果的 UI 来说，SwiftUI 的声明式语法和响应式数据流管理起来更高效。
2. 开发生态与音频处理：macOS 和 iOS 的底层音频框架（如 AVFoundation）与 Swift 语言结合紧密，便于实现复杂的音频设备选择和流捕获逻辑。同时，集成 C++ 库（whisper.cpp）虽然需要桥接，但在 Apple 生态中也有成熟的方案。
3. 目标用户匹配：软件工程师面试者中，使用 Mac 的比例很高。用原生技术栈开发，能确保应用在最主要的用户设备上稳定、高效运行。

这个技术选型体现了开发者对“用户体验”和“环境契合度”的重视，没有为了跨平台而引入可能带来性能损耗或兼容性问题的框架。

3. 环境配置与实操搭建指南

想要运行或体验 Cheetah，你需要完成一系列环境配置。以下步骤基于官方文档，并补充了实际操作中可能遇到的细节和注意事项。

3.1 基础环境准备

首先，确保你的设备满足硬性要求：

• 硬件：搭载 Apple Silicon (M1, M2, M3 系列) 的 Mac。Intel Mac 可能可以运行，但 whisper.cpp 的性能会大打折扣，转录延迟会很高，影响使用体验。
• 系统：macOS 13.1 (Ventura) 或更高版本。
• 依赖管理工具：需要安装 Homebrew ，这是 macOS 上最常用的包管理器。

第一步：安装 Whisper.cpp 依赖Cheetah 的核心语音识别依赖于 whisper.cpp，并且要求以特定方式组织代码。打开终端，执行以下操作：

# 1. 克隆 Cheetah 项目仓库到本地 git clone https://github.com/leetcode-mafia/cheetah.git cd cheetah # 2. 克隆 whisper.cpp 到 Cheetah 项目目录的同级目录 # 假设你现在在 ~/Projects/cheetah 目录下 cd .. git clone https://github.com/ggerganov/whisper.cpp.git # 3. 返回 Cheetah 目录，安装 SDL2 库（用于音频处理） cd cheetah brew install sdl2

注意：whisper.cpp必须放在cheetah目录的同级，形成../whisper.cpp的路径关系。这是项目编译时的硬性链接要求，放错位置会导致编译失败。

第二步：构建 whisper.cpp 模型whisper.cpp 需要下载对应的语音模型文件。进入 whisper.cpp 目录进行操作：

cd ../whisper.cpp # 下载基础模型，例如 `base.en`（英语基础版），体积较小，适合快速测试 ./models/download-ggml-model.sh base.en # 如果需要更好精度，可以下载 small 或 medium 模型，但体积和计算需求会增大 # ./models/download-ggml-model.sh small.en

模型文件会下载到whisper.cpp/models目录下。Cheetah 在运行时需要指向这个模型文件。

3.2 音频回路配置详解

这是设置中最容易出错的一步，目的是让 Cheetah 能同时听到“你”和“模拟面试官”的声音。

场景假设：你正在使用 Zoom 进行一场模拟面试，你的声音通过麦克风输入 Zoom，对方（模拟面试官）的声音从你的 Mac 扬声器播放出来。你需要让 Cheetah 同时捕获这两路音频。

解决方案：使用 BlackHole 创建多输出设备

1. 安装 BlackHole：通过 Homebrew 安装是最简单的方式。

   brew install blackhole-2ch # 安装 2 声道版本，对于语音足够

   安装后，在“系统设置” -> “声音” -> “输出”和“输入”设备列表中，应该能看到 “BlackHole 2ch”。

2. 创建聚合音频设备（关键步骤）：

   • 打开 macOS 的“音频 MIDI 设置”应用（可以通过 Spotlight 搜索找到）。
   • 点击左下角的+号，选择“创建聚合设备”。
   • 在右侧的设备列表中，勾选上你的物理输出设备（如“MacBook Pro 扬声器”）和 “BlackHole 2ch”。这样，这个聚合设备就能同时接收发往扬声器和 BlackHole 的音频。
   • 你可以重命名这个聚合设备，例如 “Interview Mix”。

3. 创建多输出设备（可选但推荐）：

   • 再次点击+号，选择“创建多输出设备”。
   • 勾选你刚刚创建的“Interview Mix (聚合设备)”和你的物理输出设备（如“MacBook Pro 扬声器”）。
   • 重命名为 “Hear & Capture”。这个多输出设备的作用是：将系统音频同时发送给聚合设备（用于被 Cheetah 捕获）和你的真实扬声器（让你能听到声音）。

4. 系统音频设置：

   • 进入“系统设置” -> “声音” -> “输出”，选择你创建的“Hear & Capture (多输出设备)”作为系统输出。这样，所有系统声音（包括 Zoom 里对方的声音）都会既被你听到，又被送入聚合设备。
   • 在“输入”选项卡中，选择你的麦克风（如“MacBook Pro 麦克风”）作为系统输入。千万不要选择 BlackHole 或聚合设备作为输入，否则会产生刺耳的回音。

5. 视频会议软件设置：

   • 打开 Zoom（或 Google Meet 等）。
   • 在 Zoom 的音频设置中，扬声器选择“Hear & Capture”，麦克风选择你的物理麦克风。
   • 这样，Zoom 播放的声音会进入系统音频流（从而被“Hear & Capture”多输出设备分流），你的说话声则通过麦克风直接进入 Zoom。

最终音频流路径总结：

• 对方声音：Zoom播放 -> 系统音频 -> “Hear & Capture”多输出设备 -> （一路）你的物理扬声器（你听到），（另一路）“Interview Mix”聚合设备 -> 被 Cheetah 捕获。
• 你的声音：你的麦克风 -> Zoom / 系统输入 -> 被 Cheetah 捕获（通过系统输入设置）。

完成以上设置后，启动 Cheetah，在音频输入选择中，你应该选择那个聚合设备 “Interview Mix”。这样，Cheetah 就能同时录制到你麦克风的声音和电脑播放的所有声音了。

3.3 应用编译与运行

环境配置好后，就可以编译运行 Cheetah 了。通常 Swift 项目使用 Xcode 打开.xcodeproj或.xcworkspace文件进行编译。

# 在 Cheetah 项目根目录下 open Cheetah.xcodeproj # 或使用 .xcworkspace 如果存在

在 Xcode 中：

1. 选择你的开发团队签名（如果没有，可以选择个人账户，仅用于本地运行）。
2. 选择目标设备为 “My Mac”。
3. 点击运行按钮 (▶)。

首次运行可能会提示权限请求（麦克风访问），务必点击允许。

3.4 浏览器插件安装与配置

Cheetah 的“分析”功能依赖于浏览器插件。目前官方仅支持 Firefox。

1. 修改插件配置：在cheetah/extension/目录下找到manifest.json文件。找到"matches"字段，它是一个数组，定义了插件在哪些网站生效。你需要将你使用的在线编程平台域名添加进去。例如，对于 LeetCode：

   "matches": [ "*://*.leetcode.com/*", "*://*.leetcode.cn/*" // 如果需要 ]

   保存文件。

2. 加载临时插件：

   • 打开 Firefox 浏览器。
   • 在地址栏输入about:debugging并回车。
   • 点击左侧的“此 Firefox”。
   • 点击右侧的“临时载入附加组件”。
   • 在弹出的文件选择器中，导航到cheetah/extension/目录，选择manifest.json文件。
   • 插件即被加载。你会在 Firefox 的工具栏附近看到 Cheetah 的插件图标。

3. 使用：当你访问配置好的 LeetCode 题目页面并开始编码时，确保 Cheetah 主应用已运行。在 Cheetah 应用中点击“Analyze”按钮，插件会自动将当前页面的代码和运行日志发送给应用进行分析。

重要提示：临时加载的插件在 Firefox 重启后会失效，需要重新加载。这对于开发测试很方便，但对于日常使用稍显麻烦。可以考虑使用web-ext工具进行签名和永久安装，但这需要更复杂的步骤。

4. 核心功能使用与实战技巧

成功运行 Cheetah 后，你将面对一个简洁的 UI。理解每个功能按钮背后的设计意图和最佳使用方式，能让你事半功倍。

4.1 实时转录与对话管理

启动应用并选择正确的音频输入设备（即前面配置的聚合设备）后，你会看到实时转录的文本流。这里有几个实用技巧：

• 环境降噪：虽然 Whisper 有一定抗噪能力，但清晰、安静的音频环境能极大提高转录准确率。使用一个质量尚好的麦克风（即使是 AirPods）也会有帮助。
• 语速与清晰度：模拟面试时，尽量用正常、清晰的语速说话。过快的语速或含糊的发音会增加转录错误，进而影响 GPT-4 对问题的理解。
• 上下文片段：UI 上显示的是一小段最新的转录文本。这意味着它主要捕获“当前”对话。在进行长时间陈述后，如果觉得之前的上下文可能丢失，可以简要地复述一下问题核心或你刚才回答的要点，帮助 AI 保持对话连贯性。

4.2 “回答”、“优化”、“分析”三剑客

1. “回答”按钮：获取解题思路

   • 使用时机：当“面试官”（无论是真人还是录音）提出一个新问题，而你毫无头绪，或者想看看 AI 会如何开始时，点击此按钮。
   • 内部逻辑：Cheetah 会将最近一段时间（例如过去30秒）的转录文本作为“问题”发送给 GPT-4，并请求生成一个解决方案。提示词可能类似于：“以下是一个软件工程面试问题。请生成一个清晰、结构化的回答，包含算法思路、时间/空间复杂度分析和示例代码。”
   • 实战技巧：不要期望第一个答案就是完美的。把它看作一个“初稿”或“ brainstorming 伙伴”。它的价值在于提供不同的视角和解题入口。

2. “优化”按钮：迭代与深化

   • 使用时机：这是 Cheetah 最强大的功能之一。有两种主要用法：
     • 整体优化：当你对 GPT-4 生成的或你自己口述的答案不满意，或者“面试官”提出了新的约束（“如果数据量非常大怎么办？”、“能优化空间复杂度吗？”），直接点击“Refine”。Cheetah 会将当前完整的答案和最新的对话上下文一起发送，请求优化。
     • 局部深化：你可以用鼠标在生成的答案文本中选中一段（比如，你对其中关于“动态规划状态转移”的解释感到模糊），然后点击“Refine”。Cheetah 会专门针对你选中的这部分内容，请求 GPT-4 提供更详细、更通俗的解释或更多例子。
   • 实战技巧：模拟面试的精髓在于互动和追问。积极使用“Refine”来模拟面试官的深度追问。例如，得到一个大 O 分析后，可以手动输入或口述：“你能解释一下为什么是 O(n log k) 而不是 O(n log n) 吗？”然后点击 Refine。这能训练你应对挑战性问题的能力。

3. “分析”按钮：代码的实时审查官

   • 使用时机：当你在 LeetCode 等集成平台上编写代码、运行测试或调试时，点击此按钮。
   • 内部逻辑：浏览器插件会抓取代码编辑器中的内容、标准输出/错误以及可能的测试用例结果，将这些信息打包发送给 Cheetah，再由 Cheetah 转发给 GPT-4 请求分析。提示词可能包含：“请分析以下代码片段。指出潜在的错误、代码风格问题、时间复杂度和空间复杂度。提供优化建议。”
   • 实战技巧：
     • 分阶段分析：不要只在写完完整代码后才分析。可以在写出暴力解法后分析一次，在优化后分析一次，比较 AI 给出的反馈。
     • 关注“为什么”：AI 可能会指出“这里可以用哈希表”。不要只接受结论，试着追问（用 Refine）：“为什么在这里用哈希表比用数组更优？在什么情况下数组会更好？” 这能加深你对数据结构选择的理解。
     • 处理边界条件：故意写一些有边界错误的代码（如空数组、溢出），然后让 AI 分析，看它能否捕捉到。这是一个很好的学习测试用例设计的方法。

4.3 与 GPT-4 交互的进阶策略

Cheetah 本身是一个固定流程的应用，但你可以通过“说”和“选”的内容来间接进行 Prompt Engineering。

• 提供明确指令：在口述问题时，可以更结构化。例如：“请用 Java 编写一个函数解决这个问题。首先解释滑动窗口的思路，然后给出代码，最后分析复杂度。” 清晰的指令会让 GPT-4 的输出更符合你的需求。
• 请求特定格式：如果你在练习系统设计，可以说：“请用 bullet points 列出该系统的核心组件，并为每个组件说明其职责和关键技术选型考虑。”
• 进行对比分析：你可以描述两种不同的解法，然后问：“请比较这两种方法的优缺点，并说明在面试中阐述时应该优先选择哪一种，为什么？”
• 模拟行为面试：Cheetah 不只用于技术问题。你可以说：“请模拟一个行为面试问题：‘请描述一次你处理过的棘手项目冲突。’ 然后，在我回答后，请对我的回答给出反馈，指出哪些部分符合 STAR 原则，哪些部分可以改进。”

记住，Cheetah 是你思维的延伸和碰撞对象，而不是答案的复制机。它的价值在于激发你的思考，暴露你知识体系的盲区，并通过即时反馈形成学习闭环。

5. 常见问题、故障排查与性能调优

在实际使用 Cheetah 的过程中，你可能会遇到一些问题。以下是一些常见情况的排查思路和解决方案。

5.1 音频与转录问题

5.2 应用功能与集成问题

5.3 性能优化与资源管理

• 模型选择权衡：whisper.cpp提供了从tiny到large多种模型。tiny/base模型速度最快，占用资源少，但转录精度，尤其是对于专业术语或复杂句子，会有所下降。small/medium模型精度显著提升，但计算开销大。对于面试练习场景，base.en模型在 Apple Silicon Mac 上通常是速度与精度的最佳平衡点。你可以在whisper.cpp目录下尝试不同模型，并在 Cheetah 的代码或配置中（如果支持）指定模型路径。
• 管理 API 成本：频繁使用“回答”和“优化”功能会消耗 OpenAI API 的 token，产生费用。为了控制成本：
  • 练习时集中思考：先自己独立思考几分钟，组织好语言再开始录音和求助 AI，避免漫无目的的连续点击。
  • 善用“局部优化”：比起总是生成全新答案，针对特定模糊点使用“选中后 Refine”，通常消耗的 token 更少。
  • 设置使用预算：在 OpenAI 账户后台设置软性预算限制，防止意外超额。
• 心理预期管理：Cheetah 是一个强大的练习工具，但它不是万能的。GPT-4 可能生成看似正确但存在细微错误的代码，或者给出不符合特定公司面试风格的过于教科书式的答案。始终用批判性思维看待其输出。把它当作一个起点，而不是终点。它的核心价值在于提供“第二视角”和引发深度思考，最终的答案理解和内化，必须靠你自己完成。

通过系统地排查和优化，你可以让 Cheetah 更稳定、高效地服务于你的面试准备，真正成为一个得力的 AI 陪练。