当前位置：首页 > news >正文

开源AI搜索引擎品牌监测工具：从零搭建自动化提及追踪系统

news 2026/5/28 5:35:46

1. 项目概述：为什么你需要一个AI搜索引擎品牌提及监测工具

最近和几个做品牌营销的朋友聊天，大家不约而同地提到了同一个焦虑：现在用户找信息，越来越多地开始用ChatGPT、Perplexity、Claude这些AI搜索引擎了。过去我们做SEO，盯着Google Search Console看排名、看点击，现在这套玩法好像有点不够用了。一个用户问AI：“帮我推荐几款适合户外露营的便携咖啡机”，AI的回答里如果提到了你的品牌，那可能就是一次精准的曝光；如果没提，或者更糟，提了你的竞品，那你就完全错过了这个机会。问题是，你怎么知道AI有没有在“说”你呢？

这就是今天要聊的这个开源工具要解决的核心痛点：自动化、低成本地监测你的品牌在主流AI搜索引擎回答中的被提及情况。它不是一个复杂的商业软件，而是一个你可以自己部署、完全掌控的脚本工具。想象一下，你不再需要手动去每个AI平台反复提问、截屏对比，而是设置好一批与你品牌和产品相关的关键词，让工具定时去“问”AI，并把结果记录下来、分析出来。这对于预算有限的中小团队、独立开发者或是想深入理解AI内容生成规律的营销人员来说，价值巨大。

这个工具的本质，是模拟真实用户提问，并解析AI返回的答案。它不涉及任何复杂的模型训练或数据挖掘，而是巧妙地利用现有AI服务的公开接口或Web界面，实现“提问-抓取-分析”的自动化流程。接下来，我会拆解它的核心设计思路、手把手教你如何部署配置，并分享我在搭建和运行这类工具时踩过的坑和总结的经验。

2. 核心设计思路与方案选型

2.1 需求拆解：我们要监测什么？

在动手写代码或找工具之前，得先想清楚我们要什么。监测AI搜索引擎的品牌提及，至少包含以下几个层面：

存在性监测：品牌名、产品名、核心商标词是否出现在AI的答案中？这是最基础的二进制问题（有/没有）。
上下文情感与关联监测：AI是在正面推荐、中性介绍还是负面评价你的品牌？它是否将你的品牌与正确的产品类别、使用场景关联起来？比如，AI说“XX品牌的咖啡机以耐用著称”和“XX品牌咖啡机曾有漏电报告”，天差地别。
竞品对比监测：当问题涉及对比或推荐时，你的品牌是否被列入选项？如果被列入，排在第几位？AI陈述了哪些你相对于竞品的优劣势？
事实准确性监测：AI关于你品牌的产品参数、服务条款、历史事件的描述是否准确？有没有“AI幻觉”出来的错误信息？

对于一个初始的、免费的开源工具，我们通常优先解决第1点，并尽可能触及第2点和第3点。第4点对数据源和验证逻辑要求极高，初期可以暂缓。

2.2 技术方案选型：爬虫 vs. 官方API

要实现自动化提问和答案抓取，主要有两条路：

方案A：基于Web自动化（如Selenium, Playwright）的爬虫这种方法模拟真实用户在浏览器中的操作：打开AI搜索引擎网页（如ChatGPT Web版、Perplexity网页版），输入问题，等待答案生成，然后从网页HTML中提取答案文本。

优点：通用性强。只要这个AI服务有网页版，理论上就能抓。不受官方API限制。
缺点：
- 稳定性差：网页结构一旦更新，提取规则就可能失效，需要频繁维护。
- 效率低：需要加载完整的浏览器环境，速度慢，资源消耗大。
- 有封禁风险：频繁的自动化访问容易被网站识别为机器人，导致IP或账号被封。
- 伦理与合规风险：可能违反目标网站的服务条款。

方案B：利用官方API（如OpenAI API, Anthropic Claude API）直接调用AI模型提供商开放的应用程序接口发送请求并获取结构化的响应。

优点：
- 稳定可靠：接口规范，响应格式固定，不易出错。
- 高效快速：无需渲染页面，直接传输数据，速度快。
- 功能强大：通常可以指定模型、调整参数，获得更可控的输出。
- 合规：在API使用条款框架内操作。
缺点：
- 成本：需要付费（虽然监测类请求量通常不大，但仍有成本）。
- 覆盖窄：只能覆盖提供API的服务。很多新兴的、或集成了多个模型的AI搜索引擎（如Perplexity早期）可能没有公开的同等功能API。

我们的选择与理由对于一个追求“免费”和“开源”的工具，理想的状态是混合模式，并优先考虑无头浏览器（Headless Browser）方案的优化版本。理由如下：

成本为零：无需为API调用付费，适合长期、高频次监测。
覆盖度最大化：可以监测任何有公开界面的AI搜索平台，包括那些没有开放API的。
社区驱动：开源工具的优势在于，当某个网站改版导致抓取失败时，社区用户可以共同更新选择器规则，贡献修复代码。

但纯爬虫的缺点必须克服。因此，核心设计思路是：使用更轻量、更现代的Playwright替代传统的Selenium，结合智能等待、随机延迟和用户代理（User-Agent）轮换等反侦测策略，构建一个健壮、可维护的监测爬虫。同时，在代码架构上预留API接口的接入能力，如果用户自己有某个服务的API密钥，可以更方便地切换或混合使用。

2.3 工具架构预览

一个完整的监测工具至少包含以下模块：

问题管理模块：管理你要提问的“问题清单”。例如：[“{Brand}是什么？”，“推荐一款{Brand}的产品”，“{Brand}和{Competitor}哪个好？”]。支持变量替换（如{Brand}替换为你的实际品牌名）。
任务调度与执行引擎：负责按计划（如每天一次）或手动触发，依次向指定的AI搜索引擎（可配置多个）发送问题列表中的问题。
答案抓取与解析器：对于每个问题-答案对，从返回的页面或API响应中，准确提取出纯文本答案。这是最易出错的部分，需要针对每个目标网站编写特定的解析规则。
分析与存储模块：将抓取到的答案进行初步分析（如：是否包含品牌关键词、情感倾向初判），并将原始问题、答案、时间戳、来源等信息结构化地存储下来（如存入SQLite数据库或JSON文件）。
结果通知与可视化模块：当发现品牌被提及（尤其是新提及或情感变化）时，通过邮件、Slack等方式发送通知。同时，提供一个简单的Web界面或生成报告，展示监测历史。

3. 实操搭建：从零部署你的监测工具

假设我们给这个工具起名叫“AIBrandMention Scout”。下面我将以Python为核心，使用Playwright，带你一步步搭建一个最小可行版本。

3.1 环境准备与依赖安装

首先，确保你的机器上安装了Python（建议3.8以上版本）。然后，我们创建一个新的项目目录并初始化虚拟环境，这能有效隔离依赖。

# 创建项目目录 mkdir ai-brand-mention-scout cd ai-brand-mention-scout # 创建虚拟环境（以venv为例） python -m venv venv # 激活虚拟环境 # Windows: venv\Scripts\activate # Linux/Mac: source venv/bin/activate # 安装核心依赖 pip install playwright beautifulsoup4 pandas schedule # 安装Playwright的浏览器驱动 playwright install chromium

依赖说明：

playwright: 用于自动化浏览器操作，执行“提问-抓取”流程。
beautifulsoup4: 一个HTML解析库，辅助从复杂的页面结构中提取答案文本。虽然Playwright有自己的选择器，但BS4在处理不规则HTML时更灵活。
pandas: 用于数据处理和分析，方便我们将结果转为表格或进行简单统计。
schedule: 一个轻量级的任务调度库，用于设置定时任务（如每天上午10点运行一次）。

注意：playwright install会下载Chromium浏览器，可能需要一些时间，请确保网络通畅。选择Chromium是因为它足够轻量且兼容性好。

3.2 核心代码编写：抓取引擎

我们首先实现一个针对单个AI搜索引擎（以Perplexity.ai为例）的抓取器。为什么选Perplexity？因为它本身就是一个集成了实时搜索的AI问答引擎，答案风格具有代表性，且其网页结构相对清晰。

创建一个文件scout_core.py：

import asyncio from playwright.async_api import async_playwright import re import time import random from bs4 import BeautifulSoup class AISearchScout: def __init__(self, headless=True): self.headless = headless # 可以准备一组不同的User-Agent来模拟不同浏览器 self.user_agents = [ "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 ...", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 ...", # ... 更多UA ] async def ask_perplexity(self, question, timeout=60000): """ 向Perplexity.ai提问并获取答案 :param question: 问题字符串 :param timeout: 超时时间（毫秒） :return: 答案文本，如果失败返回None """ answer = None async with async_playwright() as p: # 随机选择User-Agent user_agent = random.choice(self.user_agents) browser = await p.chromium.launch(headless=self.headless) context = await browser.new_context(user_agent=user_agent) page = await context.new_page() try: # 1. 导航到Perplexity.ai await page.goto('https://www.perplexity.ai/', wait_until='networkidle') # 随机等待，模拟人类阅读 await asyncio.sleep(random.uniform(2, 5)) # 2. 定位搜索输入框并输入问题 # 注意：选择器可能需要根据网站更新而调整！这是最容易失效的部分。 input_selector = 'textarea[placeholder*="Ask"]' # 这是一个示例，实际需检查 await page.fill(input_selector, question) await asyncio.sleep(random.uniform(1, 2)) # 3. 点击提交按钮或按回车 await page.press(input_selector, 'Enter') # 4. 等待答案生成。这里需要找到一个稳定的“答案加载完成”的标识。 # 例如，等待某个特定的答案容器出现，或者等待“正在思考”的提示消失。 # 这里使用一个等待文本出现的示例，实际需要更精确的选择器。 answer_container_selector = '.prose' # 示例选择器，Perplexity答案通常在一个.prose容器内 await page.wait_for_selector(answer_container_selector, timeout=timeout) # 可选：等待一段时间确保答案完全加载（特别是长答案） await asyncio.sleep(random.uniform(3, 7)) # 5. 获取答案区域的HTML内容 answer_html = await page.inner_html(answer_container_selector) # 6. 使用BeautifulSoup清理和提取纯文本 soup = BeautifulSoup(answer_html, 'html.parser') # 移除脚本、样式等无用标签 for script in soup(["script", "style", "button", "svg"]): script.decompose() answer = soup.get_text(separator='\n', strip=True) # 简单清理多余空行 answer = '\n'.join([line.strip() for line in answer.split('\n') if line.strip()]) except Exception as e: print(f"在询问Perplexity时出错: {e}") # 可以在这里截图用于调试 # await page.screenshot(path=f'error_{int(time.time())}.png') finally: await browser.close() return answer # 同步函数包装，便于在非异步环境中调用 def ask_perplexity_sync(question): scout = AISearchScout(headless=True) # 生产环境建议用headless=True return asyncio.run(scout.ask_perplexity(question)) if __name__ == '__main__': # 测试一下 test_question = "What are the best features of the iPhone 15?" result = ask_perplexity_sync(test_question) print("问题:", test_question) print("答案预览:", result[:500] if result else "No answer fetched")

关键点解析：

随机延迟 (asyncio.sleep(random.uniform(...))): 这是反侦测的基础。在关键操作（如页面加载后、输入前后、提交后）插入随机时长的等待，让访问模式更接近真人。
选择器 (input_selector,answer_container_selector): 这是整个抓取链中最脆弱的环节。网页UI的任何改动都可能导致选择器失效。因此，代码中需要清晰的注释，并考虑将选择器提取到外部配置文件，方便维护。
等待策略 (wait_for_selector): 不能使用固定的sleep等待答案，必须等待代表答案已出现的特定元素加载完成。这提高了效率和稳定性。
文本清理: 使用BeautifulSoup提取纯文本，去除所有HTML标签和无关元素，得到干净的答案内容。

3.3 构建问题管理与分析流程

接下来，我们创建主逻辑文件main.py，用于管理问题列表、调度任务、分析结果并存储。

import json import sqlite3 from datetime import datetime from scout_core import ask_perplexity_sync import pandas as pd class BrandMentionMonitor: def __init__(self, config_path='config.json'): self.load_config(config_path) self.init_db() def load_config(self, path): with open(path, 'r') as f: config = json.load(f) self.brand_name = config['brand_name'] self.keywords = config.get('keywords', [self.brand_name]) # 监测关键词 self.questions = config['questions'] # 问题模板列表 self.search_engines = config.get('search_engines', ['perplexity']) # 可扩展 def init_db(self): conn = sqlite3.connect('mentions.db') c = conn.cursor() c.execute(''' CREATE TABLE IF NOT EXISTS mentions ( id INTEGER PRIMARY KEY AUTOINCREMENT, timestamp TEXT NOT NULL, search_engine TEXT NOT NULL, question TEXT NOT NULL, raw_answer TEXT NOT NULL, contains_brand INTEGER, -- 0/1 keyword_found TEXT, -- 逗号分隔的关键词 sentiment_score REAL, -- 简易情感分数，可后续实现 created_at TEXT DEFAULT CURRENT_TIMESTAMP ) ''') conn.commit() conn.close() def generate_questions(self): """用品牌名替换问题模板中的占位符""" generated = [] for template in self.questions: # 简单替换，可以根据需要做更复杂的模板引擎 question = template.replace('{brand}', self.brand_name) generated.append(question) return generated def analyze_answer(self, answer_text): """分析答案，检查品牌提及和关键词""" if not answer_text: return {'contains_brand': 0, 'keywords_found': []} answer_lower = answer_text.lower() brand_lower = self.brand_name.lower() contains_brand = 1 if brand_lower in answer_lower else 0 keywords_found = [] for kw in self.keywords: if kw.lower() in answer_lower: keywords_found.append(kw) # 这里可以集成更复杂的情感分析（如使用TextBlob，但会增加依赖） # sentiment_score = self.simple_sentiment(answer_text) return { 'contains_brand': contains_brand, 'keywords_found': ', '.join(keywords_found) if keywords_found else '', # 'sentiment_score': sentiment_score } def run_once(self): """执行一次完整的监测任务""" questions_to_ask = self.generate_questions() print(f"[{datetime.now()}] 开始执行监测，共{len(questions_to_ask)}个问题。") for question in questions_to_ask: print(f" 正在处理: {question}") # 目前只实现Perplexity，可扩展循环多个引擎 answer = ask_perplexity_sync(question) if answer: analysis = self.analyze_answer(answer) self.save_to_db('perplexity', question, answer, analysis) print(f" 结果: 品牌提及 - {'是' if analysis['contains_brand'] else '否'}, 关键词 - {analysis['keywords_found']}") else: print(f" 警告: 未能获取答案") # 问题间间隔，避免请求过快 import time time.sleep(random.uniform(10, 20)) print(f"[{datetime.now()}] 监测任务完成。") def save_to_db(self, engine, question, answer, analysis): conn = sqlite3.connect('mentions.db') c = conn.cursor() c.execute(''' INSERT INTO mentions (timestamp, search_engine, question, raw_answer, contains_brand, keyword_found) VALUES (?, ?, ?, ?, ?, ?) ''', (datetime.now().isoformat(), engine, question, answer, analysis['contains_brand'], analysis['keywords_found'])) conn.commit() conn.close() def generate_report(self, days=7): """生成过去N天的简易报告""" conn = sqlite3.connect('mentions.db') query = f""" SELECT timestamp, search_engine, question, contains_brand, keyword_found FROM mentions WHERE date(timestamp) >= date('now', '-{days} days') ORDER BY timestamp DESC """ df = pd.read_sql_query(query, conn) conn.close() if df.empty: print("过去{}天内无数据。".format(days)) return total_questions = len(df) mention_rate = df['contains_brand'].mean() * 100 print(f"\n=== 过去{days}天品牌提及监测报告 ===") print(f"总提问数: {total_questions}") print(f"品牌提及率: {mention_rate:.2f}%") print(f"\n提及详情:") for _, row in df[df['contains_brand']==1].iterrows(): print(f" - [{row['timestamp']}] {row['question']} (关键词: {row['keyword_found']})") # 可以将报告保存为CSV或HTML df.to_csv(f'report_{datetime.now().strftime("%Y%m%d")}.csv', index=False) if __name__ == '__main__': import random monitor = BrandMentionMonitor('config.json') # 单次运行 monitor.run_once() # 生成报告 monitor.generate_report(1)

同时，创建一个配置文件config.json：

{ "brand_name": "Yeti", "keywords": ["Yeti", "Yeti cooler", "Yeti tumbler"], "questions": [ "What is {brand} known for?", "Is {brand} a good brand for coolers?", "Compare {brand} and Igloo coolers.", "Where can I buy a {brand} Rambler?", "Are {brand} products worth the high price?" ], "search_engines": ["perplexity"] }

3.4 实现定时任务与简易通知

为了让工具自动运行，我们使用schedule库。修改main.py或创建一个新的scheduler.py：

import schedule import time from main import BrandMentionMonitor def job(): print(f"[{datetime.now()}] 定时任务启动...") monitor = BrandMentionMonitor('config.json') monitor.run_once() # 可以在这里添加发送通知的逻辑，比如如果今天有提及就发邮件 print(f"[{datetime.now()}] 定时任务完成。") if __name__ == '__main__': # 每天上午10点运行 schedule.every().day.at("10:00").do(job) # 也可以每小时运行 schedule.every().hour.do(job) print("监测调度器已启动，按 Ctrl+C 退出。") while True: schedule.run_pending() time.sleep(60) # 每分钟检查一次

对于通知，一个简单的邮件通知函数可以这样写（需要配置SMTP）：

import smtplib from email.mime.text import MIMEText from email.header import Header def send_email_notification(subject, body, to_addr): # 这里需要你配置自己的SMTP服务器信息 smtp_server = 'smtp.your-email-provider.com' port = 587 from_addr = 'your-email@example.com' password = 'your-password' # 强烈建议使用应用专用密码 msg = MIMEText(body, 'plain', 'utf-8') msg['From'] = Header(from_addr) msg['To'] = Header(to_addr) msg['Subject'] = Header(subject) try: server = smtplib.SMTP(smtp_server, port) server.starttls() server.login(from_addr, password) server.sendmail(from_addr, [to_addr], msg.as_string()) server.quit() print("通知邮件发送成功") except Exception as e: print(f"发送邮件失败: {e}")

然后在run_once方法结束后，根据分析结果决定是否调用通知函数。

4. 部署、优化与避坑指南

4.1 部署到服务器

要让工具7x24小时运行，你需要一台云服务器（如AWS EC2、DigitalOcean Droplet、或国内的阿里云ECS）或一个可靠的树莓派。

环境准备：在服务器上同样安装Python、依赖和Playwright浏览器。
代码上传：将你的项目文件夹上传到服务器。

进程守护：使用systemd或supervisor来管理你的Python脚本，确保它崩溃后能自动重启。下面是一个简单的systemd服务文件示例 (/etc/systemd/system/ai-brand-scout.service)：

[Unit] Description=AI Brand Mention Scout After=network.target [Service] Type=simple User=your_username WorkingDirectory=/path/to/your/ai-brand-mention-scout ExecStart=/path/to/your/ai-brand-mention-scout/venv/bin/python /path/to/your/ai-brand-mention-scout/scheduler.py Restart=on-failure RestartSec=10 [Install] WantedBy=multi-user.target

然后使用sudo systemctl start ai-brand-scout启动服务。

4.2 核心优化点

选择器容错与维护：
- 不要依赖绝对路径：避免使用div > div:nth-child(3) > span这类脆弱的选择器。优先使用具有唯一性的id、># selectors.yaml perplexity: input_box: ['textarea[placeholder*="Ask"]', 'textarea[class*="search"]'] answer_container: ['.prose', 'main div:last-child', '[data-testid="answer-content"]']
- 反侦测策略升级：
  - 代理IP池：如果监测频率高，考虑使用代理IP轮换，避免单一IP被封。可以集成一些免费的代理API，但免费代理的稳定性堪忧，商业项目建议用付费服务。
  - 更人性化的行为模式：除了随机延迟，还可以模拟鼠标移动、滚动页面等行为。Playwright提供了page.mouse.move()等方法。
  - Cookie与会话管理：对于需要登录的AI服务（如ChatGPT Plus），你需要处理Cookie的持久化。Playwright的context.storage_state()可以保存和恢复登录状态。
- 答案解析的鲁棒性：
  - AI的答案格式可能多变（可能包含Markdown、代码块、列表）。除了提取纯文本，可以考虑保留一些基础格式（如段落），或针对特定网站编写更精细的清理规则。
  - 处理分页/连续对话：有些AI界面是连续对话，答案可能分多次加载。需要监测“停止生成”按钮或监听网络请求结束。
- 分析能力增强：
  - 集成轻量NLP库：使用TextBlob或VADER进行简单的情感分析，判断提及的正面/中性/负面倾向。
  - 竞品同框分析：在分析模块中，不仅检查自己的品牌，也检查配置的竞品列表，分析在同一个答案中，品牌与竞品被同时提及的频率和语境。
  - 事实核查：对于关键事实（如产品价格、发布日期），可以与你维护的真实数据库进行比对，标记可能存在的AI幻觉。

4.3 常见问题与排查技巧

问题1：脚本运行一段时间后抓不到数据了，返回空白或错误。

排查：首先检查选择器是否失效。手动打开目标网站，使用浏览器的开发者工具（F12）检查输入框和答案区域的HTML结构是否变化。更新选择器配置文件。
检查：网站是否出现了验证码（CAPTCHA）？如果是，说明你的访问模式已被识别为机器人。你需要大幅降低请求频率，增加随机延迟，并考虑使用更复杂的反反爬策略（如上述的代理IP、行为模拟），或者寻找是否有官方的、允许自动化的接口。
查看日志和截图：在代码的异常捕获块中，启用截图功能（await page.screenshot(path='debug.png')），这能帮你直观看到失败时页面停在哪一步。

问题2：抓取速度太慢，一个循环要跑很久。

优化：
- 并行处理：如果监测多个独立的问题或搜索引擎，可以使用asyncio.gather进行并发请求，但务必谨慎，避免对目标服务器造成过大压力。
- 减少不必要的等待：精确调整wait_for_selector的超时时间，并优化选择器使其能更快定位到元素。
- 无头模式：确保生产环境使用headless=True。
- 硬件：确保运行脚本的服务器有足够的内存和CPU。

问题3：数据库里存储的答案文本杂乱，包含很多无关字符或HTML标签。

解决：强化你的文本清理函数。除了BeautifulSoup，可以使用正则表达式（re库）移除特定的广告文本、版权声明等。建立一个针对每个目标网站的“噪音词/模式”过滤列表。

问题4：如何扩展支持新的AI搜索引擎（如ChatGPT Web, Claude.ai）？

步骤：
1. 在scout_core.py中新增一个类似ask_chatgpt_web的异步方法。
2. 手动分析该网站的页面结构，找到稳定的选择器，并处理其可能的登录流程、对话初始化等。
3. 将新引擎的名称添加到配置文件的search_engines列表中。
4. 在主循环中，根据配置决定调用哪个引擎的方法。
5. 重要：每个网站的交互逻辑可能差异很大（如有的需要先点击“新对话”按钮），需要单独适配。

4.4 伦理、法律与可持续性考量

在运行这样一个自动化工具时，必须时刻牢记：

尊重服务条款：仔细阅读你所要监测的AI搜索引擎的服务条款。明确禁止自动化访问的网站，强行抓取存在法律风险。本工具更多是作为一种技术探索和个人研究手段，不应用于大规模、商业化的爬取行为。
控制访问频率：将请求间隔设置得足够长（如每分钟不超过1-2次请求），模拟人类用户的正常访问速度，避免对目标服务器造成负担。
数据使用：收集到的数据应用于个人或企业内部的分析和洞察，切勿公开传播或用于诋毁、误导等不当用途。
明确免责：在开源项目的README中，应明确说明该工具仅用于教育和技术研究目的，使用者需自行承担风险，并遵守相关网站的规定。

这个工具是一个起点。它让你能以极低的成本，开始系统地了解你的品牌在AI世界中的“能见度”。通过持续运行和迭代，你不仅能获得提及数据，更能深入理解不同AI模型如何“看待”和“描述”你的行业与产品，从而为你的内容策略、SEO和公关提供前所未有的数据支撑。真正的价值不在于工具本身，而在于你通过它持续观察、分析和行动的过程。

查看全文

http://www.jsqmd.com/news/901247/