从零开始掌握小红书数据采集：xhs库的5大实战应用场景

从零开始掌握小红书数据采集：xhs库的5大实战应用场景

【免费下载链接】xhs基于小红书 Web 端进行的请求封装。https://reajason.github.io/xhs/项目地址: https://gitcode.com/gh_mirrors/xh/xhs

你是否曾经想过如何批量获取小红书上的热门内容？或者想要分析某个领域的流行趋势？今天我将为你介绍一个强大的Python工具——xhs库，它能让你轻松实现小红书数据的自动化采集和处理。无论你是内容创作者、市场分析师还是数据爱好者，这个工具都能为你打开小红书数据挖掘的大门。

为什么需要小红书数据采集？

在当今的内容生态中，小红书已经成为品牌营销和用户洞察的重要平台。但手动收集数据不仅效率低下，而且难以进行大规模分析。xhs库的出现，正好解决了这个问题。

传统方法 vs xhs库对比

一、快速上手：xhs库的基础安装与配置

环境准备与安装

开始使用xhs库非常简单，只需要几个命令就能完成环境搭建：

# 安装xhs库 pip install xhs # 安装必要的依赖 pip install playwright requests # 安装浏览器环境 playwright install

获取必要的认证信息

要使用xhs库，你需要获取小红书的cookie信息。这是访问API的必要凭证：

1. 登录小红书网页版
2. 打开浏览器开发者工具（F12）
3. 在Network标签页中找到任意请求
4. 复制请求头中的Cookie字段

基础使用示例

让我们来看一个简单的例子，获取单篇笔记的详细信息：

from xhs import XhsClient # 初始化客户端 cookie = "your_cookie_here" xhs_client = XhsClient(cookie) # 获取笔记详情 note_id = "6505318c000000001f03c5a6" note = xhs_client.get_note_by_id(note_id, "xsec_token") print(f"笔记标题：{note['title']}") print(f"作者：{note['user']['nickname']}") print(f"点赞数：{note['likes']}")

二、核心功能详解：xhs库的五大应用场景

场景一：内容趋势分析

通过xhs库，你可以轻松获取小红书首页推荐流，分析当前的热门内容趋势：

from xhs import XhsClient, FeedType # 获取不同分类的热门内容 feed_types = [ FeedType.RECOMMEND, # 推荐 FeedType.FASION, # 穿搭 FeedType.FOOD, # 美食 FeedType.COSMETICS, # 彩妆 FeedType.TRAVEL # 旅行 ] for feed_type in feed_types: home_feed = xhs_client.get_home_feed(feed_type) print(f"{feed_type.name}: 获取到{len(home_feed.get('items', []))}条内容")

场景二：用户行为研究

深入了解用户关注点和互动模式：

# 获取用户信息 user_info = xhs_client.get_user_info("user_id_here") print(f"用户昵称：{user_info['nickname']}") print(f"粉丝数：{user_info['fans']}") print(f"获赞数：{user_info['liked']}") # 获取用户发布的笔记 user_notes = xhs_client.get_user_notes("user_id_here") for note in user_notes.get('items', []): print(f"笔记：{note['title']} - 点赞：{note['likes']}")

场景三：关键词搜索与竞品分析

快速找到特定主题的内容，进行竞品分析：

from xhs import SearchSortType, SearchNoteType # 搜索特定关键词的笔记 keyword = "Python编程" search_results = xhs_client.get_note_by_keyword( keyword=keyword, page=1, page_size=20, sort=SearchSortType.GENERAL, note_type=SearchNoteType.ALL ) print(f"找到 {len(search_results.get('items', []))} 条关于'{keyword}'的笔记")

场景四：评论情感分析

通过获取笔记评论，进行用户情感分析：

# 获取笔记评论 note_comments = xhs_client.get_note_comments(note_id="note_id_here") comments = note_comments.get('comments', []) # 简单的评论分析 positive_words = ["好", "喜欢", "推荐", "棒", "实用"] negative_words = ["差", "不好", "失望", "贵", "难用"] positive_count = 0 negative_count = 0 for comment in comments: content = comment['content'].lower() if any(word in content for word in positive_words): positive_count += 1 elif any(word in content for word in negative_words): negative_count += 1 print(f"正面评论：{positive_count}条") print(f"负面评论：{negative_count}条")

场景五：自动化内容管理

对于内容创作者，xhs库还提供了发布和管理功能：

# 发布图片笔记 xhs_client.create_image_note( title="我的Python学习笔记", desc="今天学习了数据采集技术，分享给大家！", files=["image1.jpg", "image2.jpg"], topics=["Python", "编程", "学习"], is_private=False )

三、实战案例：构建小红书数据分析系统

案例背景

假设你是一家美妆品牌的市场分析师，需要监控竞品在小红书上的表现，分析用户反馈，优化自己的营销策略。

实施步骤

1. 数据采集层

   • 使用xhs库定时采集竞品相关内容
   • 收集用户评论和互动数据
   • 跟踪热门话题和趋势

2. 数据处理层

   • 清洗和整理采集的数据
   • 提取关键指标（点赞、收藏、评论数）
   • 进行文本情感分析

3. 分析展示层

   • 生成竞品分析报告
   • 可视化数据趋势
   • 提供决策支持

完整代码示例

import json from datetime import datetime from xhs import XhsClient class XhsCompetitorAnalyzer: def __init__(self, cookie): self.client = XhsClient(cookie) self.competitors = [] # 竞品账号列表 def track_competitor(self, user_id): """跟踪竞品账号表现""" user_info = self.client.get_user_info(user_id) user_notes = self.client.get_user_notes(user_id) analysis = { "user_id": user_id, "nickname": user_info.get("nickname"), "fans": user_info.get("fans"), "notes": [], "analysis_time": datetime.now().isoformat() } for note in user_notes.get("items", []): note_data = { "title": note.get("title"), "likes": note.get("likes"), "collects": note.get("collects"), "comments": note.get("comments"), "publish_time": note.get("time") } analysis["notes"].append(note_data) return analysis def analyze_trends(self, keyword, days=7): """分析关键词趋势""" # 这里可以扩展为按时间范围搜索 results = self.client.get_note_by_keyword( keyword=keyword, page=1, page_size=50 ) trend_data = { "keyword": keyword, "total_notes": results.get("has_more", 0), "avg_likes": 0, "top_notes": [] } # 计算平均点赞数 notes = results.get("items", []) if notes: total_likes = sum(note.get("likes", 0) for note in notes) trend_data["avg_likes"] = total_likes / len(notes) # 获取点赞最多的笔记 top_notes = sorted(notes, key=lambda x: x.get("likes", 0), reverse=True)[:5] trend_data["top_notes"] = [ {"title": note.get("title"), "likes": note.get("likes")} for note in top_notes ] return trend_data

四、进阶技巧：优化采集效率与稳定性

1. 签名服务部署

对于大规模采集，建议使用独立的签名服务：

# 使用Docker部署签名服务 # docker run -it -d -p 5005:5005 reajason/xhs-api:latest # 客户端配置 from xhs import XhsClient def custom_sign(uri, data=None, a1="", web_session=""): # 调用远程签名服务 import requests response = requests.post( "http://localhost:5005/sign", json={"uri": uri, "data": data, "a1": a1, "web_session": web_session} ) return response.json() xhs_client = XhsClient(cookie, sign=custom_sign)

2. 错误处理与重试机制

import time from xhs.exception import DataFetchError, IPBlockError def safe_request(func, max_retries=3, delay=2): """安全的请求包装器""" for attempt in range(max_retries): try: return func() except (DataFetchError, IPBlockError) as e: if attempt == max_retries - 1: raise print(f"请求失败，{delay}秒后重试... ({attempt + 1}/{max_retries})") time.sleep(delay * (attempt + 1)) return None # 使用示例 result = safe_request( lambda: xhs_client.get_note_by_id(note_id, xsec_token), max_retries=5, delay=3 )

3. 数据存储优化

import sqlite3 import pandas as pd from datetime import datetime class XhsDataStorage: def __init__(self, db_path="xhs_data.db"): self.conn = sqlite3.connect(db_path) self._create_tables() def _create_tables(self): """创建数据表""" cursor = self.conn.cursor() # 笔记表 cursor.execute(""" CREATE TABLE IF NOT EXISTS notes ( id TEXT PRIMARY KEY, title TEXT, user_id TEXT, likes INTEGER, collects INTEGER, comments INTEGER, content TEXT, publish_time DATETIME, created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP ) """) # 用户表 cursor.execute(""" CREATE TABLE IF NOT EXISTS users ( user_id TEXT PRIMARY KEY, nickname TEXT, fans INTEGER, liked INTEGER, notes_count INTEGER, updated_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP ) """) self.conn.commit() def save_note(self, note_data): """保存笔记数据""" cursor = self.conn.cursor() cursor.execute(""" INSERT OR REPLACE INTO notes (id, title, user_id, likes, collects, comments, content, publish_time) VALUES (?, ?, ?, ?, ?, ?, ?, ?) """, ( note_data["id"], note_data["title"], note_data["user"]["user_id"], note_data["likes"], note_data["collects"], note_data["comments"], note_data["desc"], datetime.fromtimestamp(note_data["time"] / 1000) )) self.conn.commit()

五、避坑指南：常见问题与解决方案

问题1：签名失败或Cookie过期

症状：请求返回401或403错误解决方案：

1. 检查Cookie是否有效，重新登录获取
2. 确保签名服务正常运行
3. 验证a1和web_session参数是否正确

问题2：请求频率过高被限制

症状：返回429错误或IP被暂时封禁解决方案：

1. 增加请求间隔时间
2. 使用代理IP轮换
3. 实现指数退避重试机制

import random import time def rate_limited_request(func, min_delay=1, max_delay=3): """带随机延迟的请求""" time.sleep(random.uniform(min_delay, max_delay)) return func()

问题3：数据解析错误

症状：返回的数据格式不符合预期解决方案：

1. 检查API接口是否有更新
2. 添加数据验证和异常处理
3. 使用try-except捕获解析异常

问题4：内存消耗过大

症状：处理大量数据时程序变慢或崩溃解决方案：

1. 使用分页获取数据
2. 实现流式处理
3. 定期清理内存

六、合规使用建议

在使用xhs库进行数据采集时，请务必遵守以下原则：

法律合规性

1. 尊重版权：采集的内容仅用于个人学习或研究，不得用于商业用途
2. 保护隐私：不得收集和使用用户隐私信息
3. 遵守平台规则：遵守小红书用户协议和API使用条款

技术伦理

1. 合理请求频率：避免对小红书服务器造成过大压力
2. 数据最小化：只采集必要的数据
3. 透明告知：如果用于研究，应在成果中注明数据来源

最佳实践

1. 设置合理的请求间隔（建议≥3秒）
2. 使用用户代理标识自己的爬虫
3. 实现错误处理和日志记录
4. 定期更新代码以适应API变化

开始你的小红书数据之旅

xhs库为Python开发者提供了一个强大而灵活的工具，让你能够轻松接入小红书的数据生态。无论你是想进行市场研究、竞品分析，还是构建自己的内容管理工具，这个库都能为你提供坚实的基础。

记住，技术是工具，合规使用是关键。在享受数据带来的洞察力的同时，也要尊重平台规则和用户权益。

想要开始使用？只需执行以下命令：

git clone https://gitcode.com/gh_mirrors/xh/xhs cd xhs/example python basic_usage.py

探索更多高级功能，可以参考官方文档：docs/basic.rst，或者在xhs-api/目录下找到API服务的完整实现。

开始你的小红书数据探索之旅吧！🚀

【免费下载链接】xhs基于小红书 Web 端进行的请求封装。https://reajason.github.io/xhs/项目地址: https://gitcode.com/gh_mirrors/xh/xhs