NewsTorch：基于PyTorch的模块化新闻推荐工具包，整合GNN与LLM前沿技术

1. 项目概述：为什么我们需要NewsTorch？

如果你正在做新闻推荐系统，或者想入门这个领域，大概率会面临一个尴尬的局面：网上能找到的教程和代码，要么是好几年前的“古董”，还在用协同过滤或者简单的矩阵分解；要么就是一些大厂的论文开源代码，动辄几万行，依赖复杂，环境都配不起来，更别提跑通了。你想试试最新的图神经网络（GNN）来挖掘用户和新闻之间复杂的交互关系？或者想用大语言模型（LLM）来理解新闻的深层语义，做更精准的匹配？光是数据预处理、模型搭建、训练流程这些基础工作，就足以劝退大部分人了。

这就是NewsTorch诞生的背景。它不是一个全新的、颠覆性的算法，而是一个基于PyTorch的、高度模块化的新闻推荐学习工具包。你可以把它理解为一个“脚手架”或者“乐高积木箱”。它的核心目标，是让研究者和开发者能快速搭建、实验和比较不同的新闻推荐模型，特别是那些前沿的GNN和LLM模型，而不用从零开始重复造轮子。

我最初接触这个项目，是因为团队需要快速验证一个结合用户行为图和新闻语义的推荐想法。当时我们评估了RecBole、DeepCTR等几个不错的推荐库，但它们要么对图神经网络的支持不够友好，要么很难无缝集成我们微调过的LLM来做文本特征提取。从头写一个？时间成本太高。NewsTorch恰好填补了这个空白——它用PyTorch作为统一的底层框架，把新闻推荐中那些脏活累活（数据加载、负采样、评估指标）都封装好了，同时把模型定义、特征工程这些核心部分设计得足够灵活，让你可以像搭积木一样，把GNN模块、LLM编码器、传统的深度模型组合在一起。

简单来说，NewsTorch解决了三个痛点：一是降低了前沿技术（GNN/LLM）在新闻推荐场景的应用门槛；二是提供了一套标准化的数据处理和评估流程，确保实验的可复现性和公平比较；三是其模块化设计极大地提升了研发迭代的速度。无论你是想复现顶会论文，还是探索自己的新模型，它都能提供一个坚实且高效的起点。

2. 核心架构与设计哲学

NewsTorch的设计遵循着“约定大于配置”和“高内聚、低耦合”的原则。它不是一个大而全的、把所有算法都硬编码进去的黑盒系统，而是提供了一系列基础组件和接口。你的主要工作，就是像厨师选用食材一样，组合这些组件来烹饪你的“模型大餐”。

2.1 整体架构拆解

整个工具包可以清晰地分为四层：

1. 数据层 (Data Layer)：这是所有机器学习项目的基石。NewsTorch定义了新闻推荐场景下的标准数据格式，通常包含用户ID、新闻ID、点击/未点击行为、时间戳，以及新闻的文本内容（标题、摘要、正文等）。它内置了NewsDataset和UserBehaviorDataset这样的类，负责从原始日志文件或数据库中加载数据，并进行必要的预处理，比如构建用户-新闻交互图、对新闻文本进行分词和建立词表。这一层的输出是规整的、可以被模型直接消费的DataLoader。

2. 特征层 (Feature Layer)：这一层负责将原始数据转化为模型可用的特征。这是NewsTorch灵活性的关键体现。它可能包含：

   • ID类特征处理：用户ID、新闻ID的嵌入层（Embedding Layer）。
   • 数值特征处理：归一化、分桶等。
   • 文本特征处理：这是集成LLM的核心。这里不直接内置某个特定的LLM，而是提供了一个TextEncoder接口。你可以轻松地将Hugging Face Transformers库中的BERT、RoBERTa，甚至是GPT、Qwen等模型的输出接入进来，作为新闻的语义表征。工具包会帮你处理好文本的tokenization、padding以及GPU内存的管理（例如使用梯度检查点）。

3. 模型层 (Model Layer)：这是工具包的核心价值所在。NewsTorch预置或提供了构建多种推荐模型的框架：

   • 基础深度模型：如DeepFM、DIN等，用于学习用户和新闻的特征交叉。
   • 图神经网络模型：这是重头戏。工具包可能基于PyTorch Geometric (PyG) 或 DGL库，提供了诸如LightGCN、NGCF等经典GNN推荐模型的实现。更重要的是，它提供了构建“用户-新闻”二部图（Bipartite Graph）的便捷方法，并封装了消息传递、邻居采样等图操作，让你能专注于设计图上的聚合函数。
   • LLM增强模型：这里展示了如何将第2层提取的LLM语义特征，与传统的ID特征、GNN学习到的结构特征进行融合。例如，一个典型的模型可能是“GNN + LLM + MLP”的多塔结构。

4. 训练与评估层 (Training & Evaluation Layer)：提供了标准的训练循环、损失函数（如BPR Loss、Cross-Entropy Loss）和一系列新闻推荐场景的评估指标，如AUC、MRR、NDCG@K、Recall@K等。它确保了不同模型是在完全相同的训练/验证/测试集划分、相同的负采样策略、相同的评估标准下进行比较的，这对于科研的严谨性至关重要。

2.2 模块化设计的好处

这种设计带来的最大好处是可扩展性和可实验性。假设你读到了一篇新论文，提出了一种新颖的图注意力机制用于新闻推荐。在NewsTorch中，你通常不需要改动数据加载和训练流程，只需要在模型层新增一个继承自BaseGNNModel的类，实现其中的消息传递和更新函数即可。同样，如果你想换一个更强的LLM作为文本编码器，也只需要更换特征层中TextEncoder的具体实现。

注意：NewsTorch作为一个学习工具包，其预置的模型更多是作为示例和基线（Baseline）。它的强大之处在于提供了一个优秀的框架，让你能快速将自己的想法实现并与之进行对比。不要期望它开箱即用就能达到SOTA（State-of-the-Art）效果，SOTA效果需要你在模型结构和特征工程上做大量的调优和创新。

3. 关键技术点深度解析

要真正用好NewsTorch，必须理解其背后的几个关键技术点。这些点也是新闻推荐系统，乃至现代推荐系统的核心难题。

3.1 图神经网络在新闻推荐中的应用

新闻推荐中，用户和新闻构成了一个天然的动态二部图。用户点击新闻的行为就是图中的边。GNN的魅力在于，它可以通过多层消息传递，让一个用户节点“感知”到他邻居（点击过的新闻）的邻居（其他点击过相同新闻的用户）的信息。这能有效挖掘隐藏在群体行为中的高阶兴趣关联。

在NewsTorch中，实现一个GNN模型通常会涉及以下步骤：

1. 图构建：将用户和新闻的交互记录（user_id, item_id, timestamp）转换为图数据对象。这里的关键是处理新闻的时效性——昨天的热门新闻和一年前的新闻重要性显然不同。因此，构建图时可能需要引入时间衰减权重，或者使用基于时间滑动的动态图。
2. 邻居采样：对于大规模图，无法一次性加载所有邻居。NewsTorch会集成邻居采样算法（如随机游走、分层采样），只为每个中心节点采样固定数量的邻居，以控制计算和内存开销。
3. 消息传递与聚合：这是GNN的核心。以LightGCN为例，其消息传递规则异常简单：每一层，节点的嵌入是其所有邻居节点上一层的嵌入的平均值。在PyTorch中，这可以通过稀疏矩阵乘法高效实现。NewsTorch会封装这些操作。
4. 层组合与预测：经过多层传播后，将每一层学习到的节点嵌入加起来或平均起来，得到最终的节点表征。最后，通过用户嵌入和新闻嵌入的内积（或经过一个MLP）来预测点击概率。

实操心得：GNN模型对超参数非常敏感，特别是层数。层数太少，无法捕获高阶信息；层数太多（超过3层），很容易导致“过度平滑”，即所有节点的嵌入变得相似，反而损害推荐性能。在NewsTorch中实验时，建议从2层或3层开始调优。

3.2 大语言模型作为特征提取器

LLM的引入，是为了解决传统推荐模型难以理解新闻文本深层语义和隐含话题的问题。例如，一篇标题为“某科技公司发布全新AI芯片”的新闻，传统词袋模型或Word2Vec可能只能捕捉到“科技”、“公司”、“AI”、“芯片”这些词，但LLM能理解这是一条关于“人工智能硬件进展”、“半导体行业动态”的新闻，甚至能推断出其可能对“高性能计算”、“自动驾驶”等领域产生影响。

在NewsTorch中集成LLM，通常有两种模式：

1. 冻结模式（Feature Extraction）：将预训练好的LLM（如BERT）作为一个静态的特征提取器。输入新闻标题和摘要，取[CLS]位置的输出向量或最后一层隐藏状态的平均值，作为该新闻的语义特征向量。这个向量随后会与ID嵌入、GNN嵌入等拼接，输入到下游的推荐模型中进行训练。这种模式计算开销小，但LLM的知识无法根据推荐任务进行微调。
2. 微调模式（Fine-tuning）：将LLM作为整个推荐模型的一部分进行端到端训练。这能让LLM学习到与推荐任务相关的特定文本表示。例如，它可能会学会更关注新闻中的情感词、实体名等对点击率预测更有用的信号。这种模式效果通常更好，但对计算资源（GPU显存）要求极高，且需要小心防止过拟合。

注意事项：直接使用原始LLM（如完整的BERT-base）处理海量新闻文本，即使是冻结模式，计算成本也非常可观。实践中，可以采用以下技巧：

• 知识蒸馏：用一个大LLM（教师模型）标注数据，训练一个轻量级的小模型（学生模型，如TinyBERT）用于线上推理。
• 向量化预处理：离线用LLM将所有新闻文本编码成向量存入数据库，线上推荐时直接查询。这要求新闻库相对稳定，对新新闻需要有一套近实时的向量化流水线。
• 使用更高效的架构：考虑使用ALBERT、DistilBERT等参数更少、速度更快的模型变体。

3.3 多模态特征融合策略

当同时拥有GNN学习到的结构特征（用户-物品交互图）和LLM提取的语义特征时，如何将它们有效融合是一个关键问题。NewsTorch的模型层通常会提供几种融合策略：

• 早期融合（Early Fusion）：将GNN输出的用户/新闻嵌入，与LLM提取的新闻语义嵌入直接拼接（Concatenate），然后输入到一个多层感知机（MLP）中进行最终预测。这是最简单直接的方式。
• 晚期融合（Late Fusion）：让GNN分支和LLM分支分别做出预测（如分别输出一个点击概率分数），最后将两个分数通过加权求和或另一个小型神经网络（门控网络）进行融合。这种方式给了两个模态更大的独立性。
• 交叉注意力融合（Cross-Attention Fusion）：这是更精细的方法。例如，可以让用户嵌入（来自GNN）作为Query，新闻的语义特征（来自LLM）作为Key和Value，通过注意力机制来动态决定哪些语义信息对该用户更重要。反之亦然。

选择哪种融合策略没有定论，需要在你的具体数据集上进行实验。NewsTorch的模块化设计使得切换融合策略就像更换一个模块一样简单。

4. 从零开始：基于NewsTorch的实践指南

理论说了这么多，我们来点实际的。假设我们有一个标准的新闻点击日志数据集（例如MIND数据集），现在想用NewsTorch搭建一个结合LightGCN和BERT的推荐模型。

4.1 环境准备与数据预处理

首先，你需要一个Python环境（>=3.8），并安装核心依赖：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 # 根据你的CUDA版本选择 pip install torch-geometric # 如果使用PyG作为GNN后端 pip install transformers datasets # 用于LLM和数据处理 pip install scikit-learn pandas tqdm # 常用工具库

假设NewsTorch工具包已经下载到你的项目目录中。

数据预处理是第一步，也是最繁琐的一步。通常，原始数据是CSV或JSON格式的日志。你需要编写一个脚本，将其转换为NewsTorch定义的NewsDataset所需的格式。这个过程一般包括：

1. 数据清洗：过滤掉点击次数过少的用户和新闻（冷启动问题另论），处理缺失值。
2. 构建映射：为每个用户和新闻生成唯一的连续整数ID，这是高效嵌入查找所必需的。
3. 划分数据集：按时间顺序划分训练集、验证集和测试集。绝对不能随机划分，必须模拟真实的时间流，用历史数据预测未来行为。
4. 构建交互图：使用训练集数据，构建用户-新闻二部图。图的边可以带有时间戳权重。
5. 文本预处理：对新闻的标题、摘要进行清洗、分词，并构建词表或直接准备好供BERT使用的tokenizer。

NewsTorch可能会提供一个标准的数据处理脚本模板，你需要根据自己数据的格式进行适配。

4.2 模型定义与组合

接下来是核心部分——定义你的混合模型。在NewsTorch的框架下，你可能会创建一个新的模型文件my_gnn_llm_model.py：

import torch import torch.nn as nn import torch.nn.functional as F from newstorch.models.base import BaseRecommender from newstorch.layers.gnn import LightGCNConv from transformers import AutoModel, AutoTokenizer class GNNLLMNewsRecommender(BaseRecommender): def __init__(self, num_users, num_items, embedding_dim, gnn_layers, llm_model_name='bert-base-uncased'): super().__init__() self.user_embedding = nn.Embedding(num_users, embedding_dim) self.item_embedding = nn.Embedding(num_items, embedding_dim) # GNN部分：LightGCN层 self.gnn_convs = nn.ModuleList([LightGCNConv() for _ in range(gnn_layers)]) # LLM部分：冻结的BERT编码器 self.llm_tokenizer = AutoTokenizer.from_pretrained(llm_model_name) self.llm_model = AutoModel.from_pretrained(llm_model_name) # 冻结LLM参数，仅作为特征提取器 for param in self.llm_model.parameters(): param.requires_grad = False self.llm_projection = nn.Linear(768, embedding_dim) # BERT输出768维，投影到embedding_dim # 融合与预测层 self.fusion_mlp = nn.Sequential( nn.Linear(embedding_dim * 3, embedding_dim * 2), # 用户GNN嵌入 + 新闻GNN嵌入 + 新闻LLM嵌入 nn.ReLU(), nn.Dropout(0.2), nn.Linear(embedding_dim * 2, 1) ) def encode_text(self, news_texts): """使用LLM编码一批新闻文本""" inputs = self.llm_tokenizer(news_texts, padding=True, truncation=True, max_length=128, return_tensors='pt') inputs = {k: v.to(self.device) for k, v in inputs.items()} with torch.no_grad(): # 不计算梯度 outputs = self.llm_model(**inputs) # 取[CLS] token的表示作为句子向量 text_embeddings = outputs.last_hidden_state[:, 0, :] return self.llm_projection(text_embeddings) def forward(self, user_ids, item_ids, item_texts, graph_data): """ user_ids: 用户ID [batch_size] item_ids: 新闻ID [batch_size] item_texts: 新闻文本列表 [batch_size] graph_data: 包含邻接矩阵等信息的图对象 """ # 1. 获取初始嵌入 u_emb = self.user_embedding(user_ids) i_emb_gnn = self.item_embedding(item_ids) # 2. 通过GNN传播 (简化示例，实际需在全体节点上传播后索引) # 这里假设 self.gnn_forward 是一个方法，能返回所有节点经过GNN传播后的嵌入 all_user_emb, all_item_emb = self.gnn_forward(graph_data) u_emb_gnn = all_user_emb[user_ids] i_emb_gnn = all_item_emb[item_ids] # 3. 获取新闻的LLM语义嵌入 i_emb_llm = self.encode_text(item_texts) # 4. 特征融合与预测 combined = torch.cat([u_emb_gnn, i_emb_gnn, i_emb_llm], dim=-1) prediction = self.fusion_mlp(combined).squeeze() return torch.sigmoid(prediction) # 输出点击概率 def gnn_forward(self, graph): """执行多层GNN传播""" # 获取所有节点的初始嵌入 all_embeddings = torch.cat([self.user_embedding.weight, self.item_embedding.weight], dim=0) embeddings_list = [all_embeddings] for conv in self.gnn_convs: all_embeddings = conv(all_embeddings, graph.adjacency_matrix) # 简化的传播接口 embeddings_list.append(all_embeddings) # 如LightGCN，将各层嵌入相加 all_embeddings = torch.stack(embeddings_list, dim=0).mean(dim=0) num_users = self.user_embedding.num_embeddings final_user_emb = all_embeddings[:num_users] final_item_emb = all_embeddings[num_users:] return final_user_emb, final_item_emb

这个模型示例展示了如何将ID嵌入、GNN和LLM特征在一个前向传播过程中结合起来。在实际的NewsTorch中，LightGCNConv和graph_data的处理会被封装得更完善。

4.3 训练循环与负采样

新闻推荐通常被建模为点击率（CTR）预测任务，使用二元交叉熵损失。一个关键环节是负采样。对于每一个正样本（用户点击的新闻），我们需要采样一个或多个负样本（用户未点击的新闻）来构建训练对。

NewsTorch的训练器（Trainer）会帮你封装好这个循环：

# 伪代码，展示逻辑 for epoch in range(num_epochs): for batch in train_dataloader: # batch包含 user_ids, pos_item_ids, pos_item_texts # 负采样：为每个用户采样一个未点击的新闻 neg_item_ids, neg_item_texts = sample_negative_items(batch['user_ids']) # 拼接正负样本 all_user_ids = torch.cat([batch['user_ids'], batch['user_ids']]) all_item_ids = torch.cat([batch['pos_item_ids'], neg_item_ids]) all_item_texts = batch['pos_item_texts'] + neg_item_texts labels = torch.cat([torch.ones_like(batch['user_ids']), torch.zeros_like(batch['user_ids'])]).float() # 前向传播 predictions = model(all_user_ids, all_item_ids, all_item_texts, graph_data) # 计算损失 loss = F.binary_cross_entropy(predictions, labels) # 反向传播与优化 optimizer.zero_grad() loss.backward() optimizer.step()

负采样策略直接影响模型效果。最简单的随机采样可能不够好，因为用户未点击的新闻中，有些是真正不感兴趣的（硬负例），有些只是没曝光过（未观测到）。高级的采样策略如“基于流行度的采样”或“对抗性负采样”可以提升模型区分度，这些策略也可能在NewsTorch中提供选项。

4.4 评估与调优

训练完成后，在验证集上进行评估。NewsTorch会提供标准的评估函数，计算AUC、NDCG@10等指标。

调优经验：

1. 嵌入维度：通常设置在64到256之间。维度太低表达能力不足，太高容易过拟合且增加计算量。可以从128开始尝试。
2. GNN层数：如前所述，2或3层是常见的起点。可以通过观察验证集指标随层数的变化来选择。
3. 学习率：使用Adam优化器时，学习率1e-3或3e-4是常见的初始选择。可以配合学习率预热（Warmup）和衰减（Decay）。
4. Dropout：在融合MLP中加入Dropout（如0.2-0.5）是防止过拟合的有效手段。
5. LLM特征：尝试不同的LLM（如RoBERTa、DeBERTa），或者尝试对LLM的最后几层进行微调，看看是否能带来提升。
6. 负采样数量：增加负采样数量（如从1个到4个）通常会稳定训练并提升效果，但也会增加计算成本。

5. 常见问题与实战排坑记录

在实际使用NewsTorch或类似工具包进行开发时，你会遇到各种各样的问题。下面是我和团队在项目中踩过的一些坑和解决方案。

5.1 内存溢出与性能优化

• 问题：当用户和新闻数量达到百万级，图结构非常大，即使使用稀疏矩阵，全图训练也会导致GPU内存溢出。
• 解决方案：
  • 邻居采样：这是处理大规模图的标准做法。不要在全图上进行卷积，而是为每个批次（batch）的目标节点采样一个固定大小的子图进行训练。NewsTorch应集成类似NeighborSampler的组件。
  • 梯度累积：当GPU内存只能容纳很小的批次大小时，可以使用梯度累积。多次前向传播的梯度累加后再更新一次参数，等效于增大了批次大小。
  • 混合精度训练：使用torch.cuda.amp进行自动混合精度训练，可以显著减少显存占用并加快训练速度。
  • LLM编码离线化：如果使用冻结的LLM，最耗时的部分是将新闻文本编码为向量。可以预先将所有新闻用LLM编码好，存储为向量文件。训练和推理时直接加载这些向量，而不是实时调用LLM。

5.2 冷启动问题

• 问题：对于新用户或新新闻，由于没有历史交互数据，GNN无法为其学习到有效的嵌入，导致推荐质量差。
• 解决方案：
  • 对于新用户：更多地依赖LLM提供的新闻语义特征，采用基于内容的推荐作为补充。例如，可以询问新用户的兴趣标签，或者用其首次点击的少数新闻的语义特征来初步表征其兴趣。
  • 对于新新闻：同样依赖LLM的语义特征。在NewsTorch的框架下，一个新新闻入库时，可以立即通过LLM得到其语义向量。在模型中，可以将这个LLM向量与一个随机初始化的ID嵌入相加（或拼接）作为该新闻的初始表征，参与图的传播和预测。随着该新闻被不断点击，其GNN学习到的结构嵌入会逐渐占据主导。

5.3 线上线下效果不一致

• 问题：模型在离线测试集上指标很好（如NDCG很高），但上线A/B测试后，点击率提升不明显甚至下降。
• 排查方向：
  • 数据分布不一致：离线训练测试数据与线上实时数据分布存在差异。确保你的训练数据时间窗口和线上环境匹配，并且包含了足够近期的数据以反映用户兴趣的变化。
  • 评估指标有偏：离线评估通常基于“曝光且点击”的数据，但线上存在“曝光未点击”和“未曝光”的大量样本。考虑引入更接近线上业务的评估指标，如线上AUC。
  • 特征穿越：这是最常见也是最致命的问题。确保在构建每个训练样本时，只使用了该样本发生时间点之前的信息。例如，不能用用户未来的点击行为来构建当前时刻的用户兴趣图。在NewsTorch的数据预处理阶段，必须严格按照时间戳划分和构建图，确保数据的时序纯洁性。
  • 服务延迟：如果模型（尤其是LLM部分）推理速度太慢，无法满足线上服务的响应时间要求（如百毫秒级），就需要进行模型压缩、蒸馏或使用更轻量的架构。

5.4 模型融合策略失效

• 问题：费了很大劲加入了LLM特征，但模型效果相比纯GNN模型提升甚微，甚至下降。
• 可能原因与对策：
  • 特征冗余：GNN从交互中学到的信息，可能已经隐含了文本语义（因为相似语义的新闻会被相似的用户点击）。可以尝试对GNN嵌入和LLM嵌入做相关性分析。
  • 融合方式不当：简单的拼接可能不够。尝试更复杂的融合方式，如注意力机制（让模型自己决定更相信哪种特征），或者设计一个门控网络（Gating Network）。
  • LLM特征质量：你用的预训练LLM可能与你新闻领域的语言风格不符。尝试在领域相关的文本（如历史新闻库）上对LLM进行继续预训练（Continual Pre-training）或微调。
  • 梯度冲突：在端到端微调LLM时，来自推荐任务的梯度可能会破坏LLM本身预训练好的语言知识。可以尝试采用渐进式解冻（Gradual Unfreezing）或不同的学习率（为LLM部分设置更小的学习率）。

最后，我想分享一点个人体会：NewsTorch这类工具包最大的价值，是它把工程上的复杂性封装起来，让你能更专注于模型和算法本身的创新。但在使用它时，切忌把它当成一个“自动炼丹机”。你必须深入理解数据流动的每一个环节，从原始日志到最终预测。每一个设计选择（负采样策略、图构建方法、融合方式）背后都有其考量，需要根据你的具体业务场景和数据特点进行反复实验和验证。推荐系统没有银弹，NewsTorch给了你一把好枪，但瞄准哪里、何时扣动扳机，还需要你这个“狙击手”凭借对业务和数据的深刻理解来决定。在实际项目中，我建议先用一个简单的模型（如纯LightGCN）跑通NewsTorch的全流程，建立一个稳定的基线，然后再逐步引入LLM等复杂模块，这样能更清晰地评估每个模块带来的收益，也更容易定位问题所在。