MoleculeNet：分子性质预测的标准化基准与深度学习实战指南

1. 从“炼丹”到“炼数据”：为什么我们需要MoleculeNet？

如果你在化学信息学、药物发现或者材料科学领域摸爬滚打过一阵子，肯定对“数据”这两个字又爱又恨。爱的是，没有数据，再牛的模型也是“巧妇难为无米之炊”；恨的是，搞到一份干净、标准、能直接拿来用的数据集，比合成一个新分子还难。我见过太多同行，花在数据清洗、格式转换、特征工程上的时间，远远超过了模型设计和训练本身。大家自嘲是“数据清洁工”，项目还没开始，热情就先被数据预处理给磨掉了一半。

这就是MoleculeNet出现的背景。它不是一个普通的数据库，而是一个为机器学习，特别是深度学习模型“量身定制”的分子性质预测基准测试平台。你可以把它想象成计算机视觉领域的ImageNet，或者自然语言处理领域的GLUE。它的核心价值在于标准化和可复现性。在MoleculeNet之前，大家用的数据集五花八门，分子用SMILES字符串还是图表示？性质数据是实验值还是计算值？训练集、验证集、测试集怎么划分？全是“公说公有理，婆说婆有理”。这就导致论文A里声称SOTA（state-of-the-art）的模型，拿到论文B的数据集上可能表现平平，你很难判断到底是模型真的不行，还是数据“水土不服”。

MoleculeNet一口气打包了超过20个公开数据集，涵盖了物理化学、生物物理、生理学等多个关键性质，比如水溶性、血脑屏障穿透性、蛋白质-配体结合亲和力等。它统一了数据格式，提供了标准的数据分割方案，并附带了基线模型的性能。这样一来，任何新提出的分子表示学习方法或预测模型，都可以在同一个“擂台”上公平较量。对于刚入门的研究者，它省去了令人头疼的数据准备环节，让你能快速上手，专注于模型本身；对于资深从业者，它提供了一个可靠的基准，让你的工作更容易被评估和比较。

2. MoleculeNet全景解析：不止是一个数据仓库

很多人第一次接触MoleculeNet，会以为它只是一个提供了数据下载链接的网页。这可就小看它了。它的设计哲学深深植根于机器学习工作流，其结构清晰地反映了从原始数据到模型评估的完整链条。

2.1 核心数据集分类与任务定义

MoleculeNet的数据集并非随意堆砌，而是根据预测任务的类型进行了精心分类。理解这些分类，是正确使用它的第一步。

1. 分类任务数据集这类数据集的目标是判断分子是否具有某种二元或多元属性。典型的例子包括：

• Tox21： 这是由美国国家卫生研究院（NIH）发起的“21世纪毒性测试”项目产生的数据。它包含约8000个化合物对12个不同核受体和应激反应途径的毒性测定结果。任务是多任务二分类——一个分子可能同时对多个靶点有毒或无毒。这非常贴近真实的药物早期安全性筛选场景。
• ClinTox： 对比药物上市后的临床药物毒性（如肝毒性）和药物在临床试验中因毒性而失败的情况。这个数据集规模不大，但极具现实意义，直接关联药物研发的成功率与失败成本。
• BBBP： 血脑屏障穿透性数据集。预测一个小分子是否能穿透血脑屏障，对于中枢神经系统药物的设计至关重要。

注意：处理多任务分类数据集（如Tox21）时，一个常见的陷阱是简单地将其视为多个独立任务。实际上，不同任务间可能存在相关性。好的模型应该能利用这种相关性进行联合学习，而基线模型往往采用简单的共享底层+独立任务头的结构。

2. 回归任务数据集这类数据集预测连续的分子性质数值，是量化构效关系（QSAR）的核心。

• ESOL： 水溶性数据集。水溶性是决定药物口服生物利用度的关键物理化学参数之一。
• FreeSolv： 水合自由能数据集。水合自由能计算在药物设计和蛋白质-配体对接中非常重要，这个数据集提供了实验测量值和计算参考值。
• Lipophilicity： 脂溶性数据集。通常用logD或logP表示，影响药物的吸收、分布、代谢和排泄。

3. 量子化学数据集这类数据集规模通常较大，来源于高精度的量子化学计算，用于预测分子的电子和能量性质。

• QM7/QM7b, QM8, QM9： 这些都是来自GDB数据库（Generated Database）子集的小分子量子化学性质数据集。QM9包含约13.4万个有机小分子，每个分子有多达19个量子化学性质标签，如最高占据分子轨道能量（HOMO）、最低未占分子轨道能量（LUMO）、偶极矩、原子化能等。它们是测试分子图神经网络（GNN）模型能力的“试金石”。

2.2 标准数据分割策略：公平比较的基石

MoleculeNet最值得称道的一点是它明确规定了数据分割方法。这对于避免数据泄露、确保评估公正至关重要。它主要提供了三种分割方式：

1. 随机分割： 最简单的方式，将数据集随机打乱后按比例（如8:1:1）划分为训练集、验证集和测试集。适用于分子分布相对均匀、彼此独立的数据集。
2. 支架分割： 这是基于分子二维结构（骨架）的分割方法。算法会根据分子的Bemis-Murcko骨架（即去除侧链和氢原子后的核心环系统）进行聚类，确保训练集和测试集中的分子具有不同的核心骨架。这是更严格、更贴近现实药物发现场景的分割方式。因为在现实中，你总是希望用已知骨架的分子数据训练出的模型，能够泛化到预测全新骨架的分子性质。如果使用随机分割，模型可能会因为测试分子与训练分子结构相似而获得虚高的性能。
3. 时间分割： 按照时间顺序进行分割，例如用早期发现的分子作为训练集，后期发现的分子作为测试集。这模拟了随着时间推移，用历史数据预测未来分子性质的场景。

在实际研究中，强烈建议同时报告模型在随机分割和支架分割下的性能。如果模型在随机分割下表现优异，但在支架分割下性能骤降，说明它可能只是记住了训练集的结构特征，而非学到了通用的构效关系，其泛化能力存疑。

3. 实战：用深度学习模型跑通一个MoleculeNet基准

光说不练假把式。我们以经典的ESOL（水溶性）回归任务为例，展示如何使用一个流行的深度学习库（这里以PyTorch Geometric和DeepChem为例）来构建、训练和评估一个模型。ESOL数据集规模适中，任务直观，非常适合入门。

3.1 环境搭建与数据加载

首先，确保你的环境安装了必要的库。DeepChem对MoleculeNet有原生支持，非常方便。

# 创建虚拟环境（可选但推荐） conda create -n moleculenet_demo python=3.9 conda activate moleculenet_demo # 安装核心库 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 # 根据你的CUDA版本调整 pip install torch-geometric pip install deepchem pip install rdkit-pypi # RDKit的社区维护版，安装更简单 pip install pandas scikit-learn matplotlib

接下来，我们使用DeepChem加载ESOL数据集，并采用支架分割。

import deepchem as dc import torch import numpy as np import pandas as pd from torch_geometric.data import Data, Dataset from rdkit import Chem # 1. 使用DeepChem加载ESOL数据集，并进行支架分割 tasks, datasets, transformers = dc.molnet.load_esol(splitter='scaffold', reload=False) train_dataset, valid_dataset, test_dataset = datasets # 2. 查看数据基本信息 print(f"训练集大小: {train_dataset.X.shape[0]}") print(f"验证集大小: {valid_dataset.X.shape[0]}") print(f"测试集大小: {test_dataset.X.shape[0]}") print(f"任务数（性质）: {len(tasks)}") # ESOL只有一个任务：log溶解度 # 3. 将DeepChem的数据转换为PyTorch Geometric格式所需的列表 # DeepChem返回的X是RDKit分子对象列表，y是标签数组 train_mols = train_dataset.X train_y = train_dataset.y valid_mols = valid_dataset.X valid_y = valid_dataset.y

3.2 构建分子图数据转换器

PyTorch Geometric（PyG）使用图数据结构。我们需要一个函数将RDKit的分子对象转换为PyG的Data对象。

from torch_geometric.data import Data import torch def mol_to_graph_data(mol, y=None): """ 将RDKit分子对象转换为PyG Data对象。 这里使用简单的原子特征（原子类型、度、形式电荷等）和边特征（键类型）。 """ if mol is None: return None # 原子特征：这里是一个简单的示例，实际可以更复杂 atom_features = [] for atom in mol.GetAtoms(): feature = [ atom.GetAtomicNum(), # 原子序数 atom.GetDegree(), # 连接度 atom.GetFormalCharge(), # 形式电荷 atom.GetHybridization().real, # 杂化类型（数值化） atom.GetIsAromatic() # 是否芳香 ] atom_features.append(feature) x = torch.tensor(atom_features, dtype=torch.float) # 边索引（图的连接关系） edge_index = [] edge_attr = [] for bond in mol.GetBonds(): i = bond.GetBeginAtomIdx() j = bond.GetEndAtomIdx() # 无向图，添加两个方向 edge_index.append([i, j]) edge_index.append([j, i]) # 边特征：键类型（单、双、三、芳香） bond_type = bond.GetBondTypeAsDouble() edge_attr.append([bond_type]) edge_attr.append([bond_type]) edge_index = torch.tensor(edge_index, dtype=torch.long).t().contiguous() edge_attr = torch.tensor(edge_attr, dtype=torch.float) # 创建Data对象 data = Data(x=x, edge_index=edge_index, edge_attr=edge_attr) if y is not None: data.y = torch.tensor(y, dtype=torch.float).view(1, -1) # ESOL的y是标量 return data # 转换训练集和验证集 train_graphs = [] for mol, label in zip(train_mols, train_y): g = mol_to_graph_data(mol, label) if g is not None: train_graphs.append(g) valid_graphs = [] for mol, label in zip(valid_mols, valid_y): g = mol_to_graph_data(mol, label) if g is not None: valid_graphs.append(g) print(f"成功转换训练图数量: {len(train_graphs)}") print(f"成功转换验证图数量: {len(valid_graphs)}")

3.3 定义图神经网络模型

我们实现一个简单的图卷积网络（GCN）层，并堆叠成模型。

import torch.nn as nn import torch.nn.functional as F from torch_geometric.nn import GCNConv, global_mean_pool class SimpleGNN(nn.Module): def __init__(self, node_dim, hidden_dim, output_dim): super(SimpleGNN, self).__init__() self.conv1 = GCNConv(node_dim, hidden_dim) self.conv2 = GCNConv(hidden_dim, hidden_dim) self.conv3 = GCNConv(hidden_dim, hidden_dim) self.bn1 = nn.BatchNorm1d(hidden_dim) self.bn2 = nn.BatchNorm1d(hidden_dim) self.lin1 = nn.Linear(hidden_dim, hidden_dim // 2) self.lin2 = nn.Linear(hidden_dim // 2, output_dim) self.dropout = nn.Dropout(0.3) def forward(self, data): x, edge_index, batch = data.x, data.edge_index, data.batch # 图卷积层 x = self.conv1(x, edge_index) x = F.relu(self.bn1(x)) x = self.dropout(x) x = self.conv2(x, edge_index) x = F.relu(self.bn2(x)) x = self.dropout(x) x = self.conv3(x, edge_index) # 最后一层可以不加激活函数 # 全局池化，将每个图的节点特征聚合为图级特征 x = global_mean_pool(x, batch) # 全连接层用于回归预测 x = self.lin1(x) x = F.relu(x) x = self.dropout(x) x = self.lin2(x) return x.squeeze() # 输出形状为 [batch_size]

3.4 训练与评估循环

from torch_geometric.loader import DataLoader from sklearn.metrics import mean_absolute_error, mean_squared_error, r2_score # 创建数据加载器 train_loader = DataLoader(train_graphs, batch_size=32, shuffle=True) valid_loader = DataLoader(valid_graphs, batch_size=32, shuffle=False) # 初始化模型、损失函数和优化器 device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') model = SimpleGNN(node_dim=5, hidden_dim=128, output_dim=1).to(device) criterion = nn.MSELoss() # 回归任务用均方误差损失 optimizer = torch.optim.Adam(model.parameters(), lr=0.001) scheduler = torch.optim.lr_scheduler.ReduceLROnPlateau(optimizer, mode='min', factor=0.5, patience=10) num_epochs = 100 best_val_loss = float('inf') for epoch in range(num_epochs): # 训练阶段 model.train() train_loss = 0 for batch in train_loader: batch = batch.to(device) optimizer.zero_grad() out = model(batch) loss = criterion(out, batch.y) loss.backward() optimizer.step() train_loss += loss.item() * batch.num_graphs train_loss /= len(train_loader.dataset) # 验证阶段 model.eval() val_loss = 0 all_preds = [] all_labels = [] with torch.no_grad(): for batch in valid_loader: batch = batch.to(device) out = model(batch) loss = criterion(out, batch.y) val_loss += loss.item() * batch.num_graphs all_preds.append(out.cpu().numpy()) all_labels.append(batch.y.cpu().numpy()) val_loss /= len(valid_loader.dataset) all_preds = np.concatenate(all_preds) all_labels = np.concatenate(all_labels) # 计算验证集上的指标 val_mae = mean_absolute_error(all_labels, all_preds) val_r2 = r2_score(all_labels, all_preds) scheduler.step(val_loss) if val_loss < best_val_loss: best_val_loss = val_loss torch.save(model.state_dict(), 'best_esol_model.pt') print(f'Epoch {epoch:03d}, Train Loss: {train_loss:.4f}, Val Loss: {val_loss:.4f}, Val MAE: {val_mae:.4f}, Val R2: {val_r2:.4f} [Best Model Saved]') else: print(f'Epoch {epoch:03d}, Train Loss: {train_loss:.4f}, Val Loss: {val_loss:.4f}, Val MAE: {val_mae:.4f}, Val R2: {val_r2:.4f}') if epoch % 20 == 0: print(f" Learning Rate: {optimizer.param_groups[0]['lr']:.6f}")

运行这段代码，你就能得到一个在ESOL数据集上训练的简单GNN模型。最终的评估指标（如MAE, RMSE, R²）可以与MoleculeNet官网上报告的基线模型（如Random Forest, GraphConv）进行比较。

实操心得：对于回归任务，R²分数有时比RMSE更能直观反映模型性能。一个接近1的R²意味着模型解释了大部分数据方差。但在早期药物筛选中，我们更关注排名（即预测最可能有效的分子），此时可以考虑使用斯皮尔曼等级相关系数作为辅助指标。

4. 超越基准：使用MoleculeNet时的进阶策略与常见陷阱

把模型跑起来只是第一步。要想做出有说服力的工作，或者将模型应用于实际项目，还需要注意以下关键点。

4.1 特征工程与分子表示的选择

MoleculeNet数据集通常提供SMILES字符串作为分子输入。如何将其转化为模型可用的特征，是第一步，也是影响性能的关键。

1. 图表示（主流选择）： 如上文示例，将分子表示为图（原子为节点，化学键为边）。这是目前最主流、最自然的方式，尤其适合GNN。

   • 节点特征： 可以包括原子类型、度、杂化、形式电荷、手性、是否在环中、是否芳香等。也可以使用学习得到的原子嵌入。
   • 边特征： 键类型（单、双、三、芳香）、共轭、立体化学等。
   • 优势： 能直接捕捉分子的拓扑结构信息，泛化能力强。

2. 指纹表示： 如ECFP（扩展连通性指纹）、MACCS密钥等。它们将分子结构编码为固定长度的比特向量。

   • 优势： 计算快速，与传统的机器学习模型（如随机森林、SVM）兼容性好，非常成熟。
   • 劣势： 是一种“有损压缩”，丢失了精确的拓扑和几何信息，可能限制深度学习模型的性能上限。

3. 3D构象表示： 对于某些性质（如蛋白质-配体结合能），分子的三维结构至关重要。可以使用RDKit生成低能量构象，然后使用3D-GNN（如SchNet, DimeNet）或点云网络进行处理。

   • 挑战： 构象生成计算成本高，且一个分子可能有多个低能量构象（柔性），如何处理构象系综是个问题。

我的建议是：对于新项目，优先尝试图表示+GNN的组合。如果追求快速基线或资源有限，ECFP指纹+梯度提升树（如XGBoost）仍然是强大且稳健的基线，不应被忽视。

4.2 模型架构的选择与调优

1. GNN层类型： GCN、GAT（图注意力网络）、GIN（图同构网络）、MPNN（消息传递神经网络）各有千秋。GIN在图分类任务上理论表达能力最强；GAT适合处理节点重要性不同的情况；对于小分子，简单的GCN或MPNN往往就能取得不错的效果。
2. 全局池化： 如何将节点特征聚合为整个图的特征？均值池化、最大池化、求和池化是最常用的。也可以使用更高级的如Set2Set、注意力池化。
3. 跳跃连接与图归一化： 深的GNN容易出现过平滑问题（所有节点特征趋向一致）。加入残差连接（跳跃连接）和专用的图归一化层（如GraphNorm, PairNorm）有助于训练更深的网络。
4. 多任务学习： 对于像Tox21这样的多任务数据集，共享底层GNN编码器，然后为每个任务配备独立的小型预测头（MLP），是一种标准做法。这可以让模型从相关任务中学习共享的特征表示，提高数据利用效率。

4.3 数据不平衡与评估陷阱

MoleculeNet中的许多分类数据集（如Tox21, ClinTox）存在严重的类别不平衡问题。例如，大多数化合物对某个靶点可能是无毒的（阴性样本远多于阳性样本）。

• 陷阱： 如果直接使用准确率作为评估指标，一个总是预测为“无毒”的模型就能获得很高的准确率，但这毫无用处。
• 解决方案：
  • 使用合适的指标： 对于不平衡分类，应优先考虑精确率-召回率曲线下面积（PR-AUC），或者平衡准确率、F1分数、马修斯相关系数（MCC）。
  • 在损失函数中引入权重： 使用torch.nn.BCEWithLogitsLoss的pos_weight参数，给少数类（阳性样本）更高的惩罚权重。
  • 重采样技术： 对训练数据进行过采样（如SMOTE）或欠采样，但需谨慎使用，避免过拟合或信息丢失。

4.4 可复现性保障

这是学术研究的基本要求。除了使用MoleculeNet的标准分割，还应做到：

1. 固定随机种子： 在代码开头固定Python、NumPy、PyTorch等所有相关库的随机种子。
2. 记录超参数： 使用配置文件（如YAML）或命令行参数解析器（如argparse）来管理所有超参数，并随代码一起保存。
3. 保存完整的环境： 使用conda env export > environment.yml或pip freeze > requirements.txt导出精确的依赖包版本。
4. 报告多次运行结果： 由于深度学习训练存在随机性，应报告模型在相同设置下多次运行（如5次）的平均性能和标准差，而不是单次运行的最好结果。

5. 从研究到落地：MoleculeNet的局限与扩展思考

MoleculeNet是一个伟大的基准测试平台，但它并非万能。了解它的边界，才能更好地利用它，并推动领域向前发展。

5.1 现有数据集的局限性

1. 数据规模与多样性： 尽管QM9有13万分子，但相比化学空间（估计10^60以上可能的小分子）仍是沧海一粟。数据主要集中在类药小分子，对于金属有机框架、高分子聚合物、催化剂等复杂体系覆盖不足。
2. 性质标签的局限性： 许多性质是计算值或是在特定条件下的实验测量值。现实世界的性质可能受多种复杂因素影响（如溶剂、温度、浓度、杂质）。
3. 静态与动态： 当前数据集大多提供的是分子的静态（平衡态）性质。许多重要的过程，如化学反应路径、分子动力学模拟轨迹，是动态的、时间相关的，这方面的基准数据集还很缺乏。

5.2 构建自定义数据管道

当你需要研究MoleculeNet未覆盖的分子或性质时，就需要构建自己的数据管道。核心步骤包括：

1. 数据收集： 从公共数据库（如PubChem, ChEMBL, ZINC）或内部实验/计算数据中获取SMILES和性质标签。
2. 数据清洗：
   • 去重： 移除完全相同的分子。
   • 标准化： 使用RDKit的Chem.MolToSmiles(Chem.MolFromSmiles(smi), isomericSmiles=True)对SMILES进行标准化，确保同一分子的不同字符串表示被统一。
   • 有效性过滤： 用RDKit检查分子是否能被成功解析，过滤掉无效的SMILES。
   • 化学合理性过滤： 可以设置一些规则，如过滤掉原子数过多、分子量过大、含有非标准原子或不稳定官能团的分子。
3. 数据分割： 强烈建议实现并采用支架分割。可以使用DeepChem中的ScaffoldSplitter或RDKit生成Bemis-Murcko骨架的函数自行实现。
4. 格式标准化： 最终将数据保存为易于读取的格式，如CSV（包含SMILES列和标签列）或更高效的HDF5、Parquet格式，并编写配套的数据加载类。

5.3 前沿方向：MoleculeNet之外

MoleculeNet奠定了基石，但领域正在向更深处发展：

• 3D与等变模型： 如AlphaFold 2在蛋白质结构预测上的成功，催生了大量对分子3D结构建模的等变图神经网络（E(n)-Equivariant GNNs），如EGNN, SE(3)-Transformer。相关的3D分子数据集（如GEOM, ISO17）也受到关注。
• 生成模型与逆向设计： 目标不再是预测性质，而是直接生成具有特定性质的分子。这需要结合强化学习、流模型或扩散模型，对生成分子的有效性、可合成性、新颖性进行评估。
• 多模态与知识融合： 结合分子的文本描述（来自专利、文献）、知识图谱（如化合物-靶点-疾病关系）、高通量实验图谱（如质谱、核磁）等多源信息进行学习。
• 不确定性量化： 对于药物发现这种高风险的领域，模型不仅要给出预测值，还要给出预测的不确定性（如置信区间），这对于决策至关重要。贝叶斯神经网络、集成学习等方法被用于此。

我个人在实际操作中的体会是，MoleculeNet是你探索分子机器学习世界的一张绝佳“地图”和“训练场”。它帮你扫清了数据准备的基础障碍，让你能快速验证想法。但真正的突破，往往始于你对这张地图边界的质疑和跨越。当你熟练使用它之后，不妨尝试用它提供的数据和基准，去测试一个你自己设计的新的分子表示方法、一个新的GNN层、或者一个新的多任务学习框架。更可以尝试将MoleculeNet上的预训练模型，迁移到你自己的、更具挑战性的专业领域数据集上，这才是它价值的延伸。