Nori-30M性能深度解析：96个回归任务中超越基础版的关键原因

Nori-30M性能深度解析：96个回归任务中超越基础版的关键原因

【免费下载链接】Nori-30M项目地址: https://ai.gitcode.com/hf_mirrors/Synthefy/Nori-30M

Nori-30M是一款基于上下文学习（ICL）的表格基础模型，专为回归任务设计，拥有约29.2M参数，通过单次前向传播即可在新查询行上进行预测，无需任务特定训练或微调。该模型完全基于合成数据训练，在96个回归任务中展现出超越基础版的卓越性能。

惊人性能表现：96个任务全面领先

Nori-30M在来自三个公共基准套件的96个回归任务中进行了评估，采用与基础版Nori相同的协议，取得了令人瞩目的成绩：

这一结果表明，Nori-30M在每个套件上都比约6M参数的基础版表现更出色，充分证明了其在表格回归任务中的强大能力。评估使用了捆绑的默认推理配置和大型GPU协议（每个数据集最多50k上下文行）。

架构升级：超越基础版的核心原因

Nori-30M之所以能在性能上超越基础版，关键在于其精心设计的架构升级。从config.json中我们可以看到以下关键参数：

• 模型类型：features-transformer
• 嵌入维度：224
• 隐藏维度：768
• 层数：28
• 头数：4
• 每组特征数：2
• 块结构：SwiGLU + RMSNorm + pre-norm (layer_arch=smf)
• 回归头：999-quantile pinball

这些架构参数的优化使得Nori-30M能够更好地捕捉表格数据中的复杂模式和关系，从而在回归任务中取得更优异的性能。特别是增加的层数和隐藏维度，为模型提供了更强的表达能力，使其能够处理更复杂的表格数据。

简单易用：快速上手指南

Nori-30M不仅性能强大，而且使用简单。只需通过以下步骤即可快速开始使用：

1. 安装库：

pip install synthefy-nori

2. 基本使用：

from sklearn.datasets import load_diabetes from sklearn.model_selection import train_test_split from synthefy_nori import NoriRegressor X, y = load_diabetes(return_X_y=True) X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0) model = NoriRegressor(model="nori-30m") # 首次使用时从Hub下载权重 model.fit(X_train, y_train) # "fit"仅将标记的行存储为上下文 pred = model.predict(X_test) # 单次前向传播即可完成预测，无需训练

3. 使用本地 checkpoint：

model = NoriRegressor(model_path="path/to/nori.pt")

Nori-30M会在GPU可用时自动使用GPU，否则回退到CPU。此外，还提供了一个便捷的predict函数，可以直接进行预测而无需创建模型对象：

from synthefy_nori import predict pred = predict(X_train, y_train, X_test, task="regression", model="nori-30m")

适用场景与局限性

适用场景

Nori-30M特别适合中小规模的表格回归任务，其中上下文学习具有吸引力（无需每个任务单独训练）。无论是学术研究还是工业应用，Nori-30M都能提供快速、准确的回归预测。

局限性

尽管Nori-30M性能出色，但仍有一些局限性需要注意：

• 密集的O(N²)样本注意力限制了实际上下文大小，因此目前在大N/长上下文表格上与最佳基线相比仍有差距。
• 模型完全基于合成数据训练，未使用任何基准数据进行训练。

总结

Nori-30M作为一款高性能的表格基础模型，通过精心设计的架构和合成数据训练，在96个回归任务中全面超越了基础版。其简单易用的API和强大的性能使其成为表格回归任务的理想选择。无论是对于机器学习新手还是经验丰富的研究人员，Nori-30M都能提供快速、准确的预测能力，助力各类表格数据回归问题的解决。

要开始使用Nori-30M，只需克隆仓库并按照上述步骤操作：

git clone https://gitcode.com/hf_mirrors/Synthefy/Nori-30M

通过不断优化和改进，Nori-30M有望在未来的表格学习任务中发挥更大的作用，为用户提供更强大、更高效的回归预测工具。

【免费下载链接】Nori-30M项目地址: https://ai.gitcode.com/hf_mirrors/Synthefy/Nori-30M