机器学习在射电天文数据分类中的应用：以MIGHTEE巡天SFG/AGN分类为例

1. 项目概述：当机器学习遇见深空射电巡天

在射电天文学领域，我们正经历一场数据洪流。以MeerKAT望远镜阵列主导的MIGHTEE巡天项目为例，其在COSMOS天区的一次早期科学数据释放，就在不到1平方度的天区内探测到了超过6000个射电源。传统上，天文学家需要依赖红外-射电相关、中红外颜色、光学形态、X射线光度等多达五种诊断图，并结合大量人工核查，才能将每个源区分为以恒星形成为主的星系（SFG）和以黑洞吸积为主的活动星系核（AGN）。这个过程不仅耗时费力，更关键的是，面对即将到来的平方公里阵列（SKA）时代，数据量将呈指数级增长，传统方法将完全不可行。

这正是机器学习大显身手的舞台。我最近深度复现并拓展了Walter Silima等人2025年发表在MNRAS上的一项研究，核心就是利用监督学习算法，自动化地完成MIGHTEE-COSMOS巡天中射电源的SFG/AGN分类。这项工作远不止是简单调用几个sklearn库函数，它涉及从原始多波段星表的数据清洗、特征工程，到模型选择、超参数调优，再到结果物理可解释性分析的全链条。实测下来，最优模型在仅使用20%数据训练时，F1分数就能稳定超过90%，其中基于距离的k近邻（kNN）算法表现出了极高的准确性和稳定性。这为处理未来更大规模的巡天数据（如SKA、ngVLA）提供了一条清晰、高效的技术路径。无论你是刚接触天文数据科学的初学者，还是希望将ML应用于特定领域的研究者，这篇文章将带你走完一个完整的、可复现的项目流程，并分享那些论文里不会写的实操细节与避坑指南。

2. 数据基石：理解MIGHTEE-COSMOS多波段星表

任何机器学习项目的成败，一半取决于数据质量。在开始建模之前，我们必须彻底理解手中数据的来龙去脉、优势与局限。

2.1 射电数据核心：MIGHTEE早期科学数据

我们的数据基石是MIGHTEE巡天在COSMOS天区的早期科学数据。这里有几个关键细节需要厘清：

• 观测参数：数据来自MeerKAT的L波段接收机（856–1712 MHz），积分时间约17.5小时。成像处理采用了Briggs稳健加权为0的参数，最终得到的热噪声约为1.7 μJy/beam，合成束（相当于分辨率）为8.6角秒。这里有个容易忽略的坑：论文中提到，高灵敏度数据在视场中心会受到经典混淆噪声的影响，导致实际噪声升至4-5 μJy/beam。这意味着，如果你直接使用星表中统一的噪声值进行后续分析（比如计算信噪比筛选源），对于视场中心的源可能会产生偏差。在实际操作中，更严谨的做法是使用星表提供的局部噪声（local_rms）字段，或者根据位置对噪声进行建模。
• 源表构建：研究使用了在中心0.86平方度天区内、峰值亮度超过局部背景噪声5σ的6102个射电成分表。但射电成分不等于物理上的星系。一个延展的射电星系可能在图像上被分解成多个“成分”。因此，关键的一步是宿主星系证认。作者团队通过目视交叉匹配，将射电源与UltraVISTA巡天的Ks波段探测到的源进行关联，最终为5223个射电源找到了光学对应体，这才构成了我们后续分析的基础样本。这一步无法自动化，体现了前期数据准备工作的重要性。

2.2 多波段数据融合：构建特征向量

单一的射电流量信息远不足以区分SFG和AGN。我们必须引入多波段信息，构建每个源的特征“指纹”。本研究所用的MIGHTEE-COSMOS多波段星表是一个典范，它集成了：

• 光学与近红外：来自HSC SSP的grizy波段、CFHTLS的u*波段、UltraVISTA DR4的YJHKs波段数据。
• 中红外：来自斯皮策太空望远镜IRAC的3.6、4.5、5.8、8.0微米波段数据。
• 远红外：来自赫歇尔空间的PACS（100、160微米）和SPIRE（250、350、500微米）数据，用于研究尘埃辐射。
• 辅助数据：光谱红移（2427个源）或光度红移（2796个源）、通过SED拟合得到的恒星质量、HST ACS I波段图像导出的光学致密性参数（class_star），以及X射线和VLBI探测信息。

实操心得：数据缺失值处理如此多的波段，必然存在数据缺失。例如，并非所有源都在赫歇尔远红外波段被探测到。论文中，他们将X射线和VLBI特征排除在模型输入之外，正是因为这两个特征的完备性太低。在我们的复现中，对于其他波段的缺失值，需要谨慎处理。直接删除缺失特征的样本会导致数据量大幅减少。一个常见的策略是：

1. 对于连续型特征（如流量、颜色）：可以考虑用该特征在同类天体（SFG或AGN）中的中位数进行填充。但要注意，这可能会引入偏差。
2. 增加缺失指示符：为每个可能缺失的特征增加一个布尔型特征，标记该值是否被填充。这有时能为模型提供额外信息。
3. 使用对缺失值不敏感的模型：如树模型（随机森林、XGBoost）本身可以处理缺失值，但需要了解其内部处理机制（通常是将缺失值单独分为一类或导向增益最大的分支）。

在本项目中，我们主要依赖完备性高的特征，如qIR、class_star、恒星质量、IRAC颜色等，这本身也是一种基于领域知识的特征筛选。

2.3 “金标准”标签：传统分类结果

监督学习需要“真值”标签。本研究直接使用了Whittam et al. (2022) 通过五种传统诊断方法得到的分类结果：

1. 射电超量：基于红外-射电相关（IRRC）参数qIR。qIR值显著低于由恒星质量和红移决定的预期值的源，被认为是射电过量的，即AGN。
2. 中红外颜色：使用Donley et al. (2012) 的IRAC颜色-颜色图，筛选出具有幂律谱特征的源（AGN）。
3. 光学形态：利用HST高分辨率图像，class_star参数大于0.9的被认为是点源，即光学致密AGN。
4. X射线光度：静止帧0.5-10 keV X射线光度大于10^42 erg/s的源被归为X射线AGN。
5. VLBI探测：被VLBI探测到的源，其亮度温度通常远高于恒星形成区，被归为VLBI AGN。

只要满足以上任一条件，即被分类为AGN；全部不满足的，则为SFG。这里有一个重要的数据处理细节：由于X射线观测深度有限，对于红移大于0.5且未被X射线探测到的源，无法确认其X射线光度是否低于阈值。因此，仅通过前4种方法判断为非AGN的源，被标记为“可能的SFG”。在机器学习任务中，为了简化问题，我们将“可能的SFG”合并入“SFG”类别。最终，我们得到了1806个AGN和2806个SFG，共4612个带有高质量标签的样本，用于后续的模型训练与测试。

3. 特征工程：寻找区分SFG与AGN的关键“指纹”

特征工程是机器学习项目的灵魂，尤其是在天体物理领域，它连接了物理图像与数据模型。我们的目标是从18个候选物理参数中，找出最能区分SFG和AGN的那些。

3.1 单维特征分析：K-S检验与直方图

首先，我们采用最直观的方法：分别绘制AGN和SFG样本在每个特征上的分布直方图，并计算两者的Kolmogorov-Smirnov（K-S）检验统计量。K-S统计量量化了两个累积分布函数（CDF）之间的最大垂直距离，值越大表明两个分布差异越显著。

分析结果与物理解读：

1. 红外-射电相关参数qIR：K-S统计量高达0.71，毫无争议地成为最佳判别特征。其物理图像非常清晰：SFG的射电辐射（主要来自超新星遗迹加速的相对论性电子在磁场中的同步辐射）与红外辐射（���自恒星加热的尘埃热辐射）之间存在紧密的经验关系。而AGN，尤其是射电噪AGN，其喷流贡献了额外的射电辐射，导致qIR值显著偏低。直方图显示，AGN的qIR分布整体向更小值偏移，但与SFG分布仍有重叠，这部分重叠可能对应着射电宁静的AGN。
2. 光学致密性参数class_star：K-S统计量0.23，排名第二。class_star接近1表示源更像一个点源（PSF），接近0则像延展源。AGN中心明亮的核球活动使其在HST的高分辨率图像中更可能呈现点源特征，而SFG通常呈现为延展的盘状或结构。
3. 中红外颜色log(S8.0/S4.5)和log(S5.8/S3.6)：K-S统计量分别为0.20和0.18。AGN的尘埃环（torus）会在中红外产生幂律连续谱，而SFG的中红外辐射主要来自恒星加热的尘埃热辐射，其光谱在IRAC波段有特定形状。这两个颜色是经典“中红外颜色-颜色图”方法的核心，能有效筛选出具有AGN特征的源。
4. 恒星质量log(Mstar)：K-S统计量0.20。总体上，AGN倾向于寄居在更大恒星质量的星系中，这与“星系与黑洞共同演化”的图景相符。大质量星系更可能拥有大质量黑洞，并提供更多的吸积物质。
5. 另一个中红外颜色log(S4.5/S3.6)：K-S统计量0.17，也显示出一定的判别能力。

注意：单维特征分析虽然直观，但我们必须清醒地认识到，即使是最佳的qIR，其AGN和SFG的分布也存在大量重叠。这意味着仅靠任何一个单一特征都无法完美分类，必须考虑特征的组合。

3.2 多维特征关联分析与t-SNE可视化

传统分类方法本身就依赖于多维空间（如颜色-颜色图）。我们将上述6个顶级特征两两组合，绘制散点图并计算95%置信椭圆。

• qIRvslog(Mstar)：这是Whittam et al. (2022) 用来挑选射电超量AGN的方法。图中可以看到，SFG基本都落在AGN的置信椭圆内。这是因为他们使用的IRRC关系本身就是恒星质量和红移的函数。这个组合的优势在于物理清晰，但缺点也很明显：会漏掉所有射电宁静的AGN。
• IRAC颜色-颜色图 (log(S8.0/S4.5)vslog(S5.8/S3.6))：这是另一个经典诊断图。尽管两个种群的点云仍有重叠，但一个关键的发现是：AGN和SFG的置信椭圆主轴方向不同。AGN呈现正相关（颜色随颜色同步增长），而SFG呈现负相关。这暗示在更高维的空间中，两者的分布可能更容易被分离。

为了验证这一点，我们使用了t-SNE这种非线性降维技术，将6维特征空间压缩到2维进行可视化。结果令人振奋：在t-SNE生成的二维空间中，AGN和SFG的分离度大大增强。这强有力地证明，在原始的高维特征空间中，两个类别确实是线性不可分的，但通过复杂的非线性变换，可以被很好地分开。这为使用像随机森林、XGBoost这类能捕捉非线性关系的模型提供了理论依据。

然而，t-SNE有一个重大缺陷：它是无监督的，且降维后的坐标轴没有物理意义。我们无法解释“t-SNE维度1”代表什么物理量。因此，t-SNE特征绝不能直接用作模型训练的输入，它只是一个强大的探索性数据分析工具。

3.3 自动化特征重要性评估

除了上述“肉眼”分析，我们采用了三种不依赖于特定模型内部机制的自动化评估方法，结果相互印证。

1. 置换重要性：其原理非常巧妙。对于一个训练好的模型，我们随机打乱数据集中某个特征的值（破坏该特征与标签的关系），然后重新评估模型性能（如F1分数）的下降程度。下降越多，说明该特征越重要。这种方法与模型无关，结果可靠。在我们的分析中，置换重要性给出的排名与K-S检验高度一致：qIR>class_star>log(S8.0/S4.5)>log(Mstar)>log(S5.8/S3.6)>log(S4.5/S3.6)。
2. 随机森林内置重要性：基于基尼不纯度减少量计算。结果同样将qIR列为最重要特征，class_star和log(S8.0/S4.5)的重要性非常接近。树模型内置的重要性计算速度快，但在特征高度相关时，可能会高估连续型或高基数特征的重要性。
3. 序列特征选择：这是一种“贪心”的前向选择算法。它从空特征集开始，每次添加一个能使模型性能提升最大的特征。最终选择的顺序是：qIR->class_star->log(S8.0/S4.5)->log(Mstar)->log(S5.8/S3.6)。这个顺序与置换重要性略有不同，主要是因为log(Mstar)与qIR存在物理上的相关性（IRRC与质量有关），当qIR被选入后，log(Mstar)的边际贡献相对降低。
4. ROC曲线与AUC面积：我们对每个特征单独绘制ROC曲线并计算AUC面积。qIR的AUC面积最大，接近0.9，再次确认其最强判别力。随后我们进行了迭代剔除：去掉qIR后，class_star的AUC排名第一，以此类推。这个动态过程帮助我们理解在排除主导特征后，其他特征的相对重要性。

结论：综合所有分析，我们确定将qIR,class_star,log(Mstar),log(S8.0/S4.5),log(S5.8/S3.6)这五个特征作为机器学习模型的输入。这恰好对应了传统分类方法中最有效的三个诊断：射电超量（qIR）、光学形态（class_star）和中红外颜色（两个IRAC颜色比），再加上恒星质量这个重要的星系全局参数。特征工程不仅验证了物理经验的可靠性，也为其量化提供了依据。

4. 模型实战：五大监督学习算法对比与优化

有了高质量的数据和精选的特征，接下来就是模型的选择、训练与优化。我们对比了五种广泛使用的监督学习算法：逻辑回归、支持向量机、k近邻、随机森林和XGBoost。选择这五种模型是因为它们代表了不同的机器学习思想：线性模型、基于核的方法、基于距离的方法、集成学习中的Bagging和Boosting。

4.1 数据预处理与数据集划分

在喂给模型之前，数据必须经过预处理。

1. 标准化：由于特征量纲不同（qIR是比值，log(Mstar)是对数值），我们必须进行标准化，将每个特征缩放到均值为0、方差为1的分布。这对于基于距离的算法（如SVM、kNN）和依赖梯度下降的算法至关重要。我们使用StandardScaler进行拟合和转换。
2. 处理类别不平衡：我们的数据中，SFG（2806）略多于AGN（1806），但不算严重失衡（约1.55:1）。对于这种轻微的不平衡，我们主要采用评估指标（如F1分数）来监控，而非强制过采样或欠采样。但在训练时，可以为少数类（AGN）设置更高的类别权重（如class_weight='balanced'）。
3. 数据集划分：我们采用分层抽样，将4612个样本按8:2的比例随机划分为训练集（3689个）和测试集（923个），确保两个集合中SFG和AGN的比例与原数据集一致。这里有一个关键点：论文中提到“即使只使用20%的数据训练，F1分数也能超过90%”。为了验证这一点，我们额外进行了实验：从训练集中再随机抽取20%（约738个样本）作为一个小型训练集，用于训练模型，并在完整的测试集上评估。

4.2 模型训练与超参数调优

我们使用网格搜索结合5折交叉验证来寻找每个模型的最优超参数。以下是每个模型的核心调优思路和注意事项：

• 逻辑回���：本质是线性分类器。我们主要调节正则化强度C和正则化类型（L1或L2）。L1正则化可以产生稀疏解，起到特征选择的作用。在特征已经过精心筛选的情况下，L2正则化通常表现更稳定。
• 支持向量机：核心是选择核函数。对于可能非线性可分的数据，我们测试了径向基函数核。关键超参数是正则化参数C和RBF核的系数gamma。gamma过大容易过拟合，过小则模型过于平滑。我们使用网格搜索在C和gamma的对数空间中进行搜索。
• k近邻：算法简单但效果惊人地好。核心超参数是k（邻居数量）。k太小对噪声敏感，k太大则决策边界过于平滑。我们同时测试了不同的距离度量（如欧氏距离、曼哈顿距离）。实操中发现，在特征标准化后，欧氏距离配合一个适中的k值（如5-15）通常效果最佳。
• 随机森林：需要调节树的个数n_estimators、树的最大深度max_depth、分裂节点所需的最小样本数min_samples_split等。为了防止过拟合，我们通常不会让树完全生长（即不设置max_depth），而是通过交叉验证来限制模型复杂度。
• XGBoost：作为梯度提升的先进实现，参数较多。我们重点调节：提升轮次n_estimators、学习率learning_rate、树的最大深度max_depth以及控制模型复杂度的参数如gamma和reg_lambda。XGBoost对学习率非常敏感，较小的学习率配合更多的提升轮次通常能得到更优解，但计算成本更高。

避坑指南：交叉验证的陷阱在进行网格搜索时，务必确保交叉验证的折数内也进行了分层抽样。特别是对于kNN这类基于距离的算法，如果某一折中某个类别的样本突然变少，会导致距离计算失真，影响参数评估的稳定性。使用StratifiedKFold可以避免这个问题。

4.3 模型性能评估与对比

我们使用精确率、召回率和F1分数作为主要评估指标，并以测试集上的表现为准。

全训练集（80%数据）结果： 所有五种模型都表现优异，F1分数均高于92%。其中：

• k近邻表现最为突出，F1分数最高（约94%），且精确率和召回率非常均衡。这说明kNN在这个问题上找到了一个非常清晰的“特征空间”结构，同类源在空间中确实更聚集。
• 随机森林和XGBoost紧随其后，F1分数也在93%以上。它们能捕捉复杂的非线性关系，且对噪声相对鲁棒。
• 逻辑回归作为线性模型，取得了超过92%的F1分数，这令人惊喜。它表明，SFG和AGN在精选的五个特征所张成的空间中，近似是线性可分的。这给了我们一个非常简洁且可解释性强的基线模型。
• 支持向量机表现稍逊，但也在92%左右。其性能对核函数和参数的选择比较敏感。

小训练集（20%数据）结果： 这是检验模型鲁棒性和数据效率的关键。令人印象深刻的是，即使只用738个样本训练：

• k近邻的F1分数仍然维持在91%以上，下降幅度最小，展现了极强的稳定性。
• 随机森林和XGBoost的F1分数降至90%左右。集成模型需要足够的数据来构建多样且准确的弱学习器，数据量减少对其影响相对明显。
• 逻辑回归和支持向量机的分数也下降到89-90%区间。

结论：kNN在这个特定分类任务中胜出，不仅因为其高精度，更因为其对训练数据量变化的稳健性。在真实的天文巡天项目中，我们往往只有一部分有“金标准”标签的数据（如深场），而需要将其学到的模式推广到海量无标签的巡天数据中。kNN的稳定性意味着，用一个相对较小的、高质量的训练集构建的分类器，在大规模应用时性能衰减的风险更低。

5. 结果解读、局限性与未来展望

5.1 为什么kNN表现最好？

这个结果初看可能反直觉，因为通常更复杂的模型（如XGBoost）会在表格数据上占优。我们可以从数据特性来理解：

1. 特征空间的结构性：经过精心筛选的五个特征，已经很好地将SFG和AGN区分开来。在标准化后的特征空间中，同类源聚集形成“簇”，不同类源的“簇”之间有相对清晰的间隔。kNN这种基于局部距离投票的方法，在这种结构清晰的空间中如鱼得水。
2. 特征数量少，维度不高：我们只有5个特征，避免了“维数灾难”。在高维空间中，欧氏距离会变得没有区分度，但5维还在kNN的有效工作范围内。
3. 数据质量高，噪声相对小：MIGHTEE-COSMOS星表的数据质量极高，标签基于多方法综合判定，可靠性强。kNN对噪声敏感，但在干净的数据上，其简单性反而成了优势——没有复杂的假设，不易过拟合。
4. 与物理图像的契合：天文学中很多分类本身就基于在参数空间中的“位置”（比如颜色-颜色图）。kNN的本质就是判断一个新源在参数空间中离哪类已知源更近，这与传统天文学家的思维方式非常接近。

5.2 模型的可解释性与局限性

机器学习不是黑箱，尤其是对于科学应用，我们必须理解模型为何做出决策。

• 逻辑回归：我们可以直接查看每个特征的系数。系数的大小和正负直接反映了该特征对“判定为AGN”这一事件的贡献方向和力度。例如，qIR的系数很可能为负（qIR越小，是AGN的概率越大），这与物理预期完全一致。
• 树模型：可以通过查看特征重要性（如平均不纯度减少）来理解。随机森林和XGBoost给出的特征重要性排名，与我们之前做的置换重要性分析高度吻合，这交叉验证了特征工程的有效性。
• kNN：可解释性体现在“最近邻”样本上。对于一个被分类为AGN的源，我们可以找出训练集中离它最近的k个源，查看它们大多是哪些类型的AGN（射电噪？光学致密？），这能提供非常直观的“相似性”依据。

局限性：

1. 标签依赖性与偏差：模型的性能上限受制于“金标准”标签的质量。传统分类方法本身存在局限，例如，射电宁静的、光学延展的、中红外无幂律谱的AGN（即“隐藏”的AGN）可能被错误地标记为SFG。模型会学习并延续这种偏差。
2. 红移与选择效应：我们的训练样本集中在某个红移和亮度范围内。直接将训练好的模型应用到更高红移或更暗的源上，可能会因为“训练集与测试集分布不同”而导致性能下降。这被称为“域适应”问题。
3. 对极端源的泛化能力：对于训练集中很少见的极端类型（如极高光度的类星体或极低表面亮度的矮星系），模型的分类可能不可靠。

5.3 向未来巡天拓展：自动化分类流水线构建

基于本项目，我们可以规划一个面向未来大规模巡天的自动化分类流水线：

1. 数据输入层：接入巡天数据发布星表，自动提取所需特征（qIR需计算，需要红外对应流量；class_star需要高分辨率光学图像测光）。
2. 预处理与特征计算层：自动处理缺失值、进行标准化。计算必要的衍生参数（如颜色）。
3. 模型服务层：加载预先在高质量深场数据上训练好的最优模型（例如kNN模型）。考虑到数据量，可能需要使用近似最近邻算法进行加速。
4. 分类与输出层：对每个源给出分类标签（SFG/AGN），并可以附加一个分类概率或置信度分数。对于处于分类边界（概率接近0.5）的源，可以打上“不确定”标签，供人工后续检查。
5. 持续学习与更新：当新的深场数据或更精确的分类方法出现时，可以不断用新数据更新训练集，重新训练模型，迭代提升分类器性能���

最终建议：在实际部署中，不必局限于单一模型。可以采用集成策略，例如，用逻辑回归或kNN作为主分类器，同时用随机森林计算每个源的分类概率和不确定性估计。对于概率处于中间范围的源，可以触发更复杂的模型或甚至提请人工审核，形成一个“人机混合”的高效分类系统。机器学习不是要取代天文学家，而是将我们从重复性的初筛劳动中解放出来，让我们能更专注于那些真正奇特、有趣的源和背后的物理问题。