基于SVR与特征选择的系外行星半径预测：数据清洗、模型构建与天文解读

1. 项目概述：从数据到洞察，预测遥远世界的尺寸

在系外行星研究的浩瀚星海中，我们获取的数据往往是间接且充满噪声的。当一颗行星从它的母恒星前方经过，我们称之为“凌星”，望远镜会记录下恒星亮度的微小下降。从这些“光变曲线”中，我们可以计算出这颗行星的轨道周期、凌星深度，进而估算其相对于恒星的大小（半径比）。然而，要得到行星的绝对物理半径，我们还需要知道恒星的半径。很多时候，恒星本身的参数（如半径、质量、有效温度）也存在着不小的不确定性。这就引出了一个核心问题：能否利用我们已知的、相对更可靠的观测数据，去预测那些参数不全或存在较大误差的系外行星的半径？

这正是“机器学习预测系外行星半径”项目的出发点。它不是一个天马行空的猜想，而是数据驱动天文学的一个典型应用。我们手头拥有大量来自开普勒（Kepler）、苔丝（TESS）等太空望远镜的系外行星候选体或确认行星的观测数据。这些数据表格里，通常包含了行星的轨道周期、凌星深度、恒星的有效温度、表面重力、金属丰度等数十个特征。我们的目标，就是从中找出与行星半径关联性最强的特征，并构建一个稳健的预测模型。

我选择支持向量回归（SVR）作为核心模型，并非随意之举。在天文数据中，特征与目标（行星半径）之间的关系往往是非线性的，且数据中不可避免地存在异常值（比如某些参数测量误差极大）。SVR模型通过核函数技巧能很好地处理非线性关系，同时其核心思想——寻找一个使大部分样本落在“ε-带”内的最优超平面——使其对异常值不那么敏感，这比普通的线性回归或对异常值脆弱的模型更具鲁棒性。这个项目，就是一次将严谨的天文数据与灵活的机器学习工具相结合的深度实践，旨在从纷繁的数据中提炼出可靠的预测规律。

2. 核心思路与数据基石：理解我们手中的“星图”

在动手写一行代码之前，我们必须彻底理解数据的来源、结构和潜在的“坑”。这个项目的成败，八成取决于数据准备阶段的工作是否扎实。

2.1 数据来源与特征初探

最常用的数据源是NASA系外行星档案（NASA Exoplanet Archive）。我们可以直接下载其公开的“行星系综合表”。这张表包含了数千颗系外行星的数十个参数。对于预测行星半径，我们最初可能关注的候选特征包括：

• 行星相关参数：轨道周期（pl_orbper）、轨道半长轴（pl_orbsmax）、凌星深度（pl_trandep）、凌星时长（pl_trandur）等。这些直接来自凌星观测。
• 恒星相关参数：恒星半径（st_rad）、恒星质量（st_mass）、有效温度（st_teff）、表面重力（st_logg）、金属丰度（st_met）等。这些是推导行星绝对半径的关键。
• 衍生参数：例如行星平衡温度（可通过轨道半长轴和恒星温度估算）、行星密度（需要质量和半径，但质量通常由径向速度法测得，数据更稀疏）等。

注意：数据表中存在大量缺失值（NaN）。例如，许多行星只有凌星观测数据（故有半径比），但没有精确的恒星半径数据（故无法计算绝对行星半径）。我们的目标变量——行星绝对半径（pl_radj，通常以木星半径为单位）——的缺失，正是我们需要预测的。因此，第一步是筛选出pl_radj非空的行星作为训练集和测试集。

2.2 数据清洗：为模型准备“干净食材”

原始数据直接喂给模型，效果通常会很差。清洗步骤至关重要：

1. 单位统一与量纲处理：确保所有物理量的单位一致（如将日换算成年，将地球半径换算为木星半径）。更关键的是，不同特征量纲差异巨大（如轨道周期是10^0-10^3量级，金属丰度是10^-2量级），这会导致模型对量级大的特征过度敏感。因此，标准化（StandardScaler）或归一化（MinMaxScaler）是必须的。我通常使用StandardScaler，因为它能保留数据的分布形状，对后续一些基于距离的算法（如SVR的RBF核）更友好。

2. 缺失值处理：对于特征列的缺失值，需要谨慎处理。

   • 简单删除：如果某一行在关键特征（如恒星温度、表面重力）上缺失，而该特征我们认为很重要，可以考虑删除该样本。前提是删除后数据量依然充足。
   • 中位数/均值填充：对于数值型特征，常用该特征的非缺失值的中位数进行填充，比均值更抗异常值。
   • 建模填充（如KNN）：更精细的方法，但复杂度高。对于本项目初期，中位数填充是稳妥的起点。
   • 特别注意：绝对不能填充目标变量pl_radj的缺失值。那些正是我们需要预测的未知行星。

3. 异常值检测与处理：天文数据中异常值可能代表稀有天体（如极端热木星），也可能是错误测量。需要结合领域知识判断。

   • 可视化：绘制特征与目标变量的散点图，观察是否有明显脱离群体的点。
   • 统计方法：使用箱线图（IQR法则）或3σ原则识别异常值。
   • 处理策略：如果确认是错误数据，可以删除或修正。如果是真实但罕见的物理现象，需要决定是保留（模型需要学习其规律）还是暂时剔除（先保证主体模型的稳健性）。在初期构建通用模型时，我倾向于剔除极端异常值，让模型先学习主体规律。

2.3 特征工程：构造更有物理意义的线索

直接从原始数据表中取用特征有时不够。根据天体物理知识构造新特征，往往能提升模型性能。

• 流量计算：行星接收的恒星辐射流量F = (st_rad^2 * st_teff^4) / pl_orbsmax^2。这个参数与行星的大气演化和半径膨胀密切相关（特别是对于气态巨行星）。研究表明，接收高流量的热木星，其半径可能因内部加热而膨胀。
• 行星类别标识：根据现有半径和周期（或平衡温度），可以打上粗略的标签，如“热木星”（周期短、半径大）、“温带亚海王星”等。可以将其转为有序的数值或独热编码，作为辅助特征。
• 相互作用项：例如st_teff * pl_orbper，可能捕捉到某种特定的物理耦合关系。这可以通过后续的特征选择来验证其有效性。

经过以上步骤，我们得到了一份相对干净、包含数十个潜在特征（原始+衍生）的数据集，以及对应的已知行星半径值。接下来，就是如何从这些特征中挑选出“精锐部队”。

3. 特征选择策略：寻找驱动行星半径的关键“旋钮”

特征选择是本次项目的核心环节之一。目标是在不显著损失信息的前提下，降低数据维度、减少噪声、防止过拟合，并提升模型的可解释性。我们主要采用过滤法和嵌入法结合的方式。

3.1 过滤法：快速筛选相关特征

过滤法基于特征与目标变量的统计关系进行排序，独立于后续的机器学习模型。

1. 皮尔逊相关系数：计算每个特征与行星半径的线性相关系数。它能快速找出线性关系强的特征，如pl_orbper（周期）与半径通常呈弱相关（长周期轨道可能对应更大的行星？不一定，需谨慎），而由恒星半径和凌星深度计算出的半径比相关度会极高。但相关系数只能捕捉线性关系。
2. 互信息：衡量特征与目标变量之间的任何形式的统计依赖性，包括非线性关系。scikit-learn中的mutual_info_regression函数非常适合于此。它会给出每个特征与目标之间互信息的一个估计值，值越大，表示该特征蕴含的关于目标的信息越多。这是过滤法中最推荐的一步。
3. 方差阈值：移除方差极低的特征（例如几乎所有样本值都相同），这些特征基本不提供有用信息。

实操心得：我会先计算互信息，并绘制特征重要性条形图。然后，设定一个阈值（例如选择互信息排名前15的特征），或者选择“肘部”点（即重要性开始急剧下降的点）之前的特征。同时，结合皮尔逊相关系数观察，如果某个特征互信息高但相关系数低，说明它与目标存在强烈的非线性关系，这正是SVR模型可以发挥优势的地方。

3.2 嵌入法：让模型自己投票

嵌入法将特征选择过程与模型训练相结合。这里我们使用两种树模型。

1. 随机森林回归器的重要性评估：训练一个随机森林模型，然后查看其feature_importances_属性。树模型通过计算每个特征在分裂节点时带来的不纯度减少总量来评估重要性。它能很好地捕捉特征的非线性关系和交互效应。
2. Lasso回归（L1正则化）：在线性回归的损失函数中加入L1正则化项，它倾向于将不重要的特征的系数压缩至0，从而实现特征选择。虽然我们最终用SVR，但Lasso的结果可以作为重要参考，特别是对于线性可分的部分。

操作流程：

• 将过滤法（互信息）选出的特征子集，输入到随机森林中进行训练，得到另一套重要性排名。
• 对比过滤法和嵌入法的结果。通常，两者会共同指向一批核心特征，如恒星半径（st_rad）、轨道周期（pl_orbper）、恒星有效温度（st_teff）、金属丰度（st_met）以及我们构造的辐射流量（F）。
• 对于排名不一致的特征，需要结合天体物理知识进行判断。例如，st_logg（表面重力）可能与恒星半径和质量都相关，信息有重叠，模型可能认为其中一个更重要。

3.3 最终特征子集的确定

不要盲目追求特征数量少。我们的策略是：取过滤法和嵌入法结果的“交集”或“强并集”。

1. 核心特征集：在两种方法中都排名靠前的特征，无条件入选。
2. 候选特征集：在一种方法中排名高，另一种中排名中等，但有明确物理意义的特征（如pl_trandur凌星时长，与行星轨道倾角和恒星大小有关），可以考虑加入。
3. 验证：使用不同数量的特征子集（例如Top 5, Top 10, Top 15），在验证集上测试SVR模型的性能（如R2分数，均方误差）。观察性能随特征数增加的变化曲线，在性能增长平台期或开始下降时，确定最终特征数量。

经过这一轮筛选，我们可能将特征从最初的30多个减少到8-12个。这组特征就是我们认为与行星半径预测最相关的“关键旋钮”。

4. SVR模型构建与调优：锻造预测的“标尺”

有了精选的特征，我们就可以开始构建核心的SVR模型了。这一步的重点是理解SVR的关键超参数，并系统地寻找最优组合。

4.1 SVR核心原理与参数解读

支持向量回归（SVR）的目标是找到一个函数 f(x) = w·φ(x) + b，使得大部分训练样本落在以f(x)为中心、宽度为2ε的间隔带内。其中φ(x)是将数据映射到高维空间的函数，通过核函数K(x_i, x_j) = φ(x_i)·φ(x_j)隐式实现。关键参数如下：

• 核函数（kernel）：决定数据在高维空间的映射方式。
  • linear：线性核，适用于线性可分或近似线性的情况。在本项目中，特征与半径关系多为非线性，线性核通常表现不佳。
  • rbf（径向基函数核）：exp(-γ * ||x_i - x_j||^2)。这是最常用、也最可能在本项目中表现最佳的核函数。它能处理高度非线性的关系，参数γ控制单个样本的影响范围。
  • poly（多项式核）：(γ * x_i·x_j + r)^d。可以显式控制多项式阶数d，但调参更复杂，容易过拟合。
• C（正则化参数）：惩罚落在ε间隔带之外的样本。C值越大，对误差的容忍度越低，模型会更努力拟合每一个训练点，可能导致过拟合；C值越小，模型更倾向于一个平坦的拟合，可能欠拟合。
• γ（rbf核参数）：定义了单个训练样本的影响范围。γ值越大，影响范围越小，样本需要离得很近才会被认为相似，决策边界会变得复杂（可能过拟合）；γ值越小，影响范围越大，决策边界更平滑（可能欠拟合）。
• ε（epsilon）：间隔带的宽度。ε越大，间隔带越宽，模型允许的误差越大，支持向量可能越少，模型更简单；ε越小，对拟合精度要求越高，模型可能更复杂。

4.2 系统化调优流程：网格搜索与交叉验证

手动调参效率低下。我们使用GridSearchCV（网格搜索交叉验证）进行自动化寻优。

1. 数据划分：将清洗后的数据（仅包含目标值已知的样本）按7:1.5:1.5划分为训练集、验证集和测试集。测试集必须全程隔离，仅在最终评估时使用一次。
2. 定义参数网格：针对rbf核，我们需要对C、gamma、epsilon进行搜索。

   param_grid = { 'C': [0.1, 1, 10, 100, 1000], # 宽范围搜索 'gamma': ['scale', 'auto', 0.001, 0.01, 0.1, 1], # 包含自动和手动值 'epsilon': [0.01, 0.05, 0.1, 0.2, 0.5] }

   • gamma='scale'：默认值，等于1 / (n_features * X.var())，推荐首先尝试。
   • gamma='auto'：等于1 / n_features。
3. 执行网格搜索：

   from sklearn.svm import SVR from sklearn.model_selection import GridSearchCV from sklearn.preprocessing import StandardScaler from sklearn.pipeline import Pipeline # 创建管道，确保缩放只在训练折叠上进行 pipe = Pipeline([ ('scaler', StandardScaler()), ('svr', SVR(kernel='rbf')) ]) # 定义网格搜索对象，使用5折交叉验证，以R2分数作为评估指标 grid_search = GridSearchCV(pipe, param_grid, cv=5, scoring='r2', n_jobs=-1, verbose=1) grid_search.fit(X_train, y_train) # 输出最佳参数和最佳交叉验证分数 print(f"Best parameters: {grid_search.best_params_}") print(f"Best cross-validation R2: {grid_search.best_score_:.4f}")

4. 在验证集上确认：用得到的最佳参数在训练集上重新训练模型，然后在验证集上评估性能。观察R2分数、均方误差（MSE）、平均绝对误差（MAE）等指标，并与交叉验证分数对比，确保没有严重过拟合。

实操心得：网格搜索非常耗时，尤其是数据量大、参数网格细的时候。一个技巧是先进行粗搜索（如C和gamma用[0.1, 1, 10, 100]，epsilon用[0.05, 0.1, 0.2]），找到最佳参数的大致区域，然后在该区域进行精细搜索。另外，epsilon对结果的影响有时不如C和gamma显著，可以将其范围设得小一些。

5. 模型评估、结果分析与天文解读

模型训练和调优完成后，我们需要全面评估其性能，并尝试从天体物理角度解读模型学到的规律。

5.1 多维度评估模型性能

不要只看一个R2分数。我们需要一套组合指标：

1. 在测试集上的最终评估：使用完全未参与训练和调优的测试集。
   • R2决定系数：越接近1越好，表示模型解释了目标变量方差的百分比。在天文数据中，能达到0.8以上就已经非常出色。
   • 均方误差（MSE）与均方根误差（RMSE）：以木星半径为单位，给出误差的绝对量级。例如，RMSE=0.1 R_jup，意味着平均预测误差约为0.1个木星半径。
   • 平均绝对误差（MAE）：对异常值不如MSE敏感，更能反映典型的预测误差。
   • 平均绝对百分比误差（MAPE）：相对误差，对于评估不同大小行星的预测精度很有用。
2. 可视化诊断：
   • 预测值 vs 真实值散点图：理想情况是所有点落在y=x的对角线附近。可以清晰看到模型在哪个区域（如小行星还是大行星）预测更准或更不准。
   • 残差图（残差 vs 预测值）：检查残差是否随机分布。如果出现明显的模式（如漏斗形），说明模型存在系统误差，可能忽略了某个重要特征或存在异方差性。
   • 残差分布直方图：检查是否近似正态分布。严重的偏态可能意味着模型在某些区间系统性高估或低估。

5.2 特征重要性再审视与物理洞察

虽然SVR本身不像树模型那样直接提供特征重要性，但我们可以通过一些方法来理解模型：

1. 排列重要性：对测试集中的某个特征列的值进行随机打乱，然后重新计算模型性能的下降程度。下降越多，说明该特征越重要。scikit-learn的inspection模块提供了permutation_importance函数。
2. 部分依赖图：展示某个特征在取值范围内变化时，模型预测输出的平均变化情况，同时保持其他特征不变。这能直观揭示该特征与行星半径之间的边际关系，无论是线性还是非线性的。

结合天文知识的解读：

• 如果恒星半径（st_rad）和辐射流量（F）显示出极高的正重要性，这完全符合预期：更大的恒星通常拥有更大的行星形成盘，更容易形成大行星；高辐射流量会导致气态行星大气受热膨胀，半径增大。
• 如果金属丰度（st_met）也重要，这与“金属丰度高的恒星周围更容易形成气态巨行星”的理论观测结果相符。
• 通过部分依赖图，我们可能发现pl_orbper（轨道周期）与预测半径之间存在一个非单调关系：周期极短（<3天）的热木星半径可能因潮汐加热和恒星辐射而膨胀；周期中等（10-100天）的温带行星半径可能分布较广；周期很长（>100天）的类木行星半径可能趋于稳定。这种复杂关系正是线性模型难以捕捉，而SVR（RBF核）可以学习的。

5.3 模型应用：预测未知行星半径

最终，我们用全部可用数据（训练+验证+测试）重新训练一个最终模型。然后，对pl_radj为缺失值的那些系外行星候选体，输入其经过同样预处理和特征工程后的特征数据，进行预测。

预测结果应附带一个不确定性估计。一个简单的方法是使用交叉验证：在多次不同的数据划分下训练模型，对同一个未知样本得到多个预测值，计算其均值和标准差，标准差可以作为预测不确定性的粗略度量。

6. 常见问题、挑战与实战心得

在实际操作中，你会遇到各种各样的问题。以下是我踩过的一些坑和总结的经验。

6.1 数据层面的挑战

1. 样本量不足与类别不平衡：已确认半径的系外行星样本可能只有几千个，且大部分是气态巨行星（热木星、冷木星），类地行星和超级地球的样本很少。这会导致模型对小半径行星的预测能力偏弱。
   • 应对：对于分类预测，可以采用过采样/欠采样。对于回归问题，可以尝试为不同类别的样本设置不同的损失权重，或者在评估时按行星类别分组查看误差。
2. 测量误差传播：所有观测特征（如恒星温度、金属丰度）都有误差棒。我们使用的都是最佳估计值，忽略了误差。这会在特征中引入噪声，影响模型精度。
   • 应对：更高级的方法是将测量误差纳入模型，例如使用贝叶斯方法或误差在变量模型，但这会极大增加复杂度。在初期，可以尝试通过数据增强（在特征值附近根据误差范围进行随机扰动）来模拟误差影响，增强模型鲁棒性。
3. 特征间的强相关性（共线性）：例如恒星半径、质量和表面重力之间存在物理公式关联。共线性不会影响SVR的预测能力，但会使模型系数（如果使用线性核）难以解释，也可能使基于梯度的优化不太稳定。
   • 应对：特征选择过程（如Lasso）本身可以缓解共线性。也可以使用主成分分析（PCA）进行降维，但会损失特征的可解释性。

6.2 模型层面的挑战

1. SVR对超参数敏感：如前所述，C、gamma的选择至关重要。不合适的参数会导致严重的过拟合或欠拟合。
   • 应对：务必使用交叉验证进行系统调优。可视化学习曲线（训练/验证分数随训练样本数或参数的变化）有助于诊断过/欠拟合。
2. 计算成本高：SVR的训练时间复杂度通常在O(n^2)到O(n^3)之间，对于上万样本的数据集，网格搜索会非常慢。
   • 应对：使用libsvm或liblinear的优化实现（scikit-learn已集成）。在网格搜索前先用子样本进行粗调。考虑使用随机搜索（RandomizedSearchCV）替代全网格搜索，效率更高。
3. 模型可解释性黑箱：SVR（尤其是带RBF核的）是一个典型的黑箱模型，难以像线性回归那样给出“特征X增加1单位，半径增加Y”的明确解释。
   • 应对：这正是我们强调使用排列重要性和部分依赖图的原因。它们是目前解释复杂模型最实用的工具之一。

6.3 我的实操心得与技巧

• 从简单模型开始：不要一上来就用SVR。先尝试线性回归、岭回归等简单模型作为基线。这能帮你快速了解数据的线性可分程度，并建立一个性能参照物。如果简单模型R2能达到0.6，那么SVR的目标可能就是提升到0.75或0.8。
• 特征缩放是生命线：对于基于距离的模型（如SVR with RBF核），特征缩放必须做。StandardScaler是安全的选择。务必记住：缩放器要用训练集的数据进行拟合（fit），然后同时应用于训练集和测试集（transform），避免数据泄露。
• 关注残差模式：如果残差图显示小半径行星的预测误差普遍为负（模型高估），大半径行星误差普遍为正（模型低估），这可能意味着模型没有很好地捕捉整个动态范围。可以尝试对目标变量（行星半径）进行对数变换，因为天文参数经常跨越多个数量级，对数变换可以使关系更线性，误差更均匀。
• 集成学习作为进阶：如果单一SVR模型性能达到瓶颈，可以考虑使用集成方法，如将SVR与随机森林、梯度提升树等模型的结果进行加权平均（软投票回归器）。这往往能进一步提升预测的稳定性和精度。
• 领域知识永远是最好的向导：在特征工程和结果解读阶段，天体物理知识比任何算法都重要。多读相关文献，了解哪些物理量被理论认为与行星半径演化相关，将这些洞见融入到你的特征构造和模型分析中，你的工作才会更有深度和价值。

这个项目远不止是调一个SVR模型那么简单。它是一个完整的、从脏数据到可解释洞察的数据科学流程在天文学中的缩影。每一个步骤——数据清洗、特征工程、模型选择、调优、评估、解读——都充满了需要结合领域知识进行判断和权衡的细节。最终得到的不仅是一个预测工具，更是一份关于“哪些因素在多大程度上决定了系外行星大小”的数据驱动研究报告。