[!NOTE] 数据背景介绍
数据来自 比赛举办方： 主要数据是 三个天气数据源nwp1 nwp2 nwp3,以及历史发电功率数据
新能源预测（数据处理）
1. NWP 数据
1.1 nwp数据
nwp 数据 -- NWP代表数值天气预报（Numerical Weather Prediction），通过python 第三方库netCDF4 来对nwp 数据进行读取，并转换为方便处理的csv 格式。
结构示例：
🔢 维度 Dimensions
------------------------------
time: size = 1
channel: size = 8
lead_time: size = 24
lat: size = 11
lon: size = 11📊 变量 Variables
------------------------------
time: shape = (1,), dtype = int64
channel: shape = (8,), dtype = <class 'str'>
data: shape = (1, 24, 8, 11, 11), dtype = float64
lat: shape = (11,), dtype = int64
lon: shape = (11,), dtype = int64
lead_time: shape = (24,), dtype = int64dimensions: ('lead_time',)
📅 原始 time 值: [0]
⏱ 原始 lead_time 值: [ 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23]
📆 解析后的起始时间: 2024-01-01 16:00:00
各个数据源 chanel 包含的天气信息
[!NOTE] 官方解释
比赛输入数据来自三个不同的气象预报数据，数据格式为nc,共8个变量，需要注意气象源NWP_2的变量与另外两个稍有不同。气象变量说明见下文。每个文件是第二天北京时间0点开始的未来24小时气象预报，时间间隔1小时，文件名的日期表示预报发布日期，如20240101.nc是2024年1月1日发布的，对1月2日的预报。每个输入文件有5个维度，time,channel,hour,lat,lon。
time表示数据第一个时刻，为世界时；channel为变量，共8维；hour为从起始时间到预报时间的时间间隔，数值为0～23；lat为纬度，数值从小到大为从北向南排列；lon为经度，数值从小到大为从西向东排列。这里经纬度数值仅代表相对关系，中心点为离场站最近的点。
参赛队伍可以不使用全部气象源的全部变量做为输入。
怎么理解这个解释嘞？
数据首先是时间序列（0-23）,每个小时的每个特征 有11 * 11 的分布，例如下边这样
Feature Table
| 变量名称 | NWP 模型 1 | NWP 模型 2 | NWP 模型 3 | 中文解释 | |
|---|---|---|---|---|---|
| ghi | ✔️ | ✔️ | ✔️ | 全球水平辐照度 | |
| poai | ✔️ | ✔️ | ✔️ | 平面总辐射 | |
| sp | ✔️ | ✔️ | 地表温度 | ||
| msl | ✔️ | 平均海平面气压 | |||
| t2m | ✔️ | ✔️ | ✔️ | 2米高度温度 | |
| tcc | ✔️ | ✔️ | ✔️ | 总云量 | |
| tp | ✔️ | ✔️ | ✔️ | 降水量 | |
| u100 | ✔️ | ✔️ | ✔️ | 100米高度处的东风分量 | |
| v100 | ✔️ | ✔️ | ✔️ | 100米高度处的北风分量 |
✔️ 表示该模型包含此变量。
1.2 处理nwp数据
从每个气象预报文件（格式为 DATE.nc）中提取24小时的预报数据，并对每个小时内的8个气象变量进行空间平均计算（即在经纬度维度上取平均值）。最终生成一个形状为 (24, 8) 的二维数组 daily_data，表示每天24小时、每个小时中8个变量的空间平均值。
完成前置数据处理后，依次进行以下操作：
- 检查缺失值（NaN）
- 归一化处理（Normalization）
- 将结果保存为CSV文件
- 特征工程
- 通过u/v100 计算wind_speed ，并作为新的feature 添加到数据中。
- 由于每个站点的发电功率对每个feature的依赖不同，因此针对不同站点其用于训练的特征不同。
- 通过baseline来获取不同站点的feature importance 信息，根据importance信息来筛选feature 见Table 1。同时计算三个数据源中ghi,poai,wind_speed的平均值保存为train_means.csv 和 test_means.csv。
Table 1 :Features used for each station.
| Station | Features |
|---|---|
| 1 | wind_speed, wind_direction |
| 2 | wind_speed, wind_direction, poai, t2m, tp, tcc, sp |
| 3 | wind_direction, t2m, wind_speed, tcc, tp |
| 4 | wind_speed, wind_direction, poai, t2m, tp, tcc, sp |
| 5 | wind_speed, wind_direction, poai, t2m, tp, tcc, sp |
| 6 | ghi |
| 7 | ghi |
| 8 | ghi, time, wind_direction, t2m, tp |
| 9 | poai |
| 10 | wind_speed, wind_direction, poai, t2m, tp, tcc, sp |
2. Target数据
总共10 个target 数据，是训练集对应的发电功率数据。
其中每个站点的target数据，是该站点2024 年的发电功率数据，其中数据的统计步长为15分钟，共35136 条数据。
2.1 数据处理：
- 清除异常数据，对nan数据进行线性插值处理。
- 将其数据步长更改为1h。（四个只保留整点数据）
- 保存为csv文件。