手把手教你将自定义视频问答JSON转成EasyR1可用的Parquet数据集

手把手教你将自定义视频问答JSON转成EasyR1可用的Parquet数据集

当你在构建视频问答模型时，可能已经收集了大量结构化的JSON格式数据，但如何将这些数据适配到EasyR1框架中却成了一个技术难题。本文将为你提供一个从零开始的完整解决方案，解决数据格式转换过程中的各种痛点。

1. 理解EasyR1的数据需求

EasyR1框架对输入数据有特定要求，我们需要先明确这些规范：

• Parquet格式：EasyR1仅支持这种列式存储格式
• 字段结构：必须包含prompt、answer和videos三个核心字段
• 路径处理：视频路径需要特殊处理以适应框架加载机制

# EasyR1核心数据加载逻辑示例 if os.path.isdir(data_path): self.dataset = load_dataset("parquet", data_dir=data_path, split="train") elif os.path.isfile(data_path): self.dataset = load_dataset("parquet", data_files=data_path, split="train")

2. 原始JSON数据结构解析

典型的视频问答JSON数据通常包含以下字段：

{ "video_id": "video_9431", "videos": ["./videos/video_9431.mp4"], "messages": [ { "content": "<video>问题描述...", "role": "user" }, { "content": 0, "role": "assistant" } ], "q_id": 3 }

注意：不同数据集的具体字段可能有所差异，但核心结构通常包含视频路径、问题描述和答案

3. 数据转换完整流程

3.1 环境准备

首先安装必要的Python包：

pip install datasets pyarrow pandas pillow

3.2 JSON到Dataset对象转换

使用Hugging Face Datasets库进行转换：

import json from datasets import Dataset, DatasetDict, Value def generate_data(data_path: str): with open(data_path, 'r') as f: datas = json.load(f) for data in datas: yield { "videos": data["videos"][0], # 取第一个视频路径 "problem": data["messages"][0]["content"], "answer": data["q_id"] }

3.3 保存为Parquet格式

将Dataset对象转换为Parquet文件：

def save_to_parquet(dataset, output_dir): dataset.set_format('pandas') dataframe = dataset[:] dataframe.to_parquet(output_dir)

4. 特殊处理与常见问题

4.1 @符号的特殊含义

EasyR1使用@符号来分割文件路径和数据集分割：

# config.yaml示例 train_files: ./data/train.parquet@train val_files: ./data/valid.parquet@validation

4.2 视频路径处理技巧

• 绝对路径 vs 相对路径
• 多视频处理策略
• 路径存在性验证

# 路径验证示例 import os if not os.path.exists(video_path): raise ValueError(f"视频文件不存在: {video_path}")

5. 完整代码实现

以下是整合所有步骤的完整脚本：

import json import os from datasets import Dataset, DatasetDict def convert_json_to_parquet(input_json, output_parquet): # 1. 加载JSON数据 with open(input_json) as f: raw_data = json.load(f) # 2. 创建Dataset对象 dataset = Dataset.from_dict({ "videos": [x["videos"][0] for x in raw_data], "problem": [x["messages"][0]["content"] for x in raw_data], "answer": [x["q_id"] for x in raw_data] }) # 3. 保存为Parquet dataset.to_parquet(output_parquet) if __name__ == "__main__": convert_json_to_parquet("input.json", "output.parquet")

6. 验证与调试

转换完成后，建议进行以下验证：

1. 检查Parquet文件是否可以正常加载
2. 验证字段类型是否符合预期
3. 测试视频路径是否能正确解析

# 验证代码示例 from datasets import load_dataset dataset = load_dataset("parquet", data_files="output.parquet") print(dataset["train"][0]) # 查看第一条数据

在实际项目中，我发现最容易出错的是视频路径处理。建议在转换前先统一处理所有路径，确保它们相对于Parquet文件位置的正确性。