当前位置：首页 > news >正文

CANN/ge CountBatch批处理功能

news 2026/5/9 23:35:15

CountBatch

【免费下载链接】geGE（Graph Engine）是面向昇腾的图编译器和执行器，提供了计算图优化、多流并行、内存复用和模型下沉等技术手段，加速模型执行效率，减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力，并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge

产品支持情况

产品	是否支持
Atlas A3 训练系列产品/Atlas A3 推理系列产品	√
Atlas A2 训练系列产品/Atlas A2 推理系列产品	√

功能介绍

CountBatch功能是指基于UDF为计算处理点将多个数据按batch_size组成batch。

该功能应用于DataFlow异步场景，具体如下。

长时间没有数据输入时，可以通过CountBatch功能设置超时时间，如果没有设置padding，超时后取当前已有数据送计算处理点处理。
设置超时时间后，如果数据不满batch_size时，可以通过CountBatch功能设置padding属性，计算点根据padding设置对数据进行填充到batch_size后输出。

使用方法

用户在DataFlow构图时通过给FlowNode的输入设置属性来添加CountBatch功能。示例如下。

CountBatch count_batch = {}; // 按需求设置count_batch中各属性的值 count_batch.timeout = 10; count_batch.batch_size = 300; count_batch.padding = true; count_batch.slide_stride = 5; DataFlowInputAttr flow_attr = {DataFlowAttrType::COUNT_BATCH, &count_batch}; std::vector<DataFlowInputAttr> flow_attrs = {flow_attr}; // 通过FlowNode的MapInput设置 FlowNode::MapInput(xx, xx, xx, flow_attrs);

属性名称	数据类型	取值说明
batch_size	int64_t	组batch大小。
timeout	int64_t	只有设置了batch_size时，该参数才生效。组batch等待时间，单位（ms），取值范围[0,4294967295)，默认值是0，表示一直等待直到满batch。
padding	bool	只有设置了batch_size和timeout时，该参数才生效。不足batch时，是否padding。默认值false，表示不padding。
slide_stride	int64_t	只有设置了batch_size时，该参数才生效。滑窗步长，取值范围[0,batch_size]。 - >0且<batch_size时表示启用滑窗方式组batch。 - 不设置，等于0。 - 等于batch_size时按照未设置滑窗步长方式组batch。 - >batch_size报错。
batch_dim	int64_t	未使能。
flag	int32_t	未使能。
drop_remainder	bool	未使能。