CANN/pypto张量创建指南

Tensor的创建

【免费下载链接】pyptoPyPTO（发音: pai p-t-o）：Parallel Tensor/Tile Operation编程范式。项目地址: https://gitcode.com/cann/pypto

Tensor是PyPTO中的基本数据结构，用于表示将在计算图中使用并在NPU上执行的多维数组。

在PyPTO中，Tensor表示其数据的结构和属性，这使得PyPTO能够构建计算图，并在执行前对其进行优化。Tensor在执行时才包含实际值，未初始化的Tensor中的值都是随机的，在执行时需要按需初始化。

创建Tensor

• 创建基础Tensor

  #创建形状为[2, 3]、数据类型为FP16的Tensor tensor = pypto.tensor([2, 3], pypto.DT_FP16, "my_tensor")

  参数说明：

  • shape：维度，支持整数列表。
  • dtype：表示Tensor中存储的数据类型，支持DataType类型，例如，DT_FP16表示16位半精度浮点数。
  • name：名称，支持字符串类型，可选。但建议为Tensor提供有意义的名称，以便于调试和理解计算图结构。
  • format：数据排布格式，支持TileOpFormat类型，可选，默认为：TILEOP_ND。 format显式标记时, 性能更优, 要求传入的torch tensor与pypto.Tensor声明的format一致;

• 创建带格式的Tensor

  #使用NZ格式创建一个Tensor tensor = pypto.tensor([-1, 32], pypto.DT_FP16, "nz_tensor", pypto.TileOpFormat.TILEOP_NZ)

  支持的格式：

  • TILEOP_ND：ND格式，N维数组，在PyPTO中采用行优先模式。
  • TILEOP_NZ：NZ格式，矩阵乘相关的特殊格式。二维矩阵被分为若干个分形（分形大小更能适配一次Cube计算），分形按照列优先即N字形排布；每个分形按照行优先即Z字形排布。详细介绍请参见数据排布格式。

• 在子函数内创建Tensor并返回至主函数

  def sub_function(): #创建形状为[2, 3]、数据类型为FP16的Tensor tensor = pypto.tensor([2, 3], pypto.DT_FP16, "my_tensor") return tensor def main_function(): sub_tensor = sub_function()

• PyTorch的Tensor转换为PyPTO的Tensor

  # prepare data input_data = torch.rand(shape, dtype=torch.float, device='npu') output_data = torch.zeros(shape, dtype=torch.float, device='npu') #convert from torch tensor to pypto tensor pto_input = pypto.from_torch(input_data, "in_0") pto_output = pypto.from_torch(output_data, "out_0")

查看Tensor属性

Tensor包括形状（shape）、数据类型（dtype）、数据排布格式（format）、维数（dim）、名称（name）等基本属性，通过pypto.tensor相关操作接口可以查询这些属性信息。

tensor = pypto.tensor([2,3, 4], pypto.DT_FP16, "example") #形状 print(tensor.shape) #[2, 3, 4] #数据类型 print(tensor.dtype) #数据类型.DT_FP16 #维数 print(tensor.dim) # 3 #格式 print(tensor.format) #TILEOP_ND #名称 print(tensor.name) # "example" tensor.name = "new_name" #可以更改

动态维度Tensor的处理

在实际应用场景，Tensor通常是个可变长的数据。可通过以下方法定义动态Shape的Tensor，并通过-1标记动态维度：

tensor = pypto.tensor([-1, 32], pypto.DT_FP16, "dynamic") #打印tensor的维度，SymbolicScalar表示当前Shape为符号化标量 print(tensor.shape) >>> [SymbolicScalar(RUNTIME_GetInputShapeDim(ARG_dynamic,0)), 32]

通过如下方法可以获取动态维度的符号化标量，在运行时获取具体数值：

b = pypto.symbolic_scalar(tensor_shape[0])

如果Tensor继承自PyTorch Tensor，可以通过pypto.from_torch接口的参数dynamic_axis = [int]来定义动态维度的Tensor。

# prepare data input_data = torch.rand(shape, dtype=torch.float, device='npu') output_data = torch.zeros(shape, dtype=torch.float, device='npu') #convert from torch tensor to pypto tensor with dynamic axis pto_input = pypto.from_torch(input_data, "in_0", dynamic_axis=[0]) pto_output = pypto.from_torch(output_data, "out_0", dynamic_axis=[0])

【免费下载链接】pyptoPyPTO（发音: pai p-t-o）：Parallel Tensor/Tile Operation编程范式。项目地址: https://gitcode.com/cann/pypto