当前位置：首页 > news >正文

ImageToTensor函数的完整实现版本，專門用在 .NET MAUI + YOLOv8 ONNX 推理流程中

news 2026/3/26 21:34:04

以下是ImageToTensor函数的完整实现版本，專門用在 .NET MAUI + YOLOv8 ONNX 推理流程中，將 SkiaSharp 的 SKBitmap 轉換成 ONNX Runtime 需要的DenseTensor（形狀通常為 [1, 3, 640, 640] 或你模型的輸入尺寸）。

這個函數實現了 YOLOv8 最常見的預處理步驟：

BGR → RGB（如果來源是 BGR）
縮放到模型輸入尺寸（通常 640×640）
歸一化到 [0,1]（像素值 / 255）
通道順序轉為 CHW（C=3, H=640, W=640）
增加 batch 維度 [1, 3, H, W]

推薦實現（最常用版本）

usingMicrosoft.ML.OnnxRuntime.Tensors;usingSkiaSharp;/// <summary>/// 將 SKBitmap 轉換為 YOLOv8 ONNX 模型所需的輸入 Tensor/// 輸入形狀：[1, 3, height, width]，通道順序 CHW，值域 [0,1]/// </summary>/// <param name="bitmap">原始或已 resize 的 SKBitmap（建議已 resize 到模型輸入尺寸）</param>/// <param name="targetWidth">模型期望的寬度（通常 640）</param>/// <param name="targetHeight">模型期望的高度（通常 640）</param>/// <returns>DenseTensor&lt;float&gt; 供 ONNX Runtime 使用</returns>privateDenseTensor<float>ImageToTensor(SKBitmapbitmap,inttargetWidth=640,inttargetHeight=640){// 如果輸入圖片尺寸不匹配，先 resize（保持比例 + 填充黑邊 或 直接強制拉伸）// 這裡採用最常見的強制 resize 到 640x640（YOLOv8 訓練時多為此方式）usingvarresized=bitmap.Resize(newSKImageInfo(targetWidth,targetHeight),SKFilterQuality.High);// 創建輸出 Tensor：[1, 3, H, W]vartensor=newDenseTensor<float>(new[]{1,3,targetHeight,targetWidth});// 遍歷每個像素，進行通道重排 + 歸一化for(inty=0;y<targetHeight;y++){for(intx=0;x<targetWidth;x++){// 獲取像素顏色（SkiaSharp 是 RGBA 格式）SKColorpixel=resized.GetPixel(x,y);// 轉換為 RGB（YOLOv8 期望 RGB 順序）floatr=pixel.Red/255f;floatg=pixel.Green/255f;floatb=pixel.Blue/255f;// CHW 佈局：先通道，再高度，再寬度// channel 0 = R, channel 1 = G, channel 2 = Btensor[0,0,y,x]=r;// Rtensor[0,1,y,x]=g;// Gtensor[0,2,y,x]=b;// B}}returntensor;}

更高效版本（使用 Span + 內存複製，推薦生產環境）

如果你在意性能（尤其是移動端），可以用 Span 避免逐像素 GetPixel/SetPixel 的開銷：

privateDenseTensor<float>ImageToTensorFast(SKBitmapbitmap,inttargetWidth=640,inttargetHeight=640){usingvarresized=bitmap.Resize(newSKImageInfo(targetWidth,targetHeight),SKFilterQuality.Medium);// 鎖定像素內存usingvarpixmap=resized.PeekPixels();if(pixmap==null)thrownewInvalidOperationException("無法獲取像素內存");vartensor=newDenseTensor<float>(new[]{1,3,targetHeight,targetWidth});// 獲取原始像素數據（RGBA 格式，每像素 4 bytes）ReadOnlySpan<byte>pixels=pixmap.GetPixelSpan();intstride=pixmap.RowBytes;// 每行字节數（通常 width * 4）for(inty=0;y<targetHeight;y++){introwOffset=y*stride;for(intx=0;x<targetWidth;x++){intpixelOffset=rowOffset+x*4;floatr=pixels[pixelOffset+0]/255f;// R (假設 RGBA)floatg=pixels[pixelOffset+1]/255f;// Gfloatb=pixels[pixelOffset+2]/255f;// B// pixels[pixelOffset + 3] 是 Alpha，通常忽略tensor[0,0,y,x]=r;tensor[0,1,y,x]=g;tensor[0,2,y,x]=b;}}returntensor;}

使用方式（在 DetectAsync 中調用）

publicasyncTask<List<DetectionResult>>DetectAsync(byte[]imageData,intorigWidth,intorigHeight){usingvarskBmp=SKBitmap.Decode(imageData);if(skBmp==null)thrownewArgumentException("圖片解碼失敗");varinputTensor=ImageToTensorFast(skBmp,640,640);varinputs=new[]{NamedOnnxValue.CreateFromTensor("images",inputTensor)};usingvarresults=awaitTask.Run(()=>_session.Run(inputs));returnYoloV8PostProcess.ProcessOutput(results.First().AsTensor<float>(),origWidth,origHeight,0.4f,0.45f,_labels);}

常見變體與注意事項

需求	修改方式
保持長寬比 + 黑邊填充	先計算 scale，resize 後在 tensor 中填充 0（padding）
Letterbox（YOLO 官方推薦）	計算 scale，resize 後把圖片貼到 640×640 中央，周圍填 114（灰色）
BGR 輸入模型	把 R 和 B 通道交換順序（tensor[0,0,y,x] = b; tensor[0,2,y,x] = r）
輸入尺寸不是 640	改 targetWidth/targetHeight 即可（需匹配導出的 ONNX 模型輸入形狀）
批量推理	改 tensor 第一維為 batch size，同時處理多張圖

推薦 Letterbox + 灰色填充（最接近 Ultralytics 官方預處理）

如果你希望與 Python Ultralytics 的預處理完全一致，可以加入 letterbox 邏輯：

// 先計算縮放比例與填充floatscale=Math.Min((float)targetWidth/bitmap.Width,(float)targetHeight/bitmap.Height);intnewW=(int)(bitmap.Width*scale);intnewH=(int)(bitmap.Height*scale);usingvarscaled=bitmap.Resize(newSKImageInfo(newW,newH),SKFilterQuality.High);// 創建 640x640 畫布，背景灰色 (114,114,114)usingvarcanvasBmp=newSKBitmap(targetWidth,targetHeight);usingvarcanvas=newSKCanvas(canvasBmp);canvas.Clear(newSKColor(114,114,114));// 居中貼上縮放後的圖片intpadLeft=(targetWidth-newW)/2;intpadTop=(targetHeight-newH)/2;canvas.DrawBitmap(scaled,padLeft,padTop);// 再轉 Tensorvartensor=ImageToTensor(canvasBmp,targetWidth,targetHeight);