嵌入式Linux开发板AI部署实战：从MobileNet模型到API服务

这次我们来看一个非常实用的技术话题：如何在“平地铲开发板”这个嵌入式Linux平台上玩转AI应用。对于很多嵌入式开发者来说，AI模型部署往往意味着高性能的GPU、复杂的驱动和庞大的框架，但“平地铲开发板”这类资源受限的设备，真的能跑AI吗？答案是肯定的，关键在于选择合适的模型、优化部署方式以及充分利用板载资源。

本文将带你从零开始，在平地铲开发板上部署和运行AI应用。我们会重点关注几个核心问题：板子的硬件门槛够不够？如何选择适合的轻量级AI模型？部署流程是复杂还是可以一键启动？能否跑通图像识别、语音唤醒等实际任务？以及最重要的——整个过程需要多少内存和存储，性能表现如何？如果你手头有类似的嵌入式Linux开发板，想验证AI落地的可能性，这篇文章将提供一套完整的实操指南。

1. 核心能力速览

在开始具体操作前，我们先快速了解在平地铲这类开发板上运行AI的核心能力和边界。这能帮你快速判断是否值得投入时间尝试。

2. 适用场景与使用边界

在资源受限的嵌入式设备上运行AI，必须明确什么能做，什么不能做。

适合谁用？

• 嵌入式开发者/学生：学习如何将AI模型部署到边缘设备。
• 物联网（IoT）工程师：为智能摄像头、传感器节点等设备增加本地智能。
• 创客/极客：在树莓派、香橙派、平地铲等开发板上实现有趣的AI应用原型。

能解决什么问题？

1. 数据隐私与低延迟：数据在本地处理，无需上传云端，保护隐私并减少网络延迟。
2. 离线运行：在网络不稳定或断网环境下，设备仍能保持基础智能。
3. 成本控制：利用现有嵌入式硬件，无需采购昂贵的AI加速卡或云服务。

不适合什么场景？

1. 复杂视觉任务：如高精度的人脸识别、图像超分、视频内容生成。
2. 自然语言处理：运行像ChatGPT、文心一言这类大语言模型。
3. 高帧率实时处理：如高速运动物体的实时跟踪与分析。
4. 多模型并行：同时运行多个AI任务。

合规与安全边界

• 模型版权：确保使用的预训练模型符合其开源协议（如MIT, Apache 2.0）。
• 数据安全：处理图像、音频时，确保训练数据和输入数据不涉及他人隐私。
• 应用合规：避免开发用于监控、窃听等侵犯他人合法权益的应用程序。

3. 环境准备与前置条件

开始部署前，请确保你的开发板环境就绪。

硬件准备

• 平地铲开发板（或类似ARM Linux开发板）一台。
• 稳定的电源。
• MicroSD卡（建议16GB以上，Class10速度），用于烧录系统。
• 网络连接：网线或可靠的Wi-Fi，用于安装软件包。
• 串口调试线或SSH客户端：用于连接板子终端。

软件与系统准备

1. 操作系统：为开发板烧录一个稳定的Linux发行版。常见选择有：
   • Raspberry Pi OS(适用于树莓派)
   • Armbian(适用于多种ARM开发板)
   • Ubuntu Core/Server
   • 具体到“平地铲开发板”，需查阅其官方文档，获取专为它适配的系统镜像。
2. 系统更新：首次启动后，务必更新系统包列表并升级现有软件。

   sudo apt update sudo apt upgrade -y

3. 基础开发工具：安装编译和开发所需的基础包。

   sudo apt install -y python3 python3-pip python3-venv git cmake build-essential

Python环境准备强烈建议使用虚拟环境，避免污染系统Python。

# 创建虚拟环境 python3 -m venv ~/ai_env # 激活虚拟环境 source ~/ai_env/bin/activate # 你的命令行提示符前会出现 (ai_env)

4. 安装部署与启动方式

我们将以部署一个经典的轻量级图像分类模型MobileNetV2（使用TensorFlow Lite）为例，展示完整流程。

4.1 安装推理框架

在虚拟环境中，安装适用于嵌入式设备的AI推理框架。TensorFlow Lite是首选，因为它专为移动和嵌入式设备优化。

# 确保虚拟环境已激活 source ~/ai_env/bin/activate # 安装 TensorFlow Lite Runtime # 注意：需要根据你的Python版本和系统架构选择正确的wheel包。 # 对于ARMv7（32位）： pip3 install https://github.com/google-coral/pycoral/releases/download/v2.0.0/tflite_runtime-2.5.0-cp37-cp37m-linux_armv7l.whl # 对于AArch64（64位）： # pip3 install https://github.com/google-coral/pycoral/releases/download/v2.0.0/tflite_runtime-2.5.0-cp37-cp37m-linux_aarch64.whl # 如果上述预编译包不兼容，可以尝试从源码编译或使用更通用的版本： pip3 install tflite-runtime

如果tflite-runtime安装失败，可以安装完整的TensorFlow（体积更大，但兼容性好）。

pip3 install tensorflow

注意：完整TensorFlow在资源紧张的板子上可能运行缓慢。

4.2 下载AI模型

从TensorFlow官方模型库下载预训练的MobileNetV2 TFLite模型。

# 创建一个项目目录 mkdir ~/ai_on_board && cd ~/ai_on_board # 下载模型文件 wget https://storage.googleapis.com/download.tensorflow.org/models/tflite/mobilenet_v1_1.0_224_quant_and_labels.zip # 解压 unzip mobilenet_v1_1.0_224_quant_and_labels.zip

解压后你会得到mobilenet_v1_1.0_224_quant.tflite（模型文件）和labels_mobilenet_quant_v1_224.txt（标签文件）。

4.3 准备测试脚本

创建一个Python脚本，用于加载模型并进行推理。

# 文件：inference.py import numpy as np from PIL import Image import tflite_runtime.interpreter as tflite import time import os # 1. 加载模型和标签 model_path = 'mobilenet_v1_1.0_224_quant.tflite' label_path = 'labels_mobilenet_quant_v1_224.txt' interpreter = tflite.Interpreter(model_path=model_path) interpreter.allocate_tensors() with open(label_path, 'r') as f: labels = [line.strip() for line in f.readlines()] # 2. 获取输入输出详情 input_details = interpreter.get_input_details() output_details = interpreter.get_output_details() height = input_details[0]['shape'][1] width = input_details[0]['shape'][2] # 3. 准备输入图片 # 这里我们准备一张全灰的图片作为示例，实际使用时请替换为你的图片 def load_and_preprocess_image(image_path): image = Image.open(image_path).convert('RGB').resize((width, height)) input_data = np.expand_dims(image, axis=0) # 模型是量化模型，输入需要是uint8 input_data = input_data.astype(np.uint8) return input_data # 如果没有测试图片，可以创建一个虚拟的灰度图 input_data = np.zeros((1, height, width, 3), dtype=np.uint8) + 128 # 灰色 # 4. 执行推理 interpreter.set_tensor(input_details[0]['index'], input_data) start_time = time.time() interpreter.invoke() inference_time = (time.time() - start_time) * 1000 # 转换为毫秒 # 5. 解析输出 output_data = interpreter.get_tensor(output_details[0]['index']) results = np.squeeze(output_data) top_k = results.argsort()[-5:][::-1] # 取概率最高的5个类别 print(f"Inference time: {inference_time:.2f} ms") print("--- Top 5 Predictions ---") for i in top_k: print(f"{labels[i]}: {results[i]/255.0:.4f}") # 量化模型输出需归一化 # 6. 内存占用粗略估算（Linux系统） pid = os.getpid() # 这是一个简单的估算，实际更准确的方法可以用`ps`命令 print(f"\n[Note] Current process PID: {pid}. Use 'top -p {pid}' to monitor memory and CPU.")

4.4 启动与运行

在开发板终端，进入项目目录并运行脚本。

cd ~/ai_on_board source ~/ai_env/bin/activate # 激活虚拟环境 python3 inference.py

如果一切顺利，你将看到推理时间和几个预测结果（因为是灰色图片，结果无意义）。这证明了AI推理管道在板子上已成功运行。

5. 功能测试与效果验证

现在，我们用真实的图片来测试模型的分类能力。

5.1 准备真实测试图片

在开发板上准备一张清晰的物体图片，例如一只猫或一个杯子。你可以通过U盘、SCP命令或wget从网络下载一张测试图。

# 下载一张示例图片（咖啡杯） wget -O test_cup.jpg https://storage.googleapis.com/download.tensorflow.org/example_images/grace_hopper.jpg

5.2 修改推理脚本以使用真实图片

修改inference.py脚本，将虚拟输入替换为真实图片处理。

# ... 前面的加载模型和标签代码不变 ... # 3. 使用真实图片 image_path = 'test_cup.jpg' # 更改为你的图片路径 if not os.path.exists(image_path): print(f"Error: Test image {image_path} not found!") # 创建一个简单的彩色图片作为后备 input_data = np.zeros((1, height, width, 3), dtype=np.uint8) input_data[0, :, :, 0] = 255 # 红色 else: input_data = load_and_preprocess_image(image_path) # ... 后面的推理和输出代码不变 ...

5.3 运行测试并观察结果

再次运行脚本。

python3 inference.py

预期输出：

• 推理时间：通常在几百毫秒到几秒之间，取决于板子CPU性能。
• 预测结果：输出概率最高的5个类别及其置信度。如果图片是咖啡杯，你可能会看到“coffee mug”、“cup”等相关标签。

判断成功的标准：

1. 脚本无报错，正常执行完毕。
2. 输出了推理时间。
3. 输出的标签与图片内容有合理的相关性（例如，猫的图片预测出“tabby cat”、“Egyptian cat”等）。

5.4 性能基准测试

为了评估板子的持续运行能力，可以写一个简单的循环测试。

# 文件：benchmark.py import time import numpy as np import tflite_runtime.interpreter as tflite model_path = 'mobilenet_v1_1.0_224_quant.tflite' interpreter = tflite.Interpreter(model_path=model_path) interpreter.allocate_tensors() input_details = interpreter.get_input_details() # 准备一个固定的随机输入（避免IO影响） np.random.seed(42) input_data = np.random.randint(0, 256, size=input_details[0]['shape'], dtype=np.uint8) num_runs = 50 times = [] print(f"Running benchmark for {num_runs} iterations...") for i in range(num_runs): interpreter.set_tensor(input_details[0]['index'], input_data) start = time.perf_counter() interpreter.invoke() end = time.perf_counter() times.append((end - start) * 1000) # ms if (i+1) % 10 == 0: print(f" Completed {i+1} runs.") avg_time = np.mean(times) std_time = np.std(times) print(f"\nBenchmark Results:") print(f" Average inference time: {avg_time:.2f} ms") print(f" Standard deviation: {std_time:.2f} ms") print(f" FPS (approx): {1000/avg_time:.2f}")

运行python3 benchmark.py，观察平均推理时间和帧率。这有助于你评估该模型在目标板子上处理任务的实时性。

6. 接口API与批量任务

虽然开发板性能有限，但为其添加一个简单的HTTP API服务，可以方便地与外部系统集成。

6.1 搭建简易API服务

使用轻量级的Flask框架来创建API。

# 安装Flask pip3 install flask

创建API服务脚本app.py：

# 文件：app.py from flask import Flask, request, jsonify import numpy as np from PIL import Image import tflite_runtime.interpreter as tflite import io import time app = Flask(__name__) # 全局加载模型（启动时加载一次） print("Loading model...") interpreter = tflite.Interpreter(model_path='mobilenet_v1_1.0_224_quant.tflite') interpreter.allocate_tensors() input_details = interpreter.get_input_details() output_details = interpreter.get_output_details() with open('labels_mobilenet_quant_v1_224.txt', 'r') as f: labels = [line.strip() for line in f.readlines()] print("Model loaded.") def predict_image(image_bytes): """对上传的图片字节进行预测""" image = Image.open(io.BytesIO(image_bytes)).convert('RGB') image = image.resize((input_details[0]['shape'][1], input_details[0]['shape'][2])) input_data = np.expand_dims(image, axis=0).astype(np.uint8) interpreter.set_tensor(input_details[0]['index'], input_data) start_time = time.time() interpreter.invoke() inference_time = (time.time() - start_time) * 1000 output_data = interpreter.get_tensor(output_details[0]['index']) results = np.squeeze(output_data) top_k = results.argsort()[-5:][::-1] top_predictions = [] for i in top_k: top_predictions.append({ "label": labels[i], "confidence": float(results[i] / 255.0) # 量化模型输出归一化 }) return top_predictions, inference_time @app.route('/health', methods=['GET']) def health(): return jsonify({"status": "ok"}) @app.route('/predict', methods=['POST']) def predict(): if 'file' not in request.files: return jsonify({"error": "No file part"}), 400 file = request.files['file'] if file.filename == '': return jsonify({"error": "No selected file"}), 400 image_bytes = file.read() try: predictions, inf_time = predict_image(image_bytes) return jsonify({ "predictions": predictions, "inference_time_ms": inf_time }) except Exception as e: return jsonify({"error": str(e)}), 500 if __name__ == '__main__': # 监听所有网络接口，端口5000 # 警告：仅在安全的内部网络环境中这样运行。生产环境需使用WSGI服务器。 app.run(host='0.0.0.0', port=5000, debug=False, threaded=False) # threaded=False 减少开销

6.2 启动API服务

在开发板终端运行：

cd ~/ai_on_board source ~/ai_env/bin/activate python3 app.py

看到输出* Running on http://0.0.0.0:5000/表示服务启动成功。

6.3 调用API进行测试

从同一网络下的另一台电脑（或本机另一个终端），使用curl进行测试。

# 假设开发板IP地址为 192.168.1.100 curl -X POST -F "file=@/path/to/your/test_image.jpg" http://192.168.1.100:5000/predict

预期返回：一个JSON对象，包含top-5预测结果和推理时间。

6.4 实现简单的批量任务

对于批量图片处理，可以在开发板上编写一个脚本，扫描目录下的所有图片，依次推理并保存结果。

# 文件：batch_process.py import os import json import glob from inference import load_and_preprocess_image # 假设从之前的inference.py导入函数 # 注意：需要将inference.py中的模型加载和推理逻辑封装成函数供调用 def process_directory(input_dir, output_file='results.json'): image_extensions = ['*.jpg', '*.jpeg', '*.png', '*.bmp'] image_paths = [] for ext in image_extensions: image_paths.extend(glob.glob(os.path.join(input_dir, ext))) results = [] for img_path in image_paths: print(f"Processing: {img_path}") try: # 这里调用你的推理函数，获取预测结果和用时 # predictions, inf_time = your_inference_function(img_path) # 示例结构： result = { "file": os.path.basename(img_path), "predictions": [{"label": "dummy", "confidence": 0.5}], # 替换为真实结果 "inference_time_ms": 100.0 # 替换为真实时间 } results.append(result) except Exception as e: print(f" Error processing {img_path}: {e}") results.append({"file": os.path.basename(img_path), "error": str(e)}) with open(output_file, 'w') as f: json.dump(results, f, indent=2) print(f"Batch processing complete. Results saved to {output_file}") if __name__ == '__main__': input_dir = './batch_images' # 存放待处理图片的目录 if not os.path.exists(input_dir): os.makedirs(input_dir) print(f"Created input directory: {input_dir}. Please add images and run again.") else: process_directory(input_dir)

重要提醒：批量处理时，务必注意内存管理。处理完一张图片后，及时清理中间变量。对于内存非常紧张的板子，可能需要在每张图片处理后甚至强制进行垃圾回收（import gc; gc.collect()）。

7. 资源占用与性能观察

在嵌入式设备上运行AI，监控资源是必不可少的环节。

7.1 监控内存和CPU使用情况

在运行推理脚本或API服务时，打开另一个SSH终端连接到开发板，使用以下命令监控：

查看特定进程资源占用：

# 找到你的Python进程PID ps aux | grep python # 假设PID是 1234 top -p 1234

在top界面，关注%CPU（CPU使用率）和RES（常驻内存，单位KB或MB）。

查看整体系统资源：

free -h # 查看内存总量、已用、空闲 vmstat 2 # 每2秒刷新一次系统状态（CPU、内存、IO）

7.2 性能影响因素分析

1. 模型复杂度：模型参数量、层数直接影响推理速度和内存占用。MobileNetV1比V2更轻量。
2. 输入分辨率：224x224比128x128消耗更多计算资源。在满足精度要求下，尽量使用低分辨率输入。
3. 推理框架：TFLite Runtime比完整TensorFlow更节省内存和启动时间。
4. 批处理大小（Batch Size）：在嵌入式CPU上，batch_size=1是最常见且最稳定的选择。增大batch size可能不会提升吞吐量，反而导致内存溢出（OOM）。
5. CPU频率与散热：持续高负载推理可能导致CPU升温降频。确保板子散热良好。

7.3 降低资源占用的技巧

• 使用量化模型：如我们使用的*_quant.tflite，将权重从FP32转换为INT8，大幅减少模型体积和内存占用，加速推理，对精度影响较小。
• 模型剪枝：移除模型中不重要的权重或神经元。
• 使用更轻量的框架：除了TFLite，可以考虑：
  • ONNX Runtime：支持多种硬件后端，对ARM CPU有较好优化。
  • NCNN：腾讯开源的为移动端优化的神经网络推理框架。
  • MNN：阿里巴巴开源的轻量级深度学习推理引擎。
• 关闭不必要的系统服务：释放更多内存给AI应用。

8. 常见问题与排查方法

在部署过程中，你可能会遇到以下问题。

9. 最佳实践与使用建议

为了让你的嵌入式AI项目更稳健，遵循以下建议：

1. 从最简单的开始：先用一个极小的模型（如MobileNetV1 0.25x）验证整个流程，再尝试更复杂的模型。
2. 建立项目目录结构：

   ai_project/ ├── models/ # 存放模型文件 ├── scripts/ # 存放推理、API等脚本 ├── inputs/ # 存放待处理的输入数据 ├── outputs/ # 存放处理结果 ├── logs/ # 存放运行日志 └── README.md # 项目说明

3. 善用日志：在Python脚本中使用logging模块记录关键信息、错误和推理时间，便于后期分析和排查问题。
4. 压力测试：使用benchmark.py类似的脚本进行长时间循环推理，观察内存是否缓慢增长（内存泄漏），以及系统是否稳定。
5. 考虑使用系统服务：如果AI应用需要长期运行，可以将其配置为systemd服务，实现开机自启和崩溃重启。

   # 示例：/etc/systemd/system/ai_service.service [Unit] Description=AI Inference Service After=network.target [Service] User=pi WorkingDirectory=/home/pi/ai_on_board Environment="PATH=/home/pi/ai_env/bin" ExecStart=/home/pi/ai_env/bin/python3 /home/pi/ai_on_board/app.py Restart=always RestartSec=10 [Install] WantedBy=multi-user.target

6. 安全第一：
   • API服务不要在生产环境使用debug=True。
   • 如果API需要对公网开放，务必添加认证或置于反向代理（如Nginx）之后。
   • 处理用户上传的图片等数据时，要做好安全检查，防止恶意文件。
7. 版权与合规：确认所用模型的开源协议，在商业应用中遵守相关规定。如果处理人脸、声音等生物特征信息，务必征得用户同意并遵守相关法律法规。

10. 总结与下一步

通过以上步骤，我们成功在平地铲这类嵌入式Linux开发板上跑通了轻量级AI模型（MobileNet）的完整流程，包括环境搭建、模型部署、功能测试、API服务搭建和批量任务处理。整个过程的核心在于选择匹配硬件能力的模型和使用高效的推理框架。

最值得尝试的点：

• 极低的入门门槛：只需一块常见的开发板和基础的Linux知识。
• 完整的本地化闭环：从数据输入到智能输出，完全在设备端完成。
• 强大的灵活性：可以针对特定场景训练和部署定制化的轻量模型。

最先应该验证的功能：

1. 确保基础Python环境和TFLite Runtime安装成功。
2. 跑通一个官方示例模型（如MobileNet）的推理，确认硬件和软件栈兼容。
3. 测试真实图片的分类效果，评估精度是否满足你的场景需求。

最容易踩的坑：

1. 内存不足：这是最大的拦路虎，务必时刻用free和top命令监控。
2. 依赖版本冲突：坚持使用虚拟环境。
3. 输入数据预处理错误：模型对输入尺寸、颜色值范围非常敏感，必须与训练时一致。

后续扩展方向：

• 尝试其他模型：YOLOv5-Tiny（目标检测）、DeepLabV3+（语义分割）的轻量版。
• 集成传感器：将摄像头（通过OpenCV）或麦克风（通过PyAudio）的实时数据流接入AI管道。
• 模型优化：学习使用TensorFlow Lite Model Maker训练自己的轻量模型，或使用Post-training Quantization量化现有模型。
• 探索硬件加速：如果你的开发板带有NPU（如瑞芯微RK系列、晶晨A311D等），可以研究其专属的推理SDK，性能将有数量级提升。

嵌入式AI不再是遥不可及的技术。动手实践一次，你就能对边缘计算的资源约束和优化策略有深刻的理解。建议收藏本文，在部署过程中遇到问题时，可随时回溯查看对应的排查章节。