树莓派部署 Ultralytics YOLO11 实战指南：从模型导出到 NCNN / OpenVINO 高性能推理与全量 Benchmark

随着边缘计算（Edge Computing）与嵌入式端侧 AI 算力的爆发式发展，在以 Raspberry Pi（树莓派） 为代表的微型单板计算机上运行实时计算机视觉任务已成为智能物联网（AIoT）、巡检机器人与无人机视觉的核心技术栈。

Ultralytics 推出的全新 YOLO11 架构通过引入 C3k2 块与 C2PSA 注意力机制，在保持极小参数量的同时显著提升了特征提取精度与计算效率。

然而，在仅配备 ARM 架构 CPU 的嵌入式树莓派上，直接加载原生的 PyTorch 格式（.pt 权重文件）进行模型推理会面临严峻的性能瓶颈：推理单张图片耗时往往高达数百毫秒甚至超过 1 秒，无法满足实时视频流检测需求。

本文将手把手带你在 Raspberry Pi（以 Raspberry Pi 5 为例）上配置 Ultralytics 运行环境，并横向评测 PyTorch、ONNX、OpenVINO、NCNN、MNN、TFLite 等 10 种模型导出格式的实际表现，揭秘为什么 NCNN 与 OpenVINO 是树莓派边缘部署的最佳选择。

一、系统准备与 Ultralytics 环境安装

在 Raspberry Pi OS（推荐 64 位 Debian 12 Bookworm 系统）上配置环境时，为了避免 Python 3.11+ 的系统级包冲突（PEP 668），推荐使用虚拟环境进行安装。

1. 更新系统包与 Python 依赖

打开终端，更新包管理器并安装基础构建依赖：

1 2	`sudo apt update && sudo apt upgrade -y sudo apt install python3-pip python3-venv git -y`

2. 创建独立虚拟环境并安装 Ultralytics

为 YOLO11 独立创建一个虚拟环境，避免污染全局 Python 库：

# 1. 创建虚拟环境
python3 -m venv ~/yolo-env

# 2. 激活虚拟环境
source ~/yolo-env/bin/activate

# 3. 升级 pip
pip install -U pip

# 4. 安装 ultralytics 核心库及模型导出扩展 [export]
pip install "ultralytics[export]"

安装完成后，建议重启一次设备以确保动态库加载完备：

1	`sudo reboot`

二、端侧模型转换机制：从 PyTorch 到轻量级算子引擎

在嵌入式端侧部署时，我们必须将高抽象度、动态图为主的 PyTorch 计算图冻结并转换为专门针对硬件指令集高度优化的推理引擎格式：

graph TD
    PT["1. YOLO11 原生权重 (.pt 模型)"] --> Export{"2. 算子优化与导出 (yolo export)"}

    Export --> OV["OpenVINO (Intel CPU 向量加速)"]
    Export --> NCNN["NCNN (ARM NEON 手工汇编)"]
    Export --> ONNX["ONNX / MNN (跨平台中间表示)"]
    Export --> TFL["TFLite / Paddle (移动端格式)"]

    OV --> Winner["🚀 极速第一梯队 (推荐)<br/>OpenVINO 81ms / NCNN 88ms"]
    NCNN --> Winner
    ONNX --> Normal["🐢 较慢次选<br/>ONNX 168ms / PyTorch 405ms"]
    TFL --> Normal

在树莓派这类基于 ARM Cortex 架构的单板机上：

NCNN：针对 ARM NEON 汇编指令进行了极深度的手工汇编优化，无第三方动态依赖，内存占用极低；
OpenVINO：近年来在通用 CPU（包括现代 64 位 ARM）上的多线程向量化加速极其出色，实测速度拔得头筹。

三、快速上手：模型转换与推理实操

以轻量级模型 YOLO11n（Nano 级别，约 260 万参数）为例：

1. 一键导出为 NCNN 格式

进入已激活的虚拟环境，执行 CLI 命令：

1 2	`# 自动下载 yolo11n.pt 权重并转换为 NCNN 模型文件夹 'yolo11n_ncnn_model' yolo export model=yolo11n.pt format=ncnn`

导出成功后，当前目录下会生成一个名为 yolo11n_ncnn_model/ 的文件夹，内部包含 .bin（权重矩阵）与 .param（模型算子结构图）文件。

2. 执行模型推理与目标检测

使用刚刚导出的 NCNN 模型对测试图片进行目标检测：

1 2	`# 使用导出的 NCNN 模型进行预测 yolo predict model='yolo11n_ncnn_model' source='https://ultralytics.com/images/bus.jpg'`

3. Python API 脚本调用

如果你需要在自己的 Python 项目或摄像头监控脚本中集成：

from ultralytics import YOLO
import cv2

# 1. 加载 NCNN 优化模型
model = YOLO('yolo11n_ncnn_model')

# 2. 对图像执行推理 (支持本地路径、URL、OpenCV numpy 数组)
results = model('https://ultralytics.com/images/bus.jpg')

# 3. 遍历输出检测结果
for result in results:
    boxes = result.boxes  # 边界框信息
    print(f"检测到 {len(boxes)} 个目标")
    for box in boxes:
        cls_id = int(box.cls[0])
        conf = float(box.conf[0])
        name = model.names[cls_id]
        print(f" - {name}: 置信度 {conf:.2f}, 坐标: {box.xyxy[0].tolist()}")

    # 保存标注结果图片
    result.save(filename='result.jpg')

四、权威基准测试（Benchmark）：10 种导出格式性能大比拼

📊 测试数据来源与复现说明：本节所列评测数据引自 Ultralytics 官方文档：Raspberry Pi 部署基准测试。测试运行在 Raspberry Pi 5（四核 ARM Cortex-A76 @ 2.4GHz，8GB 内存） 官方 64 位 Bookworm 操作系统上，测试工具为 Ultralytics 官方自动化评测套件（版本 v8.3.39）。
读者也可以在自己的树莓派终端中直接运行官方 Benchmark 命令进行端到端全量复测：
1
2
3
4
5
# 评估 YOLO11n 在全量导出格式下的精度与延迟
yolo benchmark model=yolo11n.pt imgsz=640

# 评估 YOLO11s 在全量导出格式下的表现
yolo benchmark model=yolo11s.pt imgsz=640
$mAP_{50-95}(B)$ ：在标准 COCO 验证集上的目标检测边界框平均精度（IoU 阈值从 0.50 到 0.95 的综合均值）；
单帧推理耗时：端到端单张 640×640 图像的纯模型计算耗时（毫秒）。

1. YOLO11n 性能对比表

测试环境：Raspberry Pi 5 64-bit OS / Ultralytics 8.3.39 / 输入分辨率 640x640

导出格式 / 推理引擎	支持状态	磁盘文件大小 (MB)	$mAP_{50-95}(B)$ 精度	单帧推理耗时 (ms)	换算理论帧率 (FPS)
PyTorch (`.pt`)	✅	5.4	0.6100	405.24 ms	~2.5 FPS
TorchScript	✅	10.5	0.6082	526.63 ms	~1.9 FPS
PaddlePaddle	✅	20.4	0.6082	561.89 ms	~1.8 FPS
TF GraphDef	✅	10.3	0.6082	487.24 ms	~2.1 FPS
TF SavedModel	✅	25.8	0.6082	377.97 ms	~2.6 FPS
TF Lite	✅	10.3	0.6082	317.40 ms	~3.1 FPS
ONNX	✅	10.2	0.6082	168.08 ms	~5.9 FPS
MNN	✅	10.1	0.6106	112.55 ms	~8.9 FPS
NCNN 推荐	✅	10.2	0.6106	88.03 ms	~11.4 FPS
OpenVINO 极速	✅	10.4	0.6082	81.19 ms	~12.3 FPS

2. YOLO11s 性能对比表

对于精度更高、特征网络更深（约 940 万参数）的 YOLO11s 模型：

导出格式 / 推理引擎	支持状态	磁盘文件大小 (MB)	$mAP_{50-95}(B)$ 精度	单帧推理耗时 (ms)	换算理论帧率 (FPS)
PyTorch (`.pt`)	✅	18.4	0.7526	1011.60 ms	~1.0 FPS
PaddlePaddle	✅	72.5	0.7416	1276.34 ms	~0.8 FPS
TorchScript	✅	36.5	0.7416	1268.50 ms	~0.8 FPS
TF GraphDef	✅	36.4	0.7416	1019.83 ms	~1.0 FPS
TF Lite	✅	36.4	0.7416	849.86 ms	~1.2 FPS
TF SavedModel	✅	91.1	0.7416	714.38 ms	~1.4 FPS
ONNX	✅	36.3	0.7416	324.17 ms	~3.1 FPS
MNN	✅	36.2	0.7409	273.03 ms	~3.7 FPS
NCNN 推荐	✅	36.2	0.7419	194.86 ms	~5.1 FPS
OpenVINO 极速	✅	36.4	0.7416	179.32 ms	~5.6 FPS

五、关键结论与生产选型建议

从上述实测基准数据中，我们可以提炼出针对树莓派边缘部署的几条黄金准则：

彻底告别原生 PyTorch 与 TF SavedModel：在树莓派 CPU 上直接跑 .pt 模型，不仅耗时超过 400ms（YOLO11n）甚至 1 秒（YOLO11s），还会伴随剧烈的 CPU 占满与发热降频。
第一梯队首选：OpenVINO 与 NCNN：
- OpenVINO 以 81.19 ms 夺得速度冠军，单帧推理性能相比 PyTorch 飙升近 5 倍；
- NCNN 紧随其后（88.03 ms），并且在移动嵌入式端具备更好的跨平台可移植性，且精度无任何衰减。
模型体量选择：
- 追求 10+ FPS 近实时流畅推理：强烈推荐选用 YOLO11n + NCNN / OpenVINO 组合；
- 追求 更高精确度识别（mAP 从 0.61 提升至 0.74）：选用 YOLO11s + OpenVINO，帧率维持在 5~6 FPS 左右，适合对抓拍间隔要求不高的静态质检或安全安防巡查。

六、参考资料与延伸阅读

嵌入式与硬件

#深度学习 #树莓派 #YOLO

树莓派部署 Ultralytics YOLO11 实战指南：从模型导出到 NCNN / OpenVINO 高性能推理与全量 Benchmark

https://bubao.github.io/posts/4b1e9c2a.html

作者

一念

发布于

2024年11月15日

许可协议

K230 命令行开发指南上一篇

用 tauri 手搓一个 Foliate 阅读器下一篇