泰山派 RK3566 部署 NCNN 极速推理实践

本文总结在立创·泰山派(RK3566, 2GB 内存)上部署腾讯 NCNN 极速推理框架的完整实践:针对 Mac 开发机无法原生转换 RKNN 模型的现实痛点,深入剖析 ARM NEON FP16 汇编加速原理,详解基于 pnnx 导出动态尺寸模型与 Python 端侧推理,并提供多引擎实测横评与避坑指南。


在立创·泰山派(RK3566, 4 核 Cortex-A55, 2GB 内存)这类入门级嵌入式 Linux 开发板上部署深度学习模型时,CPU 算力与内存带宽往往是最大的工程掣肘。

很多开发者默认使用 ONNX Runtime CPU 模式作为落地兜底方案,但在泰山派上运行标准的 PP-OCRv4 ONNX 模型时,耗时通常长达 1.5 ~ 2 秒,且模型总体量达 90MB,在仅有 2GB 内存的板卡上极易引发 OOM 甚至系统崩溃。

而板载的 0.8 TOPS NPU 虽然性能可观,但瑞芯微官方的 rknn-toolkit2 工具链官方仅支持 x86_64 Ubuntu Linux。我的日常主力开发机是 Mac(macOS),在 Mac 本地根本无法原生安装与运行 RKNN 转换环境;如果为了导出一个模型还要专门去配置一台 x86 Linux 主机或跑沉重的虚拟机,开发调试流程极其繁琐割裂。

为了在 “Mac 无法转换 RKNN 的现实约束下,依然在 RK3566 上跑出百毫秒级极速推理”,我在开源项目 tspi-ocr-web 的研发过程中,引入了腾讯开源的高性能移动端推理框架 Tencent/ncnn:

  • 借助在 macOS 上原生良好支持的 pnnx 工具链,在 Mac 本地顺畅完成动态尺寸图优化与 FP16 压缩,将模型从 90MB 压缩至 11MB;
  • 在泰山派板端深度启用 ARM NEON FP16 汇编指令加速,将整图识别耗时直接压制在 120~180ms(性能提升近 10 倍,媲美专用 NPU),并支持扩展集成 1MB 超微型多语言 OCR(Indra OCR)!

一、为什么选择 NCNN?

在边缘 ARM 嵌入式设备上,主流推理框架主要有 ONNX Runtime、TFLite 以及硬件专用的 NPU 工具链(如 RKNN)。但在实际工程落地中,NCNN 展现出了极其独特的不可替代性:

评估维度ONNX Runtime (CPU)瑞芯微 RKNN (NPU)腾讯 NCNN (ARM CPU 优化) ⭐
定位与场景通用调试 / PC 端极致低功耗专用硬件嵌入式 CPU 极致压榨方案
Mac 开发机支持支持原生导出官方不支持 macOS(强依赖 x86 Linux)原生支持 macOS(pnnx 开箱即用)
依赖与体积依赖较重(动态库数十 MB)强依赖专有 NPU 内核驱动极简纯 C++,零第三方库依赖
动态尺寸兼容兼容性极强需模型量化,部分动态切片受限算子全面,图优化与动态尺寸成熟
模型体积 (PP-OCR)约 90MB约 15MB仅 11MB(FP16 紧凑压缩)
RK3566 整图耗时~1500ms(极慢,卡顿)~80ms(极快,需 NPU 驱动)~150ms(极快,接近 NPU)
跨硬件通用性通用仅限瑞芯微指定芯片通用(任意 ARMv8/A55/A72/A76)

核心加速秘密:ARMv8.2-A NEON FP16 指令

RK3566 的 CPU 核心基于 ARM Cortex-A55 架构,硬件层面支持 ARMv8.2-A 指令集中的半精度浮点(FP16)矢量运算。

  • 传统 ONNX Runtime 默认运行在 FP32 单精度下,不仅计算量翻倍,更严重的是在 2GB 开发板上受限于 L2/L3 缓存容量与 DDR4 总线带宽;
  • NCNN 针对 ARM NEON 手写了深度的底层汇编优化内核(Kernel),计算时以 16 位半精度浮点(FP16)直接加载并执行 FMA(乘加)向量指令;
  • 双重红利:内存带宽占用直接减半,浮点吞吐率翻倍,在不依赖 NPU 的前提下彻底释放了 4 核 A55 的端侧算力。

二、轻量模型来源与开源资源清单

项目中所采用的 NCNN 与 ONNX 模型均来自于开源社区并经过轻量化验证,详细开源出处与文件清单如下:

2.1 PP-OCRv5 NCNN 优化版(开箱即用推荐,总计约 11MB)

  • 开源仓库出处:Hugging Face 开源项目 qefro/pp-OCRv5-6-ncnn
  • 国内镜像加速:https://hf-mirror.com/qefro/pp-OCRv5-6-ncnn
  • 包含文件与映射:
    • 文本检测:PP_OCRv5_mobile_det.param / PP_OCRv5_mobile_det.bin(约 3.0 MB)
    • 文本识别:PP_OCRv5_mobile_rec.param / PP_OCRv5_mobile_rec.bin(约 7.9 MB)
    • 方向分类器:PP_LCNet_x0_25_textline_ori.param / PP_LCNet_x0_25_textline_ori.bin(约 0.3 MB)
    • 字典文件:ppocr_keys_v5.txt(映射为 dict.txt)

该套模型是针对移动端与嵌入式平台优化后的 PP-OCRv5 结构,相比 v4 识别精度提升的同时参数量进一步压缩,完美适配 NCNN 的 NEON 汇编计算核心。

2.2 PP-OCRv4 ONNX 原版(对比基准与转换源模型,约 90MB)

2.3 Indra OCR 1M 超轻量多语言模型(新引擎扩展,总计约 10MB)

在项目近期的演进中,除了主力聚焦于中文极速场景的 PP-OCRv5 NCNN 之外,我还引入集成了 Indra OCR 超轻量多语言模型作为多引擎体系的重要补充:

  • 开源仓库出处:Hugging Face 仓库 datalab-to/indra-ocr
  • 国内镜像加速:https://hf-mirror.com/datalab-to/indra-ocr
  • 极致轻量特性:
    • 文本检测网络:det.onnx 模型体量仅 389 KB,在端侧极度受限的嵌入式设备上占用极小内存空间;
    • 文本识别网络:rec.onnx 体量约 9.7 MB,但支持覆盖全球 80+ 种语言 以及高达 11,749 个 CJK 汉字字符集,对于多语言混排、生僻字或特殊排版场景提供了极具价值的扩展补充。

2.4 自动化下载与校验脚本

在 tspi-ocr-web 项目中,可通过内置脚本 scripts/download_models.py 一键拉取上述模型(支持自动走 hf-mirror.com 国内加速与本地哈希校验):

1
2
3
4
5
6
7
8
9
10
11
# 1. 自动下载 PP-OCRv5 NCNN 推荐极速模型到 models/ocr/ppocrv5-ncnn/ (~11MB)
python scripts/download_models.py --ncnn

# 2. 自动下载 Indra OCR 1M 超轻量多语言模型到 models/ocr/indra/ (~10MB)
python scripts/download_models.py --indra

# 3. 自动下载 PP-OCRv4 原版 ONNX 模型到 models/ocr/ppocrv4/ (~90MB)
python scripts/download_models.py --onnx

# 4. 一键下载全部多引擎模型包 (NCNN + Indra + ONNX)
python scripts/download_models.py --all

三、OCR 核心模型转换实战:ONNX → 动态尺寸 NCNN (基于 pnnx)

NCNN 早期使用的是 onnx2ncnn 工具,而目前官方主力推荐的是经过彻底重构的 pnnx(PyTorch/ONNX Neural Network eXchange)。在 OCR 任务中,文本检测需要动态大图输入,文本识别需要变长切片输入,pnnx 能自动完成算子融合、冗余消除以及动态尺寸定义。

更重要的是:pnnx 原生支持 macOS(包括 Intel 与 Apple Silicon M 系列芯片)!相比无法在 Mac 上直接运行的 RKNN 工具链,开发者可以直接在 Mac 开发机上顺畅完成全部模型转换与量化,生成可直接在泰山派运行的 .param 和 .bin 文件。

在 tspi-ocr-web 项目中,针对检测与识别两套模型的转换逻辑封装在 utils/ncnn_converter.py 模块中。

3.1 安装转换工具链(Mac / Linux / Windows 本地均可直接运行)

虽然 pnnx 可以通过 pip 安装,但官方的 pip install pnnx 往往会强行绑定安装 500MB+ 的 PyTorch。为了保持环境纯净,可从 pnnx GitHub Releases 直接下载对应平台(macOS、Linux、Windows)独立的 C++ 预编译二进制文件。

1
2
# 也可通过 pip 在独立虚拟环境中安装:
pip install pnnx

3.2 文本检测模型(DBNet)动态尺寸转换

文本检测模型输入通常为全幅图,若未指定输入维度,转换工具往往无法正确推导动态算子形状。需使用 inputshape 与 inputshape2 显式预设多级动态分辨率,确保在不同分辨率图像输入时均能自适应:

1
2
3
4
5
pnnx det.onnx \
inputshape=[1,3,640,640] \
inputshape2=[1,3,960,960] \
optlevel=2 \
fp16=1
  • optlevel=2:启用全局算子融合与图结构裁剪;
  • fp16=1:权重大幅压缩至原大小的 50%,并在板端运行时直接开启半精度指令推理;
  • 产物:生成 det.ncnn.param(网络拓扑)与 det.ncnn.bin(权重参数)。

3.3 文本识别模型(CRNN / SVTR / LCNet)变长文本行转换

文本识别模型的物理特性是:图像高度固定(如 48px),而文本行宽度随切片字符数量动态可变(从几个汉字到数十个汉字不等):

1
2
3
4
5
pnnx rec.onnx \
inputshape=[1,3,48,320] \
inputshape2=[1,3,48,640] \
optlevel=2 \
fp16=1

通过指定不同宽度的 inputshape,pnnx 能够推导出任意步长的动态宽度拓扑,使得模型在 RK3566 板端能够直接接收变长文本切片推理,无需进行死板的固定填充(Padding),极大节省了无谓的计算开销。


四、RK3566 板端 OCR 极速推理管线实现 (Python)

在 RK3566 开发板端(建议使用此前搭建的 Python 3.12 虚拟环境),安装编译好的 Python 绑定:

1
pip install ncnn

4.1 初始化与网络加载

基于 tspi-ocr-web 中 PPOCRv5NCNNEngine 的核心实现,网络初始化与线程调优如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
import os
import ncnn
import numpy as np

# 1. 实例化 NCNN 网络
net = ncnn.Net()

# 2. 核心性能参数调优(RK3566 为 4 核 A55,设置为 4 线程最大化吞吐)
net.opt.num_threads = 4
net.opt.use_vulkan_compute = False # 嵌入式无头环境禁用 Vulkan
net.opt.use_fp16_packed = True # 启用紧凑 FP16
net.opt.use_fp16_storage = True # 启用 FP16 权重存储
net.opt.use_fp16_arithmetic = True # 启用硬件 NEON FP16 浮点计算

# 3. 加载拓扑结构与权重
net.load_param("models/ocr/ppocrv5-ncnn/rec.param")
net.load_model("models/ocr/ppocrv5-ncnn/rec.bin")

4.2 动态 Blob 名称自适应

经过 pnnx 优化后的网络,输入输出 Blob 节点名有时会由 input/output 重命名为 in0/out0。为了增强兼容性,可在加载后动态自省匹配:

1
2
3
blobs = {b.name for b in net.blobs()}
in_name = "in0" if "in0" in blobs else "input"
out_name = "out0" if "out0" in blobs else "output"

4.3 执行前向推理(Extractor)

NCNN 的设计思想是无状态的网络拓扑(Net)搭配有状态的提取器(Extractor),Extractor 负责单次前向的数据绑定与计算执行:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
def run_inference(net: ncnn.Net, img_blob: np.ndarray, in_name: str, out_name: str) -> np.ndarray:
"""
img_blob: 经过预处理归一化后的浮点数组,形状 [C, H, W]
"""
# 1. 确保内存连续 (Contiguous)
data = np.ascontiguousarray(img_blob, dtype=np.float32)

# 2. 转换为 ncnn.Mat
in_mat = ncnn.Mat(data)

# 3. 创建提取器并绑定输入
ex = net.create_extractor()
ex.input(in_name, in_mat)

# 4. 执行前向推理并提取输出
ret, out_mat = ex.extract(out_name)
if ret != 0:
raise RuntimeError(f"NCNN 推理提取失败, ret={ret}")

# 5. 转回 NumPy 供后处理解码 (添加 Batch 维度)
output_np = np.array(out_mat)[np.newaxis, ...]
return output_np

4.4 资源释放

在长周期驻留的服务中,当网络不再使用或需要重载时,显式释放底层 C++ 显存与权重:

1
net.clear()

五、实机性能横向评测与多引擎选型实战

在嵌入式端侧部署深度学习模型,仅凭单次单张图片的运行日志往往无法客观反映系统的吞吐瓶颈。为了在泰山派实板上严谨对比各推理引擎在耗时、显存占用与字符识别精度上的综合表现,我在 tspi-ocr-web 中设计并新增了板端横向评测工具。

5.1 板端多引擎对比评测工具实战 (scripts/compare_engines.py)

在 tspi-ocr-web 中,可通过内置脚本 scripts/compare_engines.py 一键发起对板端已加载引擎的横向基准评测:

  1. 自动预热(Warm-up)机制:在正式统计前执行 1 轮前向推理,彻底规避动态库延迟绑定、模型首次加载与文件系统缓存带来的统计偏差;
  2. 多轮采样与均值统计:支持指定 --rounds 轮次,分别测量端到端总耗时与核心算法纯计算耗时;
  3. 识别质量与置信度量化:逐行输出识别文字、置信度数值,并同步统计模型在磁盘上的物理占用体量。
1
2
3
4
5
# 1. 默认评测当前目录示例图 (预热 1 轮 + 正式推理 1 轮)
python scripts/compare_engines.py

# 2. 指定自定义图片,并执行 3 轮采样计算稳定均值
python scripts/compare_engines.py --image test.png --rounds 3

评测输出效果如下:

1
2
3
4
5
6
7
8
9
10
11
12
=================================================================
🔍 正在评测引擎: PP-OCRv5 (NCNN FP16) (engine='ncnn')
=================================================================
⏳ 预热推理中...
⏱️ 平均总耗时: 154.2 ms (单轮核心算法测量: 152.8 ms)
📝 识别文本行数: 18 行
-----------------------------------------------------------------
[01] 置信度 0.98 | 泰山派 RK3566 开发板
[02] 置信度 0.99 | 嵌入式端侧轻量离线 OCR
[03] 置信度 0.97 | ARM Cortex-A55 NEON FP16 加速
...
-----------------------------------------------------------------

5.2 RK3566 实测多引擎综合性能矩阵

在立创·泰山派(RK3566 4核 1.8GHz, 2GB LPDDR4, Ubuntu 26.04)上,针对相同标准测试图片进行多引擎横向实测:

评测维度PP-OCRv5 NCNN ⭐Indra OCR (新集成)PP-OCRv4 ONNXRKNN (NPU 方案)
计算硬件单元CPU 4-Thread (NEON FP16)CPU 4-Thread (ONNX)CPU 4-Thread (FP32)0.8 TOPS NPU (INT8)
总模型体量11.2 MB~10.1 MB90.4 MB14.8 MB
检测网络大小2.5 MB仅 389 KB (极致小巧)4.5 MB3.2 MB
字符集支持6600+ 中文/英文/数字80+ 语言 + 11,749 CJK6600+ 中文/英文/数字6600+ 中文/英文/数字
整图推理耗时~150 ms (极速响应)~1050 ms (可用)~1520 ms (较慢)~78 ms (硬件级极速)
常驻内存开销~85 MB~120 MB~380 MB~110 MB
硬件依赖与约束通用 ARMv8(零专有依赖)通用跨平台通用跨平台强依赖专有 NPU 驱动与量化
推荐适用场景中文自然场景、高帧率视觉业务多语言混排、生僻字、微型设备兼容兜底/算法对照算力极度吃紧需卸载 CPU 时

5.3 针对 RK3566 的 OCR 引擎选型建议

  1. 速度与开发体验的最佳解:PP-OCRv5 NCNN
    • 开发机全平台闭环:NCNN 与 pnnx 工具链原生支持 macOS(含 Apple Silicon),彻底解决了瑞芯微官方 rknn-toolkit2 不支持 Mac、模型转换必须绑定 x86 Linux 主机/虚拟机的割裂痛点;
    • 端侧百毫秒极速:在 4 核 A55 上仅靠 CPU + NEON FP16 即可达到 ~150ms,识别速度相比传统 ONNX 提升近 10 倍,内存节省超 75%,杜绝 2GB 内存 OOM 崩溃;
    • 算子自适应:完全依赖通用 CPU,避开了 NPU 的 INT8 量化掉点、动态长宽文本行支持受限以及专有内核驱动门槛,在工业现场极度稳定。
  2. 多语言与超轻量存储补充:Indra OCR
    • 当端侧场景包含多国语言混排、生僻罕见汉字或极端受限存储时,Indra OCR 提供了优秀的备选方案;
    • 其文本检测模型仅 389 KB,在极端资源环境下具有极高利用价值。
  3. 端侧 WebUI 置信度与可视化加持:
    • 结合多引擎识别结果,tspi-ocr-web 的 WebUI 现已升级:顶部提供实时平均置信度状态条;结果区提供「纯文本快速复制」与「逐行置信度质量评级(🟢/🟡/🟠)明细表格」双视图,进一步提升了工业巡检等场景的可解释性。

六、关键避坑指南

  1. NumPy 数组连续性陷阱(C-Contiguous):在向 ncnn.Mat 喂入切片数据(如从检测框裁剪文本小图)时,NumPy 切片通常是非连续内存。必须显式调用 np.ascontiguousarray(...),否则可能导致底层 C++ 内存指针越界直接 Core Dump / Segmentation Fault。
  2. 多线程参数设置(num_threads):嵌入式多核 CPU 并非线程越多越好。在泰山派 4 核 A55 上,设置为 num_threads = 4 是吞吐与延迟的最佳平衡点;若设置过高,频繁的线程上下文切换反而会导致性能劣化。连续高负载推理时建议加装被动散热片,防止触发系统温控降频。
  3. 输入输出尺寸必须符合网络步长:检测网络通常包含多级下采样(如 32 倍),输入的宽和高必须预处理为 32 的整数倍,否则在经过 pnnx 动态算子时会触发维度不匹配错误。

结语与开源资源导航

NCNN 凭借纯粹的底层工程优化与对 ARM 架构的极致压榨,为边缘嵌入式设备提供了一条在 CPU 上实现准实时 AI 推理的高效通路。更重要的是,它的模型转换工具链原生兼容 macOS,让使用 Mac 作为日常开发机的工程师无需在笨重的虚拟机或专用 Linux 机器间来回折腾。

结合自动化基准测试工具与轻量级多引擎架构,开发者可以在泰山派等嵌入式板端灵活、自如地分发算力。

本文涉及的所有项目源码、模型与依赖均已开源,欢迎查阅与体验:

1. 项目与代码仓库

2. 开源框架与模型出处


泰山派 RK3566 部署 NCNN 极速推理实践
https://bubao.github.io/posts/80a659d.html
作者
一念
发布于
2026年11月1日
许可协议