nndeploy

nndeploy（nndeploy/nndeploy）是一款简单易用、高性能的开源 AI 部署框架，把 AI 算法部署到桌面（Windows/macOS）、移动（Android/iOS）、边缘（Jetson/Ascend/RK 等）和单机服务器。核心是可视化工作流 + 多端推理。

它做什么

• 可视化工作流：拖拽节点搭推理流水线，支持自定义 Python/C++ 节点，100+ 预制视觉节点。
• 多后端：深度集成 13+ 主流推理后端（ONNXRuntime、TensorRT、OpenVINO、MNN、TNN、ncnn、CoreML、AscendCL、RKNN、SNPE、TVM、PyTorch 等）。
• 大模型友好：也作 LLM / AIGC 的可视化工作流工具。
• 开箱算法：大模型、图文生成、OCR、检测、跟踪、分割、分类、API 服务等。

工程视角

C++ 为主、带 Python 绑定（Apache-2.0）。想在端/边/云多硬件上把模型高效跑起来的人，它是“最后一公里”部署的趁手工具。

一句话总结

nndeploy 是开源高性能 AI 部署框架：可视化工作流 + 13+ 推理后端，覆盖桌面/移动/边缘/服务器，C++/Python 双栈，专攻 AI 落地最后一公里。