ONNXRuntime的推理引擎架构是如何设计的？

本文共计954个文字，预计阅读时间需要4分钟。

ONNXRuntime 是深度学习领域的神经网络模型推理框架，它将 ONNX 模型作为中间表示（IR）进行运行时（Runtime）处理。从名称中可以看出，它与 ONNX 密切相关：ONNX 模型作为中间表示，ONNXRuntime 负责执行。

ONNXRuntime，深度学习领域的神经网络模型推理框架，从名字中可以看出它和 ONNX 的关系：以 ONNX 模型作为中间表达（IR）的运行时（Runtime）。

本文许多内容翻译于官方文档：onnxruntime.ai/docs/reference/high-level-design.html ，并适当地添加一些自己的理解，由于对ONNXRuntime的认识还不够深入，因此可能会存在一些错误，希望多多指正，深入交流。

特色：

1. 在不同平台上，最大限度地、自动地使用定制的加速器（accelerators）和运行时（runtimes）；
2. 针对定制的加速器和运行时，提供良好的抽象和运行时（onnxruntime）来支持运行，这里的抽象也被称之为EP（Execution Provider，eg. CUDA、TensorRT、OpenVINO、ROCm等）。