深度学习算法优化篇:OpenVINO Int8量化工具(Calibration Tool)翻译教程第14期?

2026-05-28 14:490阅读0评论SEO教程
  • 内容介绍
  • 文章标签
  • 相关推荐

本文共计3297个文字,预计阅读时间需要14分钟。

深度学习算法优化篇:OpenVINO Int8量化工具(Calibration Tool)翻译教程第14期?

前言:在2020年以前,OpenVINO(以OpenVINO 2019版本为例)的Int8量化工具实现于`openvino_2019.3.379/deployment_tools/tools/calibration_tool`。由于文档难以阅读,故做一翻译记录。


前言

在2020年以前,OpenVINO(这里以OpenVINO2019年最新的一个版本为例)的Int8量化工具实现在​​openvino_2019.3.379\deployment_tools\tools\calibration_tool​​​,因为文档比较难读,所以做个翻译记录在这里,便于使用OpenVINO的量化工具上手。要做Int8量化首先需要将你需要部署的模型Caffe/Pytorch/Tensorflow转化为OpenVINO的IR中间模型。此文档的原因为文档为​​openvino_2019.3.379\deployment_tools\tools\calibration_tool\README.md​​。

Python* Calibaration Tool

介绍

校准工具可量化给定的FP16或FP32模型,并在使模型输入保持原始精度的情况下生成低精度的8位整数(INT8)模型。 要了解INT8有关推理的好处的更多信息,请参考​​./docs/IE_DG/Int8Inference.md)​​。


注意:INT8模型现在只被CPU plugin所支持。有关支持的配置的完整列表,请参见​​./docs/IE_DG/supported_plugins/Supported_Devices.md​​。

阅读全文

本文共计3297个文字,预计阅读时间需要14分钟。

深度学习算法优化篇:OpenVINO Int8量化工具(Calibration Tool)翻译教程第14期?

前言:在2020年以前,OpenVINO(以OpenVINO 2019版本为例)的Int8量化工具实现于`openvino_2019.3.379/deployment_tools/tools/calibration_tool`。由于文档难以阅读,故做一翻译记录。


前言

在2020年以前,OpenVINO(这里以OpenVINO2019年最新的一个版本为例)的Int8量化工具实现在​​openvino_2019.3.379\deployment_tools\tools\calibration_tool​​​,因为文档比较难读,所以做个翻译记录在这里,便于使用OpenVINO的量化工具上手。要做Int8量化首先需要将你需要部署的模型Caffe/Pytorch/Tensorflow转化为OpenVINO的IR中间模型。此文档的原因为文档为​​openvino_2019.3.379\deployment_tools\tools\calibration_tool\README.md​​。

Python* Calibaration Tool

介绍

校准工具可量化给定的FP16或FP32模型,并在使模型输入保持原始精度的情况下生成低精度的8位整数(INT8)模型。 要了解INT8有关推理的好处的更多信息,请参考​​./docs/IE_DG/Int8Inference.md)​​。


注意:INT8模型现在只被CPU plugin所支持。有关支持的配置的完整列表,请参见​​./docs/IE_DG/supported_plugins/Supported_Devices.md​​。

阅读全文