深度学习算法优化篇:OpenVINO Int8量化工具(Calibration Tool)翻译教程第14期?
- 内容介绍
- 文章标签
- 相关推荐
本文共计3297个文字,预计阅读时间需要14分钟。
前言:在2020年以前,OpenVINO(以OpenVINO 2019版本为例)的Int8量化工具实现于`openvino_2019.3.379/deployment_tools/tools/calibration_tool`。由于文档难以阅读,故做一翻译记录。
前言
在2020年以前,OpenVINO(这里以OpenVINO2019年最新的一个版本为例)的Int8量化工具实现在openvino_2019.3.379\deployment_tools\tools\calibration_tool,因为文档比较难读,所以做个翻译记录在这里,便于使用OpenVINO的量化工具上手。要做Int8量化首先需要将你需要部署的模型Caffe/Pytorch/Tensorflow转化为OpenVINO的IR中间模型。此文档的原因为文档为openvino_2019.3.379\deployment_tools\tools\calibration_tool\README.md。
Python* Calibaration Tool
介绍
校准工具可量化给定的FP16或FP32模型,并在使模型输入保持原始精度的情况下生成低精度的8位整数(INT8)模型。 要了解INT8有关推理的好处的更多信息,请参考./docs/IE_DG/Int8Inference.md)。
注意:INT8模型现在只被CPU plugin所支持。有关支持的配置的完整列表,请参见./docs/IE_DG/supported_plugins/Supported_Devices.md。
本文共计3297个文字,预计阅读时间需要14分钟。
前言:在2020年以前,OpenVINO(以OpenVINO 2019版本为例)的Int8量化工具实现于`openvino_2019.3.379/deployment_tools/tools/calibration_tool`。由于文档难以阅读,故做一翻译记录。
前言
在2020年以前,OpenVINO(这里以OpenVINO2019年最新的一个版本为例)的Int8量化工具实现在openvino_2019.3.379\deployment_tools\tools\calibration_tool,因为文档比较难读,所以做个翻译记录在这里,便于使用OpenVINO的量化工具上手。要做Int8量化首先需要将你需要部署的模型Caffe/Pytorch/Tensorflow转化为OpenVINO的IR中间模型。此文档的原因为文档为openvino_2019.3.379\deployment_tools\tools\calibration_tool\README.md。
Python* Calibaration Tool
介绍
校准工具可量化给定的FP16或FP32模型,并在使模型输入保持原始精度的情况下生成低精度的8位整数(INT8)模型。 要了解INT8有关推理的好处的更多信息,请参考./docs/IE_DG/Int8Inference.md)。
注意:INT8模型现在只被CPU plugin所支持。有关支持的配置的完整列表,请参见./docs/IE_DG/supported_plugins/Supported_Devices.md。

