如何实现使用ONNXRuntime在GPU上运行RapidLayout的快速推理示例？

本文共计566个文字，预计阅读时间需要3分钟。

相关专题

在线demo: https://huggingface.co/spaces/SWHL/RapidLayout

RapidLayout库主要是做文档类图像的版面分析。具体来说，就是分析给定的文档类别图像（论文截图、研报等），定位其中类别和位置，如标题、段落、表格和图片等各个部分。该库集成了PP-Structure中3个版面分析模型、360开源的4个版面分析模型，大家可按需使用。

版面分析落地场景：一般用于结构化文档使用。将PDF中每一页转为图像，用版面分析检测出图像中各个元素，像段落、表格、公式，然后将各个元素送到各个专用模型下识别，最后汇总做版面恢复为Word或者TXT格式。

GPU推理速度结论：onnxruntime-gpu推理速度有10倍提升。原因是版面分析输入图像尺寸固定。

前提条件

启动该项目时，需要选择具有GPU的运行环境（V100），可选下图红框任意一个：

对比结果

推理	推理速度(s/img)
CPU	0.9425
GPU V100	0.0440