NVIDIA HugeCTR GPU版本参数服务器有哪些特点？

本文共计3848个文字，预计阅读时间需要16分钟。

经过阅读多篇文章，我们基本梳理了HugeCTR的训练过程。现在，我们需要具体了解HugeCTR的推理过程，这样可以从整体上更好地把握。在此之前，我们曾专注于分析分布式训练。

经过9篇文章之后，我们基本把 HugeCTR 的训练过程梳理了以下，现在我们有必要看看HugeCTR如何进行推理，这样可以让我们从整体上有一个更好的把握。而且我们之前都是分析分布式训练，此处恰好可以看看分布式推理。 [翻译] NVIDIA HugeCTR，GPU 版本参数服务器 --(10)--- 推理架构

目录

• [翻译] NVIDIA HugeCTR，GPU 版本参数服务器 --(10)--- 推理架构
  • 0x00 摘要
  • 0x01 设计
  • 0x02 HugeCTR后端框架
  • 0x03 GPU 嵌入缓存
    • 3.1 启用
    • 3.2 禁用
  • 0x04 本地化部署
  • 0x05 具有分层 HugeCTR 参数服务器的分布式部署
  • 0x06 Variant Compressed Sparse Row Input
    • VCSR 示例
      • 每个模型的单个嵌入表
      • 每个模型有多个嵌入表
  • 0xFF 参考

0x00 摘要

经过9篇文章之后，我们基本把 HugeCTR 的训练过程梳理了以下，现在我们有必要看看HugeCTR如何进行推理，这样可以让我们从整体上有一个更好的把握。而且我们之前都是分析分布式训练，此处恰好可以看看分布式推理。