Pytorch中的长尾词如何高效处理？

本文共计582个文字，预计阅读时间需要3分钟。

目录 + Pytorch + torch.distributions 库 + 包介绍Pytorch + torch.distributions 库 + 包介绍torch.distributions 包包含可参数化的概率分布和采样函数。这允许构建用于优化和随机梯度下降的随机计算图。

目录

• Pytorch torch.distributions库
• 包介绍

Pytorch torch.distributions库

包介绍

torch.distributions包包含可参数化的概率分布和采样函数。 这允许构建用于优化的随机计算图和随机梯度估计器。

不可能通过随机样本直接反向传播。 但是，有两种主要方法可以创建可以反向传播的代理函数。

这些是

评分函数估计量 score function estimato
似然比估计量 likelihood ratio estimator
REINFORCE
路径导数估计量 pathwise derivative estimator
REINFORCE 通常被视为强化学习中策略梯度方法的基础，

路径导数估计器常见于变分自编码器的重新参数化技巧中。