如何使用SciPy的optimize.minimize函数解决受限优化问题？

本文共计889个文字，预计阅读时间需要4分钟。

问题描述：有一批样本x，每个样本都有几个固定的标签，如（男，24岁，上海）。需要从中抽取一批样本，使得样本的标签总体分布满足P(x)的分布，例如（男：女=49%：51%、20岁：30岁=9%：11%、……）。

问题描述：有一批样本x，每个样本都有几个固定的标签，如（男，24岁，上海），需要从中抽取一批样本，使样本总的标签比例满足分布P(x)，如（男:女=49%:51%、20岁:30岁=9%:11%、..........）

采用KL-散度作为优化目标函数。

KL-散度又叫相对熵

KL-散度在机器学习中，P用来表示样本的真实分布，比如[1,0,0]表示当前样本属于第一类。Q用来表示模型所预测的分布，比如[0.7,0.2,0.1]

KL-散度直观的理解就是如果用P来描述样本，那么就非常完美。而用Q来描述样本，虽然可以大致描述，但是不是那么的完美，信息量不足，需要额外的一些“信息增量”才能达到和P一样完美的描述。如果我们的Q通过反复训练，也能完美的描述样本，那么就不再需要额外的“信息增量”，Q等价于P。

公式：

使用SciPy中的optimize.minimize来进行优化。