数据集蒸馏Dataset Distillation是什么技术？
- 内容介绍
- 文章标签
- 相关推荐
本文共计1089个文字，预计阅读时间需要5分钟。
近期，由北大、爱丁堡大学和MIT的Dr. Guang Li、Dr. Bo Zhao和Dr. Tongzhou Wang共同发起的数据集项目总结了数据集领域优秀论文及开源代码。
近期由北海道大学的 Dr. Guang Li，爱丁堡大学的 Dr. Bo Zhao 和 MIT 的 Dr. Tongzhou Wang 共同发起的数据集蒸馏项目总结了数据集蒸馏领域所有优秀论文以及开源代码。
数据集蒸馏研究简介
数据集蒸馏是生成小数据集的任务，以便在其上训练的模型在原始大数据集上实现高性能。数据集蒸馏算法将要蒸馏的大型真实数据集（训练集）作为输入，并输出一个小的合成蒸馏数据集，该数据集通过在单独的真实数据集（验证 / 测试集）上在该蒸馏数据集上训练的测试模型进行评估。
数据集蒸馏问题设定
这项任务最初是在 Dr. Tongzhou Wang 2018 年的论文 Dataset Distillation [1] 中介绍的，改论文同时提出了通过优化步骤使用反向传播的算法。由于最初算法的局限性，当时仅仅可以在一些简单数据集如 MNIST，CIFAR-10 上进行蒸馏操作且准确率比较低。这也是最初的 Dataset Distillation 没有被一些 AI 顶会 (NeurIPS/ICCV/ICLR) 收录的原因。
本文共计1089个文字，预计阅读时间需要5分钟。
近期，由北大、爱丁堡大学和MIT的Dr. Guang Li、Dr. Bo Zhao和Dr. Tongzhou Wang共同发起的数据集项目总结了数据集领域优秀论文及开源代码。
近期由北海道大学的 Dr. Guang Li，爱丁堡大学的 Dr. Bo Zhao 和 MIT 的 Dr. Tongzhou Wang 共同发起的数据集蒸馏项目总结了数据集蒸馏领域所有优秀论文以及开源代码。
数据集蒸馏研究简介
数据集蒸馏是生成小数据集的任务，以便在其上训练的模型在原始大数据集上实现高性能。数据集蒸馏算法将要蒸馏的大型真实数据集（训练集）作为输入，并输出一个小的合成蒸馏数据集，该数据集通过在单独的真实数据集（验证 / 测试集）上在该蒸馏数据集上训练的测试模型进行评估。
数据集蒸馏问题设定
这项任务最初是在 Dr. Tongzhou Wang 2018 年的论文 Dataset Distillation [1] 中介绍的，改论文同时提出了通过优化步骤使用反向传播的算法。由于最初算法的局限性，当时仅仅可以在一些简单数据集如 MNIST，CIFAR-10 上进行蒸馏操作且准确率比较低。这也是最初的 Dataset Distillation 没有被一些 AI 顶会 (NeurIPS/ICCV/ICLR) 收录的原因。