徐童：如何利用视频生成并应用社交关系图谱？

本文共计3507个文字，预计阅读时间需要15分钟。

导语：随着在线社交媒体平台的蓬勃发展，对精细化检索、视频语义摘要等媒体智能服务需求巨大。现有的视频理解技术尚缺乏深入的语言语义搜索，结合视频内容中人物的社交关系，才能更全面、准确地进行信息提取。

---

导读： 在线社交媒体平台的发展，带来了细粒度检索、视频语义摘要等媒体智能服务的巨大需求。现有的视频理解技术缺乏深入的语义线索，结合视频中人物的社交关系才能更完整、准确地理解剧情，从而提升用户体验，支撑智能应用。这里主要介绍我们将动态分析和图机器学习相结合，围绕视频中的人物社交关系网络所开展的两个最新的工作。主要内容包括：

• 问题背景
• 关系图生成
• 关系图应用
• 未来展望

--

01 问题背景 ** 1. 现有视频理解技术缺乏深入语义线索**

现有的视频理解技术更多地着眼于描述画面里人物的行为、动作、身份，很少关注更深层的语义信息。例如上图中让子弹飞的例子，现有算法理解的是“两个人坐在一起，一个人表情愤怒，另一个人表情开心”，但由于缺乏深入的语义线索，不能解释这两个人为什么表情各异地坐在一起，对剧情的理解其实就不完整，不准确。在视频理解当中，除了浅层的“所得即所见”之外，还需要更多深层的“所得不可见”的语义挖掘。在多种多样的语义线索中间，人物社交关系是最核心的线索。