VALSE 2022-day3

报告1：基于伪标签的弱半监督学习

讲者：朱鹏飞 （天津大学）

在线伪标签训练是弱监督和半监督学习任务中增强监督信息的一种有效手段，但伪标签噪声和错误累积降低了模型的泛化性和鲁棒性。如何生成和优化无标记数据的伪标签是基于伪标签的弱监督学习的关键。

最近的相关工作通常使用变分图自动编码器（VGAE）来使节点表示服从特定的分布。尽管它们已经显示出可喜的结果，但如何引入监督信息来指导图节点的表示学习并提高聚类性能仍然是一个悬而未决的问题。针对上述问题朱教授团队提出了一种协作决策强化自我监督（CDRS）方法来解决该问题，其中伪节点分类任务与聚类任务协作以增强图节点的表示学习。本报告分享了其团队提出的自监督低秩表示、动态样本加权、协同表示学习方面的相关工作，并介绍其在图像和图数据中的应用。

报告2：预训练模型的高效迁移学习

讲者：龙明盛 （清华大学）

预训练模型是从大规模数据上学习得到的深度神经网络，是深度学习领域的重要进展之一，也是实现一般性任务迁移学习的基础。我们注意到，预训练模型在迁移学习过程中存在着数据效率低、知识利用率低、灾难性遗忘严重等基本难题。本报告介绍了龙教授团队在预训练模型的高效迁移学习方面的工作，包括预训练模型迁移性评价、模型库自适应迁移、预训练模型安全微调学习等通用算法。

通过此报告了解到迁移学习一直是机器学习领域的难点问题，其目标是在数据分布变化的条件下实现强泛化能力。经过学者们长期探索，逐步缩小了迁移学习的泛化理论与学习算法之间的鸿沟。同时，迁移学习在计算机视觉领域中是一种很流行的方法，因为它可以建立精确的模型，耗时更短。利用迁移学习，不是从零开始学习，而是从之前解决各种问题时学到的模式开始，这样我们可以利用以前的学习成果，避免从零开始。

报告3：Delta Tuning：大模型的小参数高效微调

讲者：刘知远（清华大学）

近年来深度学习成为自然语言处理关键技术，特别是2018年以来的预训练语言模型，显著提升了自然语言处理整体性能。如何更好地激发大规模预训练模型在下游任务上的效果，是广泛关注的研究课题。但是，随着模型规模增大，如何微调大模型参数适配下游任务，变得越来越困难。最近，参数高效微调（Parameter-Efficient Learning，或者 Delta Tuning）通过固定大模型参数不动，只微调非常少的参数（Delta），就可以达到与全参数微调相当的效果，取得了很多突破性进展。本报告刘教授介绍了大模型的小参数高效微调方法、前沿动态以及未来展望。

通过刘教授的报告我们了解到 Delta Tuning的基本思想就是只去调整大模型里非常小的一些参数，从而让这个模型非常快的适配到下游任务，会让适配过程不会变得那么困难，这方面是如何去把大模型快速适配到下游任务的关键问题，这是一个非常前沿的方向。

报告4：人工智能+艺术

讲者：刘偲 （北京航空航天大学）

本次报告中，刘教授介绍了3个围绕Al+艺术方面的工作。包括：（1）视频自动配乐：我们提出了可控的音乐Transformer生成模型，通过视频和音乐的韵律关系能够按照用户指定的音乐流派和乐器，生成与视频搭配的音乐。（2）语言指导的图像美化：我们的方法主要包括编辑描述模块和图像-语言注意力模块，从而实现根据语言自适应的图像编辑。（3）细节保持的妆容迁移：我们的算法能实现局部上妆，并能控制妆的浓淡，也能实现高光、腮红等细致的妆容迁移。

刘教授的报告给学者们带来了启发，在智能创作上融合大数据是必然的趋势，随着算力增长，当前的智能创作研究进展大有这个趋势。机遇和挑战是并存，大模型大数据虽可提供很好的先验，但如何设计好的无监督/自监督代理任务来从有噪声的数据中挖掘适合特定任务的先验知识依旧需要解决。此外，在利用大数据大模型会吟诗之后，需要作诗，更要弄清楚创作的套路和规则，比如作曲作诗都有固有的一些规则，比如韵律和乐理知识来约束，将规则融入到模型才能更好的发挥大数据的能量。除了更大的数据量和算力，还可以让艺术家选择性地加入AI的创作过程。这个系统将利用人工智能的高效性，同时保留艺术家对创作过程的可控性，从而创作出更加合理的作品。从这个视角来看，研究将不再拘泥于“如何构建更加智能的艺术创作系统”，而是去探索“如何将人的交互加入系统中”。