时间：2021年12月23日(本周四) 09: 30
地点：望江校区基础教学楼B座318实验室
成员：周怡、李旺
Part1
分享者：周怡
分享内容：ADL122《图神经网络》参会收获
近年来，在NLP和CV领域，大规模自监督的预训练模型在各式任务上都达到了SOTA的效果。自然地，研究人员希望将预训练的思想迁移到图数据上。在本次ADL122《图神经网络》讲习班中，有多位讲者介绍了图上的预训练机制，并评价了这一研究热点的前景与不足。分享者将简介图预训练方法，并结合实验室目前的图相关项目，展望是否引入、如何引入预训练机制。
Part2
研读成员：李旺
分享内容：
[1] Mengchen Liu,Jiaxin Shi,Kelei Cao,Jun Zhu,Shixia Liu．Analyzing the Training Processes of Deep Generative Models[J]．IEEE transactions on visualization and computer graphics,2018,24(1):77-87
论文简介：
[1] 在许多类型的深度模型中，深度生成模型（DGM）为无监督和半监督学习提供了解决方案。但是因为与其他类型的深度模型（例如卷积神经网络（CNN））相比，训练DGM更为复杂，导致训练DGM需要大量的技能，经验和知识。我们开发了一种可视化分析方法，以更好地理解和诊断DGM的训练过程。为了帮助专家了解整个培训过程，我们首先提取了大量代表训练动态的时间序列数据。然后引入蓝噪声折线采样方案以选择时间序列样本，这样既可以保留离群值，又可以减少视觉混乱。为了进一步研究失败的训练过程的根本原因，我们提出了一种信用分配算法，该算法可指示其他神经元如何对导致训练失败的神经元的输出做出贡献。我们与机器学习专家进行了两个案例研究，以证明我们的方法如何帮助理解和诊断DGM的训练过程。我们还将展示如何将我们的方法直接用于分析其他类型的深度模型，例如CNN。
