2024年春季学期视觉计算实验室第一次论文研读预告

时间:2024年3月1日(本周五) 09: 30

地点:望江校区基础教学楼B座318实验室

分享者:管弦、杨璐歌

Part1

分享者:管弦

分享内容:

[1] Yang, H., Wu, J., Hu, Z., & Lv, C. (2024). Real-Time Driver Cognitive Workload Recognition: Attention-Enabled Learning With Multimodal Information Fusion. IEEE Transactions on Industrial Electronics, 71(5), 4999–5009. https://doi.org/10.1109/TIE.2023.3288182

[2] Manon Réau, Nicolas Renaud, Li C Xue, Alexandre M J J Bonvin, DeepRank-GNN: a graph neural network framework to learn patterns in protein–protein interfaces, Bioinformatics, Volume 39, Issue 1, January 2023, btac759, https://doi.org/10.1093/bioinformatics/btac759

论文简介:

[1] 驾驶员工作量推断对于智能人机协作驾驶方案的设计具有重要意义,因为它允许系统在潜在危险操作之前提醒驾驶员,并实现更安全的控制过渡。然而,个体驾驶员和传感器工件之间的模式变化对现有的认知工作负载识别方法提出了很大的挑战。在本文中,作者开发了一个具有决策级融合架构的支持注意力的识别网络,以进一步提高工作负载估计性能。具体来说,交叉注意机制可以增强基于超长短期记忆的模块从时间序列多模态信息(即脑电图信号、眼球运动和车辆状态)中学习到的有用特征表征。构建了包含多个驾驶场景的新数据集来评估模型在不同历史视界和决策阈值下的性能,测试结果表明该模型的性能优于其他现有方法。此外,还进行了鲁棒性测试和驾驶员在环实验,以验证所开发模型在实时工作量水平推断中的有效性。

[2] 获得蛋白质-蛋白质相互作用组的结构见解对于理解生物现象并提取知识以进行合理的药物设计或蛋白质工程至关重要。作者之前开发了 DeepRank,这是一个深度学习框架,用于使用卷积神经网络 (CNN) 方法从蛋白质-蛋白质界面中学习模式。然而,CNN 不是旋转不变的,需要数据增强将网络脱敏到输入数据方向,这极大地损害了计算性能。将蛋白质-蛋白质复合物表示为原子或残基尺度的旋转不变图,而不是使用图神经网络 (GNN) 方法,绕过了这些限制。作者开发了DeepRank-GNN,这是一个将PDB 3D坐标文件中的蛋白质-蛋白质界面转换为进一步提供给预定义或用户定义的GNN架构的图,以学习特定于问题的交互模式。DeepRank-GNN 旨在高度模块化、易于定制并封装到用户友好的 python3 包中。在这里,作者使用专门的图交互神经网络展示了 DeepRank-GNN 在两个应用程序上的性能:(i)对接姿势的评分,以及(ii)区分生物和晶体界面。除了与最先进的方法相比,在这些任务中获得的极具竞争力的性能外,作者还展示了与 DeepRank 相比,使用 DeepRank-GNN 的速度和存储需求的显着改进。

Part2

分享者:杨璐歌

分享内容:

[1] J. Yuan et al., "SUBPLEX: A Visual Analytics Approach to Understand Local Model Explanations at the Subpopulation Level," in IEEE Computer Graphics and Applications, vol. 42, no. 6, pp. 24-36, 1 Nov.-Dec. 2022, doi: 10.1109/MCG.2022.3199727.

[2] J. Wang, L. Wang, Y. Zheng, C. -C. M. Yeh, S. Jain and W. Zhang, "Learning-From-Disagreement: A Model Comparison and Visual Analytics Framework," in IEEE Transactions on Visualization and Computer Graphics, vol. 29, no. 9, pp. 3809-3825, 1 Sept. 2023, doi: 10.1109/TVCG.2022.3172107.

论文简介:

[1] 随着每天产生的分类模型数量的快速增长,也引入了许多模型解释和比较解决方案。例如,LIME[1]和SHAP[2]可以解释哪些输入特征对分类器的输出预测贡献更大。不同的数值度量(例如,精度)可以用来比较两个分类器。然而,很少有作品能够解释数据特征对分类器的贡献,并将其与对另一个分类器的贡献进行比较。这种比较解释有助于揭示两个分类器之间的根本区别,在不同的特征条件下选择分类器,更好地集成两个分类器。为了实现这一目标,本文提出了一个从分歧中学习(LFD)框架来直观地比较两种分类模型。具体来说,LFD从两个比较的分类器中识别具有不一致预测的数据实例,并训练判别器从不一致的实例中学习。由于两个分类器的训练特征可能不可用,本文通过基于分类器的某些假设提出的一组元特征来训练鉴别器,以探测它们的行为。用不同元特征的SHAP值解释训练的鉴别器,为比较的分类器提供了可操作的见解。此外,本文还引入了多个指标,从不同的角度来描述元功能的重要性。有了这些指标,就可以很容易地识别两个分类器中具有最互补行为的元特征,并使用它们更好地集成分类器。本文将重点放在金融服务和广告行业的二元分类模型上,以证明我们提出的框架和可视化的有效性。

[2] 在做出具有社会影响的决策(如运输控制、金融活动和医疗诊断)时,理解机器学习(ML)模型的解释至关重要。虽然局部解释技术是在单个实例上解释ML模型的流行方法,但它们不能扩展到对整个数据集上模型行为的理解。本文概述了可视化分析局部解释的挑战和需求,并提出了SUBPLEX,这是一种可视化分析方法,可以帮助用户通过亚种群可视化分析来理解局部解释。SUBPLEX提供了可控制的聚类和投影可视化技术,允许用户根据用户的专业知识推导出可解释的局部解释子集。本文通过两个用例和专家的反馈来评估我们的方法。