2024年秋季学期视觉计算实验室第十一次论文研读预告

时间:2024年11月30日(周六)上午9:00

地点:望江校区基础教学楼B座318实验室

分享者:周寅杰、刘翼逍、杨一舟

Part1

分享者:周寅杰

分享内容

[1]Zhang, Y., Xu, L., Tao, S., Guan, Q., Li, Q., & Zeng, H. (2024). CSLens: Towards Better Deploying Charging Stations via Visual Analytics——A Coupled Networks Perspective. IEEE Transactions on Visualization and Computer Graphics.

[2]Cao, A., Xie, X., Zhou, M., Zhang, H., Xu, M., & Wu, Y. (2023). Action-Evaluator: A Visualization Approach for Player Action Evaluation in Soccer. IEEE Transactions on Visualization and Computer Graphics.

论文简介

[1]近年来,全球电动汽车( EV )的拥有量激增,促使充电站的安装量也相应上升。这种扩散凸显了加快充电基础设施部署的重要性。因此,学术界和工业界都致力于解决充电站选址问题( CSLP ),以简化这一过程。然而,现有的求解CSLP的算法受到限制性假设和计算开销的限制,导致在时空维度上缺乏全面的评估。此外,充电站的部署对道路网络和电网都有重要影响,因此有必要从整体上评估这些互联网络的潜在部署后的影响。在本研究中,我们提出了CSLens可视分析系统,旨在通过交通和电力网络耦合的视角进行充电站的部署决策。CSLens提供了多种可视化和交互功能,使用户能够深入了解现有的充电站布局,探索可供选择的部署方案,并评估效果。为了验证CSLens的有效性,我们进行了两个案例研究,并与领域专家进行了访谈。通过这些工作,我们证实了CSLens在加强充电站部署的决策过程中的可用性和实际效用。我们的研究结果凸显了 CSLens 作为一项宝贵的工作,在应对充电基础设施规划的复杂性方面所具有的潜力。

CSLens系统

[2]在足球比赛中,球员动作评价为分析球员表现提供了一种细粒度的方法,对提高未来比赛的获胜机会具有重要作用。然而,以往关于动作评价的研究仅提供了每个动作的评分,难以支持结合球队战术、球员位置等复杂比赛情境信息对球员动作进行考察和比较。在这项工作中,我们与足球分析人员和教练合作,以确定基于动作得分评估球员表现的领域问题。我们设计了一个量身定制的足球运动员动作可视化视图,将动作选择和它所属的战术以及球员位置放在同一个视图中。在设计的基础上,我们引入了一个可视分析系统Action-Evaluator,通过球员导航、动作分析和动作解释来实现对球员动作的全面评估。通过该系统,分析人员可以高效地找到需要分析的球员,了解他们在各种比赛情况下的表现,并获得有价值的见解,以改善他们的行为选择。这项工作的有用性和有效性通过在真实世界数据集上的两个案例研究和专家访谈来证明。

Action-Evaluator界面

Part2

分享者:刘翼逍

分享内容

[1]Dong, Sijun, et al. "ChangeCLIP: Remote sensing change detection with multimodal vision-language representation learning." ISPRS Journal of Photogrammetry and Remote Sensing 208 (2024): 53-69.

论文简介

[1]遥感变化检测 (RSCD) 是从双时相图像中识别表面变化的重要应用,如环境监测和灾害监控。在过去十年中,在人工智能浪潮的推动下,许多基于深度学习的变化检测方法涌现,并取得了实质性的突破。然而,这些方法更注重视觉表示的学习而忽略了多模态数据的潜力。最近,基础的视图语言模型,即 CLIP,为多模态AI提供了新的范式,展示了在下游任务中的出色性能。遵循这一趋势,本文提出了一种新颖的方法ChangeCLIP,它利用图像文本对中的稳健语义信息,专门用于遥感变化检测(RSCD)。具体来说,我们重构了原始的CLIP以提取双时相特征,并提出了一个新颖的差分特征补偿模块来捕捉它们之间的详细语义变化。此外,我们通过将编码阶段的结果与解码阶段的视觉特征相结合,结合图像文本编码结果,提出了一个由视觉特征驱动的解码器,从而增强图像语义。所提出的ChangeCLIP在五个著名的变化检测数据集上达到了最先进的IoU:LEVIR-CD (85.20%),LEVIR-CD+(75.63%),WHUCD(90.15%),CDD(95.87%) 和SYSU-CD(71.41%)。

ChangeCLIP架构

Part3

分享者:杨一舟

分享内容

[1]Ji B, Zou H, Xu L, Xie X, Peng S. MUSCLE: multi-view and multi-scale attentional feature fusion for microRNA-disease associations prediction. Brief Bioinform. 2024 Mar 27;25(3):bbae167. doi: 10.1093/bib/bbae167. PMID: 38605642; PMCID: PMC11009512.

论文简介

[1]微小RNA ( microRNA,miRNA )与人体细胞中的多种生物分子协同作用,在调节广泛的生物学过程中发挥不同的功能。预测潜在的疾病相关miRNA作为有价值的生物标志物有助于人类疾病的治疗。然而,先前的方法很少从整体的角度出发,只关注孤立的miRNA和疾病对象,从而忽略了人体细胞负责多种关系。在这项工作中,我们首先根据miRNA和各种生物分子之间的关系构建多视图图,然后利用图注意力神经网络学习每个视图的miRNA和疾病的图拓扑特征。接下来,我们再次添加了注意力机制,并开发了多尺度特征融合模块,旨在确定miRNA和疾病的多视图拓扑特征的最优融合结果。此外,同时加入miRNA和疾病的先验属性知识,以达到更好的预测效果,解决冷启动问题。最后,将学习到的miRNA和疾病表示进行级联,并将其输入到多层感知器中进行端到端的训练,并预测潜在的miRNA -疾病关联。