2024年秋季学期视觉计算实验室第九次论文研读预告

时间:2024年11月16日(周六) 09: 00

地点:望江校区基础教学楼B座318实验室

分享者:王启鹏、王国强、李若愚

Part 1

分享者:王启鹏

分享内容:

[1] F. Cheng, M. S. Keller, H. Qu, N. Gehlenborg and Q. Wang, "Polyphony: an Interactive Transfer Learning Framework for Single-Cell Data Analysis," in IEEE Transactions on Visualization and Computer Graphics, vol. 29, no. 1, pp. 591-601, Jan. 2023, doi: 10.1109/TVCG.2022.3209408.

[2] E. Mörth et al., "Cell2Cell: Explorative Cell Interaction Analysis in Multi-Volumetric Tissue Data," in IEEE Transactions on Visualization and Computer Graphics, doi: 10.1109/TVCG.2024.3456406.

论文简介:

[1] 基于参考的细胞类型注释可以通过将标签从先前注释的数据集转移到新的数据集,从而在单细胞分析中显著减少时间和工作量。然而,由于技术差异(例如,来自不同的测序批次或技术)和生物学差异(例如,来自不同的细胞微环境)的纠缠,端到端的计算方法进行标签传递是具有挑战性的,而只有前者必须被移除。为了解决这个问题,我们提出了Polyphony,这是一个交互式迁移学习(ITL)框架,旨在将生物学家的知识与现代计算方法相结合。Polyphony是由领域专家的需求推动和指导的,这些需求是通过我们对七位生物学家的多轮专家访谈确定的,他们需要一个可控、交互式且由算法辅助的注释过程。我们引入了“锚点”,即跨数据集的类似细胞群体,作为一个范例来解释计算过程,并收集用户反馈以改进模型。提供了一系列可视化工具和交互方式,使用户能够添加、删除或修改锚点,从而得到更精细的细胞类型注释。我们通过定量实验、两个假设性的用例以及与两位生物学家的访谈,证明了这种方法的有效性。结果显示,我们基于锚点的ITL方法利用了人类和机器智能的优势来注释大规模单细胞数据集。

[2] 我们介绍了Cell2Cell,这是一种新颖的可视化分析方法,用于量化并可视化三维(3D)多通道癌组织数据中的细胞-细胞相互作用网络。通过分析细胞相互作用,生物医学专家可以更准确地理解癌症和免疫细胞之间的复杂关系。最近的方法主要集中在基于低分辨率2D多通道成像数据中细胞之间的接近性来推断相互作用。相比之下,我们通过量化高分辨率3D多通道体积数据中提取的组织样本中特定蛋白质的存在和水平(蛋白质表达)来分析细胞相互作用。这类分析具有强烈的探索性,需要将领域专家紧密地融入分析流程中,以利用他们的专业知识。
为了应对数据日益增长的大小和复杂性,我们提出了两种互补的半自动化方法进行交互式处理:一方面,我们将细胞之间的相互作用解释为细胞图中的边,并使用空间以及抽象可视化来分析沿着这些边的图像信号(蛋白质表达)。另一方面,我们提出了一个以细胞为中心的方法,使科学家能够可视化地分析三维空间中蛋白质的极化分布,这也捕获了具有生化及细胞生物学后果的邻近细胞。
我们在三个案例研究中评估了我们的应用程序,其中生物学家和医学专家使用Cell2Cell来研究肿瘤微环境,以识别和量化人组织数据中的T细胞激活。我们确认,我们的工具可以完全解决这些用例,并使得细胞-细胞相互作用的流程化和详细分析成为可能。

Part 2

分享者:王国强

分享内容:

[1] LEE C, KIM Y, JIN S, et al. A Visual Analytics System for Exploring, Monitoring, and Forecasting Road Traffic Congestion[J/OL]. IEEE Transactions on Visualization and Computer Graphics, 2020: 3133-3146.

[2] Jalilvand A , Christino L , Paulovich F .Serviz: A Visual Analytics System for the Analysis of Sequential Rules and its Application to Airport Ground Handling Operations[J].SSRN Electronic Journal, 2023.

论文简介:

[1] 本文提出了一种交互式可视化分析系统,该系统基于车辆检测器数据,能够实现交通拥堵的探索、监控和预测。通过与领域专家的合作,提取了任务需求,并结合长短期记忆(LSTM)模型进行拥堵预测,设计了一种加权方法来检测拥堵原因和拥堵传播方向。我们的可视化分析系统旨在使用户能够探索拥堵原因、方向和严重程度。通过使用Volume-Speed Rivers(VSRivers)可视化技术,城市拥堵状况得以展示,同时呈现交通流量和速度。为了评估该系统,本文总结了性能比较结果,其中模型比其他预测算法更为准确。通过三个案例研究和领域专家的反馈,我们展示了该系统在交通管理和拥堵广播领域的实用性。

[2] 从飞机抵达机场到起飞,一系列计划中的服务,如加油、维护和乘客换乘等,被称为地面处理操作(GHOs),这些服务是为飞机的下一段旅程做准备。这些服务必须按计划完成。否则,可能会发生严重延误,增加机场利益相关者的成本。人们曾尝试使用数学建模和模拟来分析GHOs。然而,这类模型通常使用外部信息,这些信息高度敏感,实际上航空公司不会共享。本文旨在通过一个名为顺序规则可视化(SeRViz)的可视化分析系统来填补这一空白,该系统将矩阵式可视化表示与顺序规则挖掘(SRM)相结合,仅使用 GHO 日志和公开可用数据(如天气)来支持对机场运营的探索性分析。SeRViz 旨在满足机场专家提出的要求,通过测试和访谈,可视化与 SRM 的结合有望在不增加用户分析复杂顺序信息时认知负担的情况下增强专家的分析能力。

Part 3

分享者:李若愚

分享内容:

[1] Ye, Yiwen, et al. "Continual self-supervised learning: Towards universal multi-modal medical data representation learning." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2024.

论文简介:

[1] 自监督学习 (SSL) 是一种有效的医学图像分析预训练方法。然而,当前的研究大多局限于某些模态,耗费了大量的时间和资源,却无法实现不同模态的通用性。一种直接的解决方案是将所有模态数据结合起来进行联合 SSL,但这带来了实际挑战。首先,本文的实验表明,随着模态数量的增加,表征学习中会出现冲突。其次,提前收集的多模态数据无法覆盖所有现实世界场景。本文从持续学习的角度重新考虑多功能 SSL,并提出了一种用于多模态医疗数据的持续 SSL 方法 MedCoSS。与联合表征学习不同,MedCoSS 将不同的数据模态分配给单独的训练阶段,从而创建一个多阶段的预训练过程。本文提出了一种基于排练的持续学习方法来管理模态冲突并防止灾难性遗忘。具体来说,在新模态学习过程中使用 k 均值采样来保留和演练以前的模态数据。此外,本文在缓冲数据上应用特征蒸馏和模态内混合来保留知识,绕过借口任务。本文在大型多模态未标记数据集上进行实验,包括临床报告、X 射线、CT、MRI 和病理图像。实验结果证明了 MedCoSS 在 9 个下游数据集中的卓越泛化能力及其在集成新模态数据方面的显著可扩展性。