2022年秋季学期视觉计算实验室第一次论文研读预告

时间:2022年9月22日(本周四) 09: 30

地点:望江校区基础教学楼B座318实验室

成员:周怡、程俊龙

Part1

分享者:周怡

分享内容

[1] Singh R, Devkota K, Sledzieski S, et al. Topsy-Turvy: integrating a global view into sequence-based PPI prediction[J]. Bioinformatics, 2022, 38(Supplement_1): i264-i272.

[2] Du B X, Zhao P C, Zhu B, et al. MLGL-MP: a Multi-Label Graph Learning framework enhanced by pathway interdependence for Metabolic Pathway prediction[J]. Bioinformatics, 2022, 38(Supplement_1): i325-i332.

论文简介:

[1] 通常可以将蛋白质-蛋白质关联(Protein-Protein Interaction,PPI)预测的计算方法分为两类:基于序列的“自底向上”方法从独立的蛋白质序列特征中进行推断;全局的“自顶向下”方法从感兴趣的物种的已知PPI模式中进行推断。然而,一直未能实现将自顶向下的见解融入自底向上的基于序列的PPI预测方法。因此,文本作者提出了Topsy-Turvy,该方法将两中时间综合为基于序列的多尺度深度学习PPI预测模型。虽然Topsy-Turvy在预测时只需要序列数据作为输入,但是在训练阶段,它采用了迁移学习的方法,融合了全局和分子层面的蛋白质相互作用模式。实验结果表明,在跨物种的场景下,Topsy-Turvy的性能达到了SOTA水平,在没有已知实验PPI数据的场进行,具备了可达基因组规模的、可解释的PPI预测能力。对于具有实验PPI数据的物种,作者进一步提出了TT-Hybrid模型,将Topsy-Turvy与完全基于网络的链接预测模型相结合,提供了关于特定物种网络重构的信息。TT-Hybrid对特征良好和特征稀少的蛋白质都进行了准确的预测,其表现优于原基于网络的方法和其他最先进的PPI预测方法。此外,可以在全基因组上运行Topsy-Turvy和TT-Hybrid,因此相较于AlphaFold-Multimer等方法可扩展性更强。总之,通用、准确和基因组层次可扩展的Topsy-Turvy和TT-Hybrid方法增进了研究人员对各种场景下的蛋白质相互作用与组织的理解。

图1 Topsy-Turvy架构

[2] 在先导化合物的优化过程中,确定类药物化合物的代谢途径是至关重要的。近年来,基于机器学习的方法在预测类药物化合物的潜在代谢路径方面进展喜人。然而,它们忽略了代谢路径的相互依赖性。此外,它们也不足以阐明化合物参与特定代谢路径的原因。为了解决以上问题,本文作者提出了多标签图学习框架MLGL-MP,它包含化合物编码器、路径编码器和多标签预测器,通过学习路径的相互依赖性来提升代谢路径预测能力。化合物编码器通过图神经网络学习复合嵌入表征。基于预训练词嵌入和路径共现来构建路径依赖图之后,路径编码器通过图卷积网络学习路径嵌入。然后,在将化合物嵌入空间调整为路径嵌入空间之后,多标签预测器测量两个空间的接近程度,以判别目标化合物参与了哪些路径。与其他先进方法的比较证明了MLGL-MP的优越性。此外,消融研究揭示了各个组成部分对模型的贡献。此外,案例研究说明了MLGL-MP的可解释性,它指出了目标化合物中的关键子结构,这些子结构与参与的代谢路径强关联。

图2 MLGL-MP架构

Part2

分享者:程俊龙

分享内容

[1] Lee H J, Kim J U, Lee S, et al. Structure boundary preserving segmentation for medical image with ambiguous boundary[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 4817-4826.

[2] Wang J, Wei L, Wang L, et al. Boundary-aware transformers for skin lesion segmentation[C]//International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2021: 206-216.

[3] Wang K, Zhang X, Zhang X, et al. EANet: Iterative edge attention network for medical image segmentation[J]. Pattern Recognition, 2022, 127: 108636.

[4] SEAformer: Selective Edge Aggregation Transformer for 2D Medical Image Segmentation

论文简介:

[1] 本文提出了一种新的图像分割方法,以解决医学图像的两个关键问题:(I)医学图像领域中结构边界的模糊性;(II)在没有专门领域知识的情况下,分割区域的不确定性。为了解决自动医学分割中的这两个问题,我们提出了一种新的结构边界保持分割框架。为此,提出了边界关键点选择算法。在所提出的算法中,对目标对象的结构边界上的关键点进行估计。然后,使用边界保持块(BPB)和边界关键点图来预测目标对象的结构边界。此外,为了在全自动分割中嵌入专家知识,我们提出了一种新的形状边界感知评估器(SBE),该评估器具有由专家指示的真实结构信息。所提出的SBE可以基于结构边界关键点向分割网络提供反馈。所提出的方法是通用的,并且足够灵活,可以建立在任何基于深度学习的分割网络之上。我们证明了所提出的方法可以超越最先进的分割网络,并在不同类型的医学图像数据集上提高三种不同分割网络模型的准确性。

图3 结构边界保留分隔模型架构

[2] 皮肤镜图像的皮肤病变分割对于改进皮肤癌的定量分析具有重要意义。然而,由于黑色素瘤的巨大变化和病变区域的模糊边界,黑色素瘤的自动分割是一项非常具有挑战性的任务。虽然卷积中性网络(CNN)在这项任务中取得了显着进展,但大多数现有解决方案仍然无法有效地捕获全局依赖关系以抵消由有限感受野引起的归纳偏差。最近,通过采用强大的全局注意力机制,Transformer被提出作为全局上下文建模的有前途的工具,但是当应用于分割任务时,它们的主要缺点之一是它们不能有效地提取足够的局部细节来解决模糊的边界。我们提出了一种新的边界感知转换器(BAT)来全面解决自动皮肤病变分割的挑战。具体来说,我们将一个新的边界注意门(BAG)集成到转换器中,使整个网络不仅可以通过转换器有效地模拟全局远程依赖关系,而且同时通过充分利用边界来捕获更多的局部细节先验知识。特别是,BAG的辅助监督能够帮助Transformer学习位置嵌入,因为它提供了很多空间信息。我们进行了广泛的实验来评估提出的BAT,实验证实了它的有效性,在两个著名的数据集中始终优于最先进的方法。

图4 边界感知Transformer框架

[3] 对医学图像进行准确、自动的分割,可以极大地辅助临床诊断和分析。然而,由于(1)医学图像目标的尺度多样性和(2)医学图像的复杂上下文环境,包括结构边界的模糊性、形状的复杂性和纹理的异质性,它仍然是一项具有挑战性的任务。为了全面应对这些挑战,我们提出了一种新颖有效的迭代边缘注意网(EANet),用于医学图像分割,步骤如下。首先,我们提出了一个动态尺度感知上下(DSC)模块,它动态调整感受野以有效地提取多尺度上下文信息。其次,采用边缘注意保留(EAP)模块来有效去除噪声并帮助边缘流专注于仅处理与边界相关的信息。最后,设计了一个多级成对回归(MPR)模块,将互补边缘和区域信息结合起来,以细化模糊结构。这种迭代优化有助于学习更好的表示和更准确的显着图。广泛的实验结果表明,在包括肺结节分割、COVID-19 感染分割、肺分割和甲状腺结节分割在内的四种不同的具有挑战性的医学分割任务中,所提出的网络实现了优于最先进方法的分割性能。

图7 EANet框架

[4] 医学图像自动分割在医学研究与实践中有着广泛的应用和研究价值,它可以辅助医务工作者进行临床病变评估和疾病诊断分析。然而,由于医学图像待分割目标尺度变化大、结构边界模糊和纹理异质等特性,这仍然是一项具有挑战性的任务。为了应对这些挑战,我们提出了一种编码器-解码器体系结构的选择性边缘聚合Transformer (SEAformer)用于2D医学图像分割。具体来说,我们首先以并行的方式将具有密集连接的CNN和具有Dense MLP的Transformers结合在一起构成编码器,以更深层次、多尺度的方式有效地捕获医学图像中浅层纹理信息和全局上下文信息。然后,我们提出了一种即插即用的选择性边缘聚合模块,该模块在无监督的情况下去除噪声背景,选择并保留有用的边缘特征,使网络更加关注与目标边界相关的信息。最后,我们设计了一个结合目标内容和边缘的损失函数,并采用多级优化策略来细化模糊结构。这种优化有助于网络学习更好的特征表示,产生更准确的分割结果。此外,得益于我们始终采用密集连接的方式构建网络,SEAformer仅有16 MB参数和32 GFlops。大量的实验结果表明,SEAformer在四种不同的挑战性医学分割任务中,包括Skin Lesion分割、Thyroid nodules分割、GLAnd分割和COVID-19 Infection分割,与大多数最先进的方法相比表现良好。

图8 SEAformer框架