2023年秋季学期视觉计算实验室第十三次论文研读预告

时间:2023年12月19日(周二)09:30

地点:望江校区基础教学楼B座318实验室

分享者:管弦、甘霖、李若愚

Part1

分享者:管弦

分享内容:

[1] Liu, J., Song, L., Wang, G., & Shang, X. (2023). Meta-HGT: Metapath-aware HyperGraph Transformer for heterogeneous information network embedding. Neural Networks, 157, 65-76.

[2] Liu, J., Chen, Y., Huang, X., Li, J., & Min, G. (2023). GNN-based long and short term preference modeling for next-location prediction. Information Sciences, 1–14. https://doi.org/10.1016/j.ins.2023.01.131

论文简介:

[1] 异构信息网络嵌入旨在学习异构信息网络(HIN)中的低维节点向量,不仅涉及结构信息,还涉及不同节点和关系类型的异质性。现有的HIN嵌入模型主要依靠元路径来定义节点对之间的复合关系,从而从原始HIN中提取子结构。然而,由于元路径的成对结构,这些模型无法捕获隐式包含在 HIN 中的高阶关系(例如“多位作者共同授权论文”)。为了解决这一限制,作者提出了一种元路径感知的HyperGraph Transformer (Meta-HGT),用于HINs中的节点嵌入。Meta-HGT首先扩展元路径来指导原始HIN的高阶关系提取,并构建具有不同复合语义的多个基于元路径的超图。然后,Meta-HGT 通过Meta-HGT 层学习每个基于元路径的超图中的潜在节点和超边嵌入。每一层由两种类型的组件组成,即超边内聚合和超边间聚合,其中提出了一种新的类型依赖注意机制用于节点和超边特征聚合。最后,它通过语义注意层融合从不同基于元路径的超图中学习到的多个节点嵌入,生成最终的节点嵌入。在三个HIN基准上进行了广泛的实验,用于节点分类。结果表明,Meta-HGT 在所有三个数据集上都实现了最先进的性能。

[2] 下一个位置预测是下一个POIs推荐的一项特殊任务。与一般推荐任务不同,下一个位置预测高度依赖于上下文:(1)顺序依赖,即用户检查的顺序位置具有很高的相关性;(2)时间依赖性,即签到偏好被识别为不同的白天或晚上; (3)空间依赖,即用户更喜欢访问更近的位置。最近的研究非常成功地通过综合考虑用户偏好来预测用户的下一个位置。尽管如此,这些方法不仅无法捕获时间依赖性,而且无法捕获位置拓扑信息。为了填补这一空白,作者提出了一种基于 GNN 的模型,该模型将 POI 转换为低维度量,并整合用户的长期和短期偏好以全面表示动态偏好。该模型由用于长期偏好建模的图神经网络和用于短期偏好建模的 LSTM 组成。在两个真实世界的数据集上进行了全面的实验,结果证明了我们的方法在用于下一个位置预测的最新方法上的有效性。

Part2

分享者:甘霖

分享内容:

[1] S. Guan, Q. Zou, H. Wu and Y. Ding, Protein-DNA Binding Residues Prediction Using a Deep Learning Model With Hierarchical Feature Extraction, IEEE/ACM Transactions on Computational Biology and Bioinformatics, vol. 20, no. 5, pp. 2619-2628, 1 Sept.-Oct. 2023

[2] Keisuke Yamada, Michiaki Hamada, Prediction of RNA–protein interactions using a nucleotide language model, Bioinformatics Advances, Volume 2, Issue 1,2022

论文简介:

[1] 当蛋白质与其他物质结合时,就会发生生物学上重要的效应,其中与DNA结合是至关重要的。因此,准确识别蛋白质-DNA结合残基对于进一步了解蛋白质-DNA相互作用机制具有重要意义。虽然湿实验室方法可以准确地获得边界残基的位置,但它需要大量的人力、财务和时间成本。因此,迫切需要开发高效的基于计算的方法。大多数当前最先进的方法是两步法:第一步使用滑动窗口技术来提取残差特征;第二步使用每个残差作为模型的输入进行预测。这对预测效率和易用性有负面影响。在这项研究中,论文提出了一个序列到序列的 (seq2seq) 模型,该模型可以输入可变长度的整个蛋白质序列,并使用Transformer Encoder Block 和 Feature Extraction Block 两个模块进行分层特征提取,其中 Transformer Encoder Block 用于提取全局特征,然后使用特征提取块提取局部特征以进一步提高模型的识别能力。两个基准数据集(即 PDNA-543 和 PDNA-41)的比较结果证明了论文的方法在识别蛋白质-DNA 结合残基方面的有效性。

[2] 测序数据的积累使研究人员能够使用新的机器学习技术预测 RNA 序列和 RNA 结合蛋白(RBPs) 之间的相互作用。然而,现有模型通常很难解释,并且需要对序列的附加信息。来自Transformer (BERT) 的双向编码器表示是一种基于语言的深度学习模型,具有高度可解释性。因此,基于 BERT 架构的模型可以潜在地克服这些限制。在本研究中,论文提出了 BERT-RBP 作为模型,通过调整在人类参考基因组上预训练的 BERT 架构来预测 RNA-RBP 相互作用。使用 154 个 RBP 的eCLIP-seq 数据,论文的模型优于最先进的预测模型。详细分析进一步表明,BERT-RBP 仅基于序列信息可以识别转录本区域类型和 RNA 二级结构。总体而言,结果提供了对 BERT 在生物环境中微调机制的见解,并提供了模型对其他 RNA 相关问题的适用性的证据。

Part3

分享者:李若愚

分享内容:

[1] Wu J. PromptUNet: Toward Interactive Medical Image Segmentation[J]. arXiv preprint arXiv:2305.10300, 2023.

论文简介:

[1] 基于提示的图像分割(交互式图像分割)是近年来一种流行的图像分割方法。SAM对广泛的自然图像具有良好的分割的能力,然而最近的研究表明,SAM在医学图像上表现不佳。这促使作者设计了一种新的基于提示的分割模型,专门用于医学图像分割。在本文中,作者将基于提示的分割范例与UNet相结合,UNet是一种被广泛认可的医学图像分割的成功架构。我们将生成的模型命名为PromptUNet。为了适应现实世界的临床应用,扩展了SAM中现有的提示类型,包括新的支持性提示和Enface提示。作者已经评估了PromptUNet在19种医学图像分割任务上的能力,这些任务使用了各种图像模式,包括CT、MRI、超声、眼底和皮肤镜图像。研究结果表明,PromptUNet优于许多SOTA的医学图像分割方法,包括nnUNet、TransUNet、UNetr、MedSegDiff和MSA。