2024年春季学期视觉计算实验室第七次论文研读预告

时间:2024年4月19日(周五) 09: 30

地点:望江校区基础教学楼B座318实验室

分享者:李希垚、成磊峰

Part1

分享者:李希垚

分享内容

[1] Feng Y, Zhang Y, Deng Z, Xiong M. GCARDTI: Drug–target interaction prediction based on a hybrid mechanism in drug SELFIES. Quantitative Biology. 2024.

[2] He Z, Chen L, Xu J, Lv H, Zhou RN, Hu J, Chen Y, Gao Y. TD-GPT: Target Protein-Specific Drug Molecule Generation GPT. InICASSP 2024-2024 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) 2024 Apr 14 (pp. 2355-2359). IEEE.

论文简介

[1] 药物和靶标之间相互作用的预测是药物开发和再利用领域中最关键的问题。然而,当前的深度学习研究仍然存在两个挑战:(i)大多数药物靶点研究都没有充分探索药物分子的结构信息,以前的药物SMILES与有效的药物分子没有很好地对应;(ii)药物与靶点之间潜在关系的探索需要改进。在这项工作中,我们使用了一种新的、更好的有效分子图结构表示——SELFIES。我们提出了一种基于卷积神经网络和图注意力网络的混合机制框架来捕获药物和靶分子结构的多视角特征信息,旨在增强捕获药物和靶标之间相互作用位点的能力。在这项研究中,我们使用两个不同数据集的实验表明,GCARDTI模型在不同的度量上优于各种不同的模型算法。我们还通过两个案例研究证明了我们模型的准确性。

图1 GCARDTI模型架构

[2] 由于化学空间和药物-靶标相互作用的复杂性,药物发现面临挑战。这篇论文提出了一种新的深度学习框架TD-GPT用于靶向药物分子生成。TD-GPT包括用于药物-靶标亲和力预测的线性变换器、使用序列的亲和力增强的蛋白质编码器,以及分子转换器解码器中的目标特定注意力模块。实验证明TD-GPT在无需靶标微调的情况下,能够有效生成对所需靶标具有高亲和力和特异性的新型有效分子。该模型为加速、具有成本效益的药物发现提供了一种新的范式。

图2 TD-GPT模型架构

Part2

分享者:成磊峰

分享内容

[1] Zhuosheng Zhang,Aston Zhang, Mu Li, Alex Smola. AUTOMATIC CHAIN OF THOUGHT PROMPTING IN LARGE LANGUAGE MODELS. arXiv.2210.03493.2022.

[2] Xuezhi Wang, Jason Wei,Dale Schuurmans,Quoc Le,Ed H. Chi,Sharan Narang,Aakanksha chowdher,Denny Zhou. SELF-CONSISTENCY IMPROVES CHAIN OF THOUGHT REASONING IN LANGUAGE MODELS. arXiv.2203.11171.2023.

论文简介

[1] 大型语言模型(LLM)可以通过生成中间推理步骤来执行复杂推理,这些步骤称为思维链(CoT)提示。CoT提示有两种主要模式。一种方法是利用“让我们一步一步地思考”这样的简单提示;另一种方法是一个接一个地使用一些手动提示,每个提示由一个问题和一个推理链组成,从而得出答案。第二种方法的优越性能取决于人工制作特定于任务的提示。本文研究表明,通过利用LLM生成推理链,可以消除这种人工工作,也就是说,让我们不仅一步一步地思考,而且一个接一个地思考。然而,这些生成的链通常伴随着错误。为了减轻这种错误的影响,文中提出了一种自动提示方法:AutoCoT,它对具有多样性的问题进行采样,并生成推理链来构建提示。实验结果证明,在使用GPT-3的10个公共基准推理任务中,Auto-CoT始终匹配或超过需要手动设计演示的CoT范式的性能。

图3 带有LLM输入和输出的Zero-Shot-CoT和Manual-CoT示例图

[2] 本文提出了一种新的解码策略——自一致性,以取代思维链提示中使用的幼稚贪婪解码。首先,对不同的推理路径进行抽样,而不是只取贪婪的推理路径;然后,通过将抽样的推理路径边缘化来选择最一致的答案。自洽利用了一种直觉,即一个复杂的推理问题通常允许多种不同的思维方式导致其唯一的正确答案。广泛的实证评估表明,自一致性在一系列流行的算术和常识性推理基准上提高了思维链提示的性能,包括GSM8K(+17.9%)、SVAMP(+11.0%)、AQuA(+12.2%)、StrategyQA(+6.4%)和ARC-challenge(+3.9%)。

图4 自一致性方法处理的步骤流程图