时间：2024年6月14日（周五）09:30
地点：望江校区基础教学楼B座318实验室
分享者：阳斯敏、成磊峰
Part1
分享者：阳斯敏
分享内容:
[1] LIU J, ZHANG Y, CHEN J N, et al. CLIP-Driven Universal Model for Organ Segmentation and Tumor Detection[J]. 2023.
[2] RAO Y, ZHAO W, CHEN G, et al. DenseCLIP: Language-Guided Dense Prediction with Context-Aware Prompting[C/OL]//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), New Orleans, LA, USA. 2022.
论文简介：
[1] 越来越多的公共数据集在自动器官分割和肿瘤检测方面显示出显著的影响。然而，由于每个数据集的大小和部分标记问题，以及对不同类型肿瘤的有限研究，所得到的模型通常仅限于分割特定的器官/肿瘤，而忽略了解剖结构的语义，也不能扩展到新的领域。为了解决这些问题，本文提出了CLIP驱动的通用模型，该模型将从对比语言图像预训练(CLIP)中学习到的文本嵌入结合到分割模型中。这种基于clip的标签编码捕获解剖关系，使模型能够学习结构化特征嵌入并分割25个器官和6种肿瘤。所提出的模型是从14个数据集的集合中开发出来的，使用总共3410个CT扫描进行训练，然后对来自3个额外数据集的6162个外部CT扫描进行评估。本文的方法在医学细分十项全能(MSD)公共排行榜上排名第一，并在超越颅顶(BTCV)上取得了最先进的成果。此外，与特定数据集的模型相比，通用模型的计算效率更高(快6倍)，可以更好地推广到不同地点的CT扫描，并且在新任务上显示出更强的迁移学习性能。
[2] 最近的研究进展表明，使用对比图像-文本对的大规模预训练可以成为从自然语言监督中进行高质量视觉表示学习的一种有前途的替代方案。受益于更广泛的监督来源，这种新范式表现出对下游分类任务和数据集的令人印象深刻的可移植性。然而，将从图像-文本对中学到的知识转移到更复杂的密集预测任务的问题几乎没有被研究过。在这项工作中，本文通过隐式和显式利用CLIP预训练的知识，提出了一个新的密集预测框架。具体而言，作者将CLIP中原始的图像-文本匹配问题转换为像素-文本匹配问题，并使用像素-文本得分图来指导密集预测模型的学习。通过进一步使用图像中的上下文信息来提示语言模型，能够使模型更好地利用预训练的知识。
Part2
分享者：成磊峰
分享内容:
[1] Jianing Wang, Qiushi Sun, Nuo Chen , Xiang Li, Ming Gao. Boosting Language Models Reasoning with Chain-of-Knowledge Prompting. arXiv.2306.06427.2023.
[2] Boshi Wang, Sewon Min, Xiang Deng, etl. Towards Understanding Chain-of-Thought Prompting: An Empirical Study of What Matters. arXiv.2203.11171.2023.
论文简介：
[1] 思维链(CoT)提示在复杂的推理任务中取得了成功应用，其目的是设计一个简单的提示，如“让我们一步一步地思考”或多个具有精心设计的基本原理的上下文示例，以引出大型语言模型(LLM)来生成中间推理步骤。但是生成的基本原理往往伴随着错误，形成不真实和不忠实的推理链。为了减轻这种脆弱性，文中提出了一种新的知识链(CoK)提示，其目的是诱导LLM以结构三重形式生成明确的知识证据。知识链提示是受人类行为的启发，即在回答一个复杂的问题之前，通常在大脑中绘制思维导图或知识图作为推理证据。得益于CoK，文中还引入了一种F2-验证方法来估计推理链在真实性和可信度方面的可靠性。对于不可靠的回应，可以指出错误的证据，促使LLM反思。大量的实验表明，知识链提示可以进一步提高常识、事实、符号和算术推理任务的性能。
[2] 思维链(Chain-of-Thought, CoT)提示可以显著提高大型语言模型的多步推理能力。通过在演示中提供一系列推理步骤，CoT明确激励LLM生成解决问题的中间基本原理。尽管它取得了成功，但人们很少了解是什么使CoT提示有效，以及所演示的推理步骤的哪些方面有助于其效果。本文证明了即使在无效的演示下，CoT推理也是可能的——在各种指标下，使用无效推理步骤的提示可以达到使用CoT的80-90%以上性能，同时在推理过程中仍然产生连贯的推理线。实验表明，基本原理的其他方面，如与查询相关和正确排序推理步骤，对于有效的CoT推理更为重要。总的来说，这些发现既加深了对CoT提示的理解，也开启了关于LLM在语境中学习推理能力的新问题。
