2025年秋季学期视觉计算实验室第14次论文研读预告

时间:2025年12月20日(周六) 09: 00

地点:望江校区基础教学楼B座318实验室

分享者:魏楷臻、朱陶涛

Part 1

分享者:魏楷臻

分享内容:

Jianyang Gu, Samuel Stevens, Elizabeth G Campolongo, Matthew J Thompson, Net Zhang, Jiaman Wu, Andrei Kopanev, and et al. BIOCLIP 2: Emergent Properties from Scaling Hierarchical Contrastive Learning. arXiv: 2505.23883 (Oct. 2025).

论文简介:

大规模数据所训练的基础模型展现出了显著的“涌现”行为,往往能够学习到超出其初始训练目标的新能力。本文通过大规模对比学习训练(基于图像-文本对数据集)在生物领域视觉模型中也发现了此类“涌现”行为。作者先构建了TreeOfLife-200M数据集,该数据集包含2.14亿张生物图像,是目前规模最大、多样性最丰富的生物图像数据集。作者在TreeOfLife-200M上训练BioCLIP 2以区分不同物种。尽管训练的目标较为单一,但是BioCLIP 2在应用于栖息地分类和特征预测等各种生物领域的视觉任务时,仍取得了极高的准确率。作者在BioCLIP 2的学习嵌入空间(Embedding Space)中发现了“涌现”的特性。本文的结果表明,随着训练数据规模的逐步扩大,这些特性变得越来越显著,从而形成了具有生物学意义的嵌入空间。

Part 2

分享者:朱陶涛

分享内容:

Shengqian Zhu, Chengrong Yu, Wenbo Qi, Jiafei Wu, Ying Song, Guangjun Li, Zhang Yi, Xiaogang Xu, and Junjie Hu. 2025. PRIME: Prototype-Driven Class Incremental Learning for Medical Image Segmentation. In Proceedings of the 33rd ACM International Conference on Multimedia (MM ’25)

论文简介:

类别增量医学分割旨在在缺乏旧类标签的情况下,循序渐进地学习新类别,同时保留对先前已学类别的知识。现有方法往往因类别不平衡而导致性能下降,并且通常需要增加额外的分割头来适应新类别。受近期原型学习在有限数据条件下利用原型实现对新类别鲁棒识别的启发,本文提出了一种原型驱动的类别增量方法--PRIME。PRIME 通过利用原型替代增量分割头来缓解类别不平衡问题,仅需简单添加新原型即可实现新类别的学习。基于原型学习,PRIME 进一步引入了三项专门设计的技术:首先,原型结构对齐对原型间的关系施加结构约束,以保持特征空间中一致的相对距离,从而提高模型区分不同类别的能力;其次,像素级对比损失将相似样本的特征嵌入聚集在一起,同时将不同类别的嵌入分离开来,从而增强了所有类别的分割精度;最后,基于共识的原型更新机制在学习新类别的过程中对旧原型进行优化,有效防止了旧类别的性能退化。在两个公开的多器官分割数据集上进行的广泛实验表明,本文的方法显著优于现有的最先进方法,验证了所提出的 PRIME 方法的有效性。