2023年春季学期视觉计算实验室第二次论文研读预告

时间:2023年3月10日(本周五) 09: 30

地点:望江校区基础教学楼B座318实验室

成员:陈纪龙、古名扬

Part1

分享者:陈纪龙

分享内容

[1] Amit, T., Nachmani, E., Shaharbany, T., & Wolf, L. (2021). SegDiff: Image Segmentation with Diffusion Probabilistic Models. ArXiv, abs/2112.00390.

[2] Wu, Junde et al. “MedSegDiff: Medical Image Segmentation with Diffusion Probabilistic Model.” ArXiv abs/2211.00611 (2022): n. pag.

论文简介

[1] 目前大部分的图像生成应用都使用了扩散概率方法来实现。本文提出了一种将扩散模型扩展到进行图像分割的方法,并实现了端到端学习,不依赖于预训练的主干网络。通过对两个编码器的输出进行求和,将输入图像和当前分割图的信息合并。然后使用额外的编码层和解码器来迭代地通过扩散模型来细化分割图。由于扩散模型是概率性的,模型推断会执行多次,并将结果合并成最终的分割图。新方法在Cityscapes验证集、Vaihingen建筑分割基准和MoNuSeg数据集上实现了SOTA结果。
MedSegDiff

图1 SegDiff模型框架

[2] 扩散模型(DPM)最近成为计算机视觉中最热门的话题之一。其在图像生成方面的应用,例如 Imagen、潜在扩散模型和稳定扩散等,显示出令人印象深刻的生成能力,引起了社区广泛的讨论。许多最近的研究也发现它在其他许多视觉任务中也非常有用,例如图像去模糊、超分辨率和异常检测。受到 DPM 的成功启发,本文提出了第一个基于 DPM 的通用医学图像分割模型,命名为 MedSegDiff。为了增强 DPM 在医学图像分割中的分步区域注意力,首先提出了动态条件编码,为每个采样步骤建立状态自适应条件。之后进一步提出了特征频率解析器(FF-Parser),以消除这个过程中高频噪声组成部分的负面影响。文章在三个具有不同图像模态的医学分割任务上验证了 MedSegDiff,分别是视网膜图像上的视杯分割、MRI 图像上的脑瘤分割和超声图像上的甲状腺结节分割。实验结果表明,MedSegDiff 在性能上优于最先进的方法(SOTA),表明所提出的模型的泛化和有效性。
MedSegDiff

图2 MedSegDiff模型框架

Part2

分享者:古名扬

分享内容

[1] Wu A, Tong W, Li H, et al. Computableviz: Mathematical operators as a formalism for visualisation processing and analysis[C]//Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems. 2022: 1-15.

[2] Shi X, Zhou Z, Zhang J, et al. De-Stijl: Facilitating Graphics Design with Interactive 2D Color Palette Recommendation [C]//ACM CHI 2023 Conference on Human Factors in Computing Systems. ACM, 2023.

论文简介

[1] 数据可视化以前所未有的速度在网络上创建和共享,在可视化生成和数字化后,对处理和分析可视化提出了新的需求和问题。然而,现有的形式主义专注于对单个可视化而不是多个可视化进行操作,这使得执行诸如排序和聚类可视化之类的分析任务具有挑战性。通过对以往工作的系统分析,我们将与可视化相关的任务抽象为联合等数学运算符,并提出了可视化操作的设计空间。我们通过开发 ComputableViz 来实现设计,ComputableViz 是一个支持多种可视化规范操作的库。为了展示其实用性和可扩展性,我们展示了多个有关处理和分析可视化的使用场景,例如生成可视化嵌入和自动使可视化可访问。最后,我们讨论了管理和利用网络上大量可视化的研究机会和挑战。
---1

图3 ComputableViz示意图

[2] 选择合适的调色板对于制作高质量的图形设计以提高知名度和有效交流想法至关重要。为了促进这一过程,我们提出了 De-Stijl,这是一种智能的交互式色彩创作工具,可帮助新手设计师制作和谐的调色板,实现快速设计迭代并满足设计约束。通过 De-Stijl,我们贡献了一种新颖的 2D 调色板概念,使用户能够根据其比例和接近度直观地感知色彩设计。此外,De-Stijl 实施了一个整体色彩创作系统,支持 2D 调色板提取、主题感知和空间敏感色彩推荐以及自动图形元素(重新)着色。我们通过实验室用户研究对 De-Stijl 进行了评估,将系统与现有行业标准工具进行比较,然后进行深入的用户访谈。定量和定性结果表明,De-Stijl 可以有效地帮助新手设计从业者快速为图形设计着色并轻松提供多种替代方案。
---2

图4 De-Stijl示意图