2023年春季学期视觉计算实验室第十二次论文研读预告

时间:2023年6月2日(本周五) 09: 30

地点:望江校区基础教学楼B座318实验室

分享者:陈纪龙、古名扬

Part1

分享者:陈纪龙

分享内容:[1] Liu X, Peng H, Zheng N, et al. EfficientViT: Memory Efficient Vision Transformer with Cascaded Group Attention[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023: 14420-14430.

简介:Vision Transformer具有优异的性能,然后性能提升往往是以牺牲计算量为代价的,使其不适用于实时应用,本文提出了EfficientViT及其变体,并发现现有的ViT模型速度通常受限于低效的内存操作,特别是MHSA中的tensor reshape和element-wise操作。因此,这篇文章提设计了一种“Sandwich Layout”,即在高效的FFN层之间只使用单个MHSA,在增强通道信息交流的同时还提高了内存效率。此外,文章还发现不同头之间的注意力图具有很高的相似性,导致计算冗余。为了解决这个问题,他们提出了一个级联的组注意力模块,为注意力头提供不同的特征图划分,这不仅节省了计算成本而且提高了注意力多样性。综合实验表明,EfficientViT优于现有的高效模型,在速度和精度之间取得了较好的折中。例如,我EfficientViT-M5在准确率上比MobileNetV3 -Large提高了1.9 %,在Nvidia V100 GPU和至强上分别提高了40.4 %和45.2 %的吞吐量。与最近的高效模型MobileViT - XXS相比,EfficientViT - M2在GPU / CPU上运行速度提高了5.8 × / 3.7 ×,转换为ONNX格式时速度提高了7.4 ×,准确率提高了1.8 %。

图1 EfficientViT架构图

分享内容:[2] Bai Y, Chen D, Li Q, et al. Bidirectional Copy-Paste for Semi-Supervised Medical Image Segmentation[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023: 11514-11524.

简介:在半监督医学图像分割中,有标记数据分布与无标记数据分布之间存在经验失配问题。如果将有标签数据和无标签数据分开处理或以不一致的方式处理,从有标签数据中学习到的知识可能被大量丢弃。这篇文章提出了一个简单的方法来缓解这个问题:在一个简单的Mean Teacher架构中双向复制-粘贴有标签和无标签的数据。该方法鼓励未标记数据在向内和向外两个方向上从标记数据中学习全面的共同语义。更重要的是,对有标签和无标签数据的一致学习过程可以在很大程度上减少经验分布差距。具体来说,就是分别将标记图像(前景)中的随机作物复制粘贴到未标记图像(背景)和未标记图像(前景)上。将两幅混合图像送入Student Network,通过伪标注和Ground - Trues的混合监督信号进行监督。这篇文章证明了在有标签和无标签数据之间双向复制-粘贴的简单机制是足够好的,并且在各种半监督医学图像分割数据集上的实验表明,与其他最先进的方法相比,该方法提升显著。

图2 BCP架构图

Part2

分享者:古名扬

分享内容:[3] Pandey A, L'Yi S, Wang Q, et al. GenoREC: a recommendation system for interactive genomics data visualization[J]. IEEE Transactions on Visualization and Computer Graphics, 2022, 29(1): 570-580.

简介:基因组学数据的解释严重依赖于广泛的可视化工具的应用。大量用于基因组学数据的可视化技术和不同的分析任务对分析师提出了重大挑战:哪种可视化技术最有可能帮助他们对数据产生洞察力?由于基因组学分析师通常在数据可视化方面接受的培训有限,因此他们的选择通常基于反复试验或以技术细节为指导,例如特定工具可以加载的数据格式。这种方法使他们无法针对他们在工作中遇到的多种数据类型和分析问题的组合做出有效的可视化选择。可视化推荐系统通过根据数据和任务特征推荐合适的可视化来帮助非专家创建数据可视化。然而,现有的可视化推荐系统并不是为处理特定领域的问题而设计的。为了应对这些挑战,我们设计了 GenoREC,一种用于基因组学的新型可视化推荐系统。 GenoREC 使基因组学分析师能够根据其数据和分析任务的描述选择有效的可视化。在这里,我们介绍了使用基于知识的方法来选择合适的可视化效果的推荐模型和一个 Web 应用程序,该应用程序使分析师能够输入他们的需求,探索推荐的可视化效果,并将它们导出以供他们使用。此外,我们还展示了两项用户研究的结果,证明 GenoREC 推荐的可视化效果既被领域专家接受,又适合解决给定的基因组学分析问题。所有补充材料均可在 https://osf.io/y73pt/ 获得。

图3:GenoREC工作流程图

分享内容:[4] Cao Y, E J L, Chen Z, et al. DataParticles: Block-based and Language-oriented Authoring of Animated Unit Visualizations[C]//Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems. 2023: 1-15.

简介:单元可视化已广泛用于交互式文章和视频中的数据叙事。但是,由于在编写叙述和配置随附的可视化和动画之间来回切换的过程繁琐且耗时,因此编写包含动画单元可视化的数据故事具有挑战性。为了简化这个过程,我们推出了 DataParticles,这是一个基于块的故事编辑器,它利用文本、数据和可视化之间的潜在联系来帮助创作者灵活地原型化、探索和迭代故事叙述及其相应的可视化。为了告知 DataParticles 的设计,我们采访了 6 位领域专家并研究了 44 个现有动画单元可视化的数据集,以确定他们采用的叙述模式和一致性原则。一项由 9 位专家参与的用户研究表明,DataParticles 可以通过鼓励探索和支持快速原型制作,显着简化使用动画单元可视化编写数据故事的过程。

图4: DataParticles工作流程图