2025年春季学期视觉计算实验室第十二次论文研读预告

时间:2025年6月7日(周六)09:00

地点:望江校区基础教学楼B座318实验室

分享者:张键军、周寅杰、刘伊鸣

Part1

分享者:张键军

分享内容:

[1] Y. Peng, A. Naseh, and A. Houmansadr, “Diffence: Fencing Membership Privacy With Diffusion Models,” in Proceedings 2025 Network and Distributed System Security Symposium, San Diego, CA, USA: Internet Society, 2025.

[2] L. Bourtoule et al., “Machine Unlearning,” in 2021 IEEE Symposium on Security and Privacy (SP), May 2021, pp. 141–159.

论文简介

[1] 深度学习模型在各类任务中取得了显著的成绩,但它们容易受到成员推理攻击(MIA)的威胁,即对手可以判断某个特定数据点是否属于模型的训练集。这种脆弱性引发了重大隐私问题,特别是当模型在敏感数据集上进行训练时。尽管已经提出了各种防御方法,但在隐私和效用的权衡上仍有较大的改进空间。在本研究中,作者提出了一种新颖的对抗MIA的防御框架,通过利用生成模型来增强防护。防御方法的核心思路是通过在输入样本送入目标模型之前重新生成样本,从而消除成员和非成员输入之间的差异,这些差异正是MIA所利用的。因此,本文的防御方法DIFFENCE,是在推理之前进行工作的,这与之前的防御方法不同,后者要么是在训练时(修改模型),要么是在推理后(修改模型输出)。DIFFENCE的一个独特特点是它仅在输入样本上起作用,而不修改目标模型的训练或推理阶段。因此,正如实验所展示的,它可以与其他防御机制级联使用。DIFFENCE特别设计用于保持模型对每个样本的预测标签,从而不影响准确性。此外,实验证明,它不会降低置信度向量的有效性。通过大量实验,作者展示了DIFFENCE可以作为一种强大的即插即用的防御机制,增强成员隐私而不损害模型效用——无论是在标准设置还是防御设置中,准确性和置信度向量的有效性都得以保留。例如,DIFFENCE在三种数据集上将对未防御模型的MIA攻击准确率降低了15.8%,攻击AUC降低了14.0%,且没有影响模型效用。通过将DIFFENCE与其他防御方法结合,可以在隐私和效用的权衡中取得新的最先进的性能。例如,与最先进的SELENA防御结合时,它将攻击准确率降低了9.3%,攻击AUC降低了10.0%。DIFFENCE通过施加微乎其微的计算开销来实现这一点,平均每个样本的推理时间仅增加57毫秒。

[2] 一旦用户在线共享了他们的数据,通常很难撤回访问权限并要求删除这些数据。机器学习(ML)加剧了这个问题,因为任何使用这些数据训练的模型可能已经记住了它,这使得用户面临隐私攻击成功的风险,从而暴露他们的信息。然而,让模型“遗忘”数据是非常困难的。作者提出了SISA训练框架,它通过在训练过程中战略性地限制数据点的影响,加速了遗忘过程。虽然该框架适用于任何学习算法,但它特别针对像深度神经网络的随机梯度下降(SGD)这种有状态的算法,旨在取得最大的改进。SISA训练减少了与遗忘相关的计算开销,即使在最坏情况下,用户提出遗忘请求的分布是均匀的。在某些情况下,服务提供商可能对用户将发出的遗忘请求的分布有先验知识,可以通过考虑这个先验,并相应地对数据进行划分和排序,从而进一步减少遗忘带来的开销。本文的评估涵盖了来自不同领域的多个数据集,以及相应的遗忘动机。在没有分布假设的情况下,对于简单的学习任务,观察到SISA训练在购买数据集上将遗忘时间提高了4.63倍,在SVHN数据集上提高了2.45倍,相比从头开始重新训练。SISA训练还在重新训练复杂学习任务(如ImageNet分类)时提供了1.36倍的加速;借助迁移学习,这导致了精度的轻微下降。作者的工作为机器遗忘中的数据治理提供了实践性的贡献。

Part2

分享者:周寅杰

分享内容:

[1] Yen, Ryan, Jian Zhao, and Daniel Vogel. "Code Shaping: Iterative Code Editing with Free-form AI-Interpreted Sketching." Proceedings of the 2025 CHI Conference on Human Factors in Computing Systems. 2025.

[2] Kuo, Yun-Hsin, Dongyu Liu, and Kwan-Liu Ma. "SpreadLine: Visualizing egocentric dynamic influence." IEEE Transactions on Visualization and Computer Graphics(2024).

论文简介

[1] 本文引入了”Code Shaping”的概念,一种直接在代码和控制台输出上使用草图注释进行代码编辑的交互范式。为了评估这一概念,我们与18位程序员进行了三阶段的设计研究,以调查草图如何将预期的代码传达给AI模型并进行解释和执行。结果包括如何使用不同的草图、程序员在与AI迭代互动过程中采用的策略以及支持代码编辑器和草图之间交互的设计原理。最后,通过两个案例演示了“Code Shaping”概念的实际应用,说明了研究的设计含义。

[2] 自我中心网络(Egocentric networks)描绘了节点之间的复杂关系,通常使用节点链接图进行可视化。然而,自我中心网络的分析任务是多方面的,通常包括:强度、功能、结构和内容。节点-链接图通常只能解决单方面的分析任务,忽略了自我为中心网络的整体动态性质。为了解决这一挑战,我们引入了SpreadLine,一种新型的可视化框架,旨在从上述四个方面来探索自我中心网络。SpreadLine采用基于故事线的设计来代表实体及其不断发展的关系。我们在布局中进一步编码拓扑信息,使用地铁图隐喻包含的上下文信息来探索基于时间和属性的信息。通过对相关文献进行审查,总结了一种任务分类法,该任务分类法归纳了自我中心网络的分析需求。SpreadLine提供了自定义的编码,用户能够为其任务定制框架。最后通过三个案例研究(疾病监视、社交媒体趋势和学术职业发展)和可用性研究来证明SpreadLine的有效性。

Part3

分享者:刘伊鸣

分享内容:

[1] Li, C., Zhao, R., Wang, Z., Xu, H., & Zhu, X. (2024). RemDet: Rethinking Efficient Model Design for UAV Object Detection (Version 2). arXiv. https://doi.org/10.48550/ARXIV.2412.10040

论文简介

[1] 无人机(UAV)图像中的目标检测已成为一个研究焦点领域,该领域存在两大显著挑战:一是目标通常在广阔图像中体积小且密集;二是计算资源受限,导致大多数模型不适合实时部署。现有的实时目标检测器并未针对无人机图像进行优化,而那些为小目标检测设计的复杂方法又往往缺乏实时性。为应对这些挑战,我们提出了一种新颖的检测器——RemDet(重参数化高效乘法检测器)。我们的贡献如下:1)重新审视现有检测器在小而密集的无人机图像方面面临的挑战,并提出将信息丢失作为高效模型的设计指南。2)我们引入了ChannelC2f模块以增强小目标检测性能,证明了高维表征能够有效减少信息丢失。3)我们设计了GatedFFN模块,它不仅能提供强大的性能,还能实现低延迟,从而有效应对实时检测的挑战。我们的研究表明,GatedFFN通过运用乘法,在高维表征方面比前馈网络更具成本效益。4)我们提出了CED模块,它结合了ViT和CNN下采样的优势,能有效减少信息丢失,尤其针对小而密集的目标增强了上下文信息。我们在大型无人机数据集Visdrone和UAVDT上进行的大量实验验证了我们方法的实时效率和卓越性能。在具有挑战性的无人机数据集VisDrone上,我们的方法不仅提供了最先进的结果,使检测精度提高了3.4%以上,而且在单个4090显卡上实现了110帧/秒的速度。