2025年春季学期视觉计算实验室第6次论文研读预告

时间:2025年4月12日(周六)上午09: 00

地点:望江校区基础教学楼B座318实验室

分享者:杨一舟、王艺蒙

Part 1

分享者:杨一舟

分享内容:

[1]. Ding L, Zhang J, Guo H, et al. Joint spatio-temporal modeling for semantic change detection in remote sensing images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2024.

论文简介:

[1].语义变化检测 (SCD) 是指在遥感图像 (RSI) 中同时提取变化区域及其语义类别的任务。这比二元变化检测 (BCD) 更有意义,因为它能够对观察到的区域进行详细的变化分析。先前的研究建立了三分支卷积神经网络架构作为 SCD 的范例。然而,利用有限数量的变化样本来利用语义信息仍然具有挑战性。在这项工作中,本文的研究联合考虑时空依赖性以提高 SCD 的准确性。本文首先提出了一个语义变化转换器 (SCanFormer) 来明确模拟双时态 RSI 之间的“从-到”语义转换。然后,引入了一种语义学习方案,利用与 SCD 任务一致的时空约束来指导语义变化的学习。由此产生的网络语义变化网络(SCanNet) 在检测关键语义变化和获得的双时态结果中的语义一致性方面均明显优于基线方法。它在 SCD 的两个基准数据集上实现了最先进的准确率。

Part 2

分享者:王艺蒙

分享内容:

[1].A. Mishra et al., "PromptAid: Visual Prompt Exploration, Perturbation, Testing and Iteration for Large Language Models," in IEEE Transactions on Visualization and Computer Graphics, doi: 10.1109/TVCG.2025.3535332.

[2].D. Deng, C. Zhang, H. Zheng, Y. Pu, S. Ji and Y. Wu, "AdversaFlow: Visual Red Teaming for Large Language Models with Multi-Level Adversarial Flow," in IEEE Transactions on Visualization and Computer Graphics, vol. 31, no. 1, pp. 492-502, Jan. 2025,doi: 10.1109/TVCG.2024.3456150.

论文简介:

[1].大语言模型(LLM)备受欢迎的原因之一是普通大众,包括那些缺乏自然语言处理(NLP)领域技术知识的人群,都能够使用简单的自然语言提示执行特定的NLP任务。然而,提示在语言结构、上下文和其他语义方面存在显著差异,当修改其中的一个或多个方面会导致任务执行效果呈现巨大区别。非专业用户可能会发现,在缺乏特定领域的知识和适当任务结果反馈的情况下,他们难以确定改进提示所需做出的修改。为了应对这一挑战,本文提出了PromptAid,这是一个可视化分析系统,旨在通过探索、扰动、测试和迭代来交互式地创建、优化和测试提示。PromptAid使用协同可视化技术,允许用户通过三种策略来改进提示:关键词扰动、释义扰动以及生成最佳的上下文少样本示例集。PromptAid基于一项有NLP专家参与的预研究设计,并通过一种严谨的混合方法用户研究进行评估。本文研究结果表明,PromptAid可以帮助用户以较低的认知成本迭代提示,在推荐的帮助下生成多样化的提示,并分析生成的提示的性能。该系统已在性能上超越了现有的最先进的提示界面。

[2].大语言模型(LLM)功能强大,但也容易引发严重的安全问题。因为它们可能生成有害内容,例如编造能在社交媒体上操纵公众舆论的假新闻,以及对不道德活动提供回应。用于识别AI漏洞的传统红队测试方法依赖于人工提示构造和专业知识。本文介绍了AdversaFlow,这是一种新型可视化分析系统,旨在通过人机协作来增强LLM的安全性,以抵御对抗性攻击。AdversaFlow包括目标模型和红队模型之间的对抗性训练,具有独特的多层次对抗流程和波动路径可视化功能。这些功能提供了对对抗动态和LLM稳健性的深入理解,使专家能够有效地识别和修复漏洞。本文通过定量评估和案例研究来验证该系统的实用性,并为未来的AI安全解决方案提供了有效见解。本文提出的方法可以通过更有效地检测、监控和减轻有害内容和行为来增强LLM的安全性,为社交媒体监管等下游场景提供支持。