大会在领导致辞中正式拉开帷幕，KDD China主席、京东集团副总裁郑宇教授首先带来“KDD China十周年回顾”，梳理了分会自2016年成立以来连接学术界与工业界、培养新一代大数据人才的十年历程。

 加拿大皇家科学院和工程院院士杨强教授带来了《联邦学习与联邦智能体》的主题分享，从如何开展有意义的研究切入，强调定义重要问题是研究的起点。他指出大模型时代数据消耗速度远超数据存量增长，联邦学习的核心价值是在保护隐私的前提下利用私有数据，推动模型持续迭代。此外他还介绍了其团队提出的数据解耦思路，并探讨了联邦智能体的新方向。

 郑宇教授带来了《时空智能》的主题报告，阐述人工智能进入物理世界的基础理论与关键技术。他认为人工智能落地物理世界面临数据稀缺、行业知识深度融合、时空理解不充分三大挑战。他系统介绍了时空智能的三大层次，并结合团队的落地实践，展示了时空智能在城市交通预警、生命线工程实时监测、公共安全调度等场景的闭环应用。

 中国科学技术大学教授陈恩红教授带来了《从听懂指令到懂你所想：构建机器心智理论的探索与实践》的主题报告。他指出当前大模型在静态封闭任务中表现突出，但在开放环境中仍缺乏与物理世界深度交互的能力。他认为从人机共生的目标出发，机器需要能够理解用户隐含的意图、情绪与动机。此外他还系统介绍了机器中心智理论的构建路径，并分享了该技术在智能客服、抑郁检测、医疗纠纷预警等场景的应用探索。

 中国科学技术大学刘淇教授带来了《情境感知的时间序列分析》的主题报告，探讨从模式拟合到认知推理的发展路径。他认为传统时间序列预测多聚焦数值建模，忽略了天气、节假日、突发事件等外部情境因素，并展示了基于大模型推理与记忆增强的迭代式预测系统CastCloud。

 大会圆桌论坛由郑宇教授主持，杨强、沈抖、于剑、罗韬、胡侠等嘉宾围绕“AI的深度思考和未来展望”展开交流。嘉宾们就AI的能力边界、当前发展的核心瓶颈、人机协同的未来形态、代码生成与具身智能的可行性等议题各抒己见。他们观点的碰撞为行业发展带来了多元启发，也引发了在场观众对 AI 未来发展方向的深入思考。

Grand Challenge : Academic Text-to-Music Generation(ATTM)：论坛主席为 Yi-Hsuan Yang。该专题围绕学术场景下的文本生成音乐任务展开，重点关注数据集构建、基线方法设计和评价指标体系。随着文本到音乐生成模型的快速发展，如何客观评价生成音乐与文本提示之间的匹配程度、音乐质量以及人类偏好一致性，成为该方向的重要问题。

在相关报告中，讲者介绍了 Academic Text-to-Music Grand Challenge: Datasets, Baselines, and Evaluation Methods，并展示了面向文本生成音乐任务的奖励模型 TuneJury。该模型旨在根据文本提示和音频片段预测人类偏好分数，为文本生成音乐系统提供实例级、成对比较形式的评价方式。报告内容体现了音乐生成任务从“能生成”向“可评价、可比较、可优化”发展的趋势。

Tutorial : Generative AI Benchmark and Evaluation：讲者为来自上海人工智能实验室的 Zicheng Zhang。该教程围绕生成式人工智能的基准测试与系统评价展开，内容涵盖文本、图像、视频、三维资产等多种生成内容类型。随着生成式人工智能模型能力快速提升，如何建立可信、全面、可复现的评价体系，已经成为学术界和产业界共同关注的问题。

报告中，讲者介绍了大模型评测体系的发展现状，并结合团队在多模态大模型评价、AI for Science、安全可信、具身智能和 AI 计算系统等方向的工作，展示了生成式人工智能评测从单一指标走向综合能力评估的发展趋势。该专题为理解当前生成式模型评价方法和未来评测体系建设提供了重要参考。

Tutorial : Generative Low-Level Visual Signal Processing and Quality Assessment with Preference Optimization：讲者为Zicheng Zhang。该教程关注生成式人工智能背景下的低层视觉信号处理与质量评价问题，内容涉及图像复原、视觉质量评估、偏好建模以及基于人类反馈的优化方法。随着扩散模型、大型生成式基础模型等技术的发展，低层视觉任务逐渐从传统像素级恢复走向感知质量与用户偏好共同驱动的新阶段。

在现场报告中，讲者围绕偏好优化方法进行了讲解，并以 PPO 等强化学习方法为例，介绍了从人类偏好、奖励模型到策略优化的技术路径。该专题展示了偏好优化在生成式视觉任务中的应用潜力，为图像增强、质量评价和生成结果优化提供了新的思路。

Workshop：Artificial Intelligence for Art Creation ：讲者为 Ambarish Natu。该专题聚焦人工智能在艺术创作、文化遗产分析和视觉内容生成中的应用。其中，报告 “Zero-Shot Captioning for Cultural Heritage: Automated Image Analysis of Traditional Indonesian Clothing” 介绍了面向印度尼西亚传统服饰图像的自动化分析方法。

Workshop : Embodied Multimedia: When Multimodal Signal Processing Meets Embodied Intelligence：讲者为 Wei Zhou。该专题关注多模态信号处理与具身智能的结合，内容涵盖视觉语言导航、跨模态图表示、语音与视觉交互、具身智能评估等方向。随着人工智能系统逐渐从静态内容理解走向动态环境交互，具身多媒体成为连接感知、理解、生成与行动的重要研究方向。

在相关报告中，讲者展示了面向人机交互场景的生成结果，包括 Talking Head Generation 和 Listening Head Generation 等内容。该类研究关注如何生成更加自然、可信的虚拟人物表达与交互行为，为数字人、智能助手、远程会议和具身交互系统提供技术支撑。同时，专题中关于视觉语言导航的报告也强调了智能体在真实环境中理解语言指令、感知视觉场景并进行决策的重要性。

在 Special Session “Multimedia-Oriented Neural Architecture Search for Efficient and Scalable Media Analysis” 中，来自东北大学、中北大学的多位研究者围绕高效模型设计、跨数据集泛化和即插即用式性能验证等问题展开报告。相关工作通过对不同数据集和不同任务设置下的实验结果进行比较，分析了模型结构、训练策略和泛化能力之间的关系。报告展示了高效多媒体模型在真实应用场景中对性能、计算成本和可扩展性的综合需求。

在 Special Session“Multimodal Medical AI and Foundation Models for Healthcare Multimedia Systems I” 中，来自西安电子科技大学的学者的报告聚焦医学图像、医学文本和视觉语言模型的融合建模问题。讲者介绍了基于预训练医学视觉语言模型的特征提取方法，并结合层次化对比学习框架，实现视觉区域、推理上下文和报告表达之间的多层次对齐。相关内容体现了多模态基础模型在医学报告生成、疾病区域定位和临床辅助分析中的应用潜力。

在 Special Session “Multimedia in Human-Aware Embodied AI and Avatars in Motion” 中，来自北航的学者的报告围绕事件感知、脉冲特征编码和动态场景建模展开。讲者介绍了基于脉冲神经机制的特征编码方法，通过事件脉冲特征编码器处理异步、稀疏的事件流数据，并进一步提取局部与全局特征。该方向为低功耗感知、动态人体理解和具身智能系统提供了新的研究思路。

在 Special Session “Intelligent Multimedia and Agents for Human Well-being: From Resilient Food Systems to Healthy Aging” 中，来自澳门大学的学者关注智能体系统的可靠性、协同机制和实际应用价值。相关研究从智能体自治能力、多智能体协作、异构模型结构和可信恢复能力等方面展开讨论，强调智能体系统在真实复杂环境中需要具备稳定性、适应性和安全性。该专题体现了多媒体智能从感知理解进一步走向决策协作和人类福祉应用的发展趋势。

此外，视觉计算实验室三篇录用论文的最后一篇也进行了海报展示，该工作面向腹部多器官分割中的持续学习问题，利用先验引导机制缓解新器官学习过程中的灾难性遗忘，并通过视觉语言特征和跨模态交互提升模型对不同器官结构的识别能力。

海报展示期间，实验室成员与来自不同高校和研究机构的参会者进行了交流，围绕持续学习、医学图像分割和多模态先验建模等问题展开讨论。

当天会议最后举行了 Awards Ceremony。大会对优秀论文、挑战赛、竞赛作品和相关艺术创作成果进行了展示与表彰。其中，腾讯与 AIART 相关作品展示环节呈现了生成式人工智能在多媒体艺术创作中的应用成果。

Al and Digital Infrastructure for a Sustainable Future: A Tale of Twin Transition:讲者为来自南洋理工大学的 Yonggang Wen。报告围绕全球数据中心的低碳化发展展开，重点介绍了全球数据中心在未来减碳过程中的潜力与挑战。随着人工智能、大模型和云计算应用的快速发展，数据中心能耗与碳排放问题日益受到关注。报告从新加坡、东盟及全球范围出发，分析了数据中心碳足迹降低所带来的潜在影响，为人工智能基础设施的绿色发展提供了新的思考。

在 Oral Session 环节，多位研究者围绕多媒体智能分析与模型泛化能力展开报告。展示了不同数据集与任务设置下的实验设计，报告围绕模型在不同任务配置下的性能表现展开分析，为持续学习、领域泛化和多任务学习等方向提供了实验参考。

Special Session : Embodied Multimodal Intelligence: FromPerception to World Modeling :来自中山大学的研究者展示了面向无人机图像与卫星图像的跨视角匹配方法DINO-GFSA。报告中给出的整体框架结合 DINOv3-ViT-Large 与 LoRA 进行基础特征提取，并通过语义引导残差特征融合、基于 Mamba 的空间聚合模块以及余弦相似度计算实现跨视角图像匹配。该工作面向低空遥感与地面定位等实际场景，对无人机图像和卫星图像之间的语义关联建模具有一定参考价值。

Special Session：Major Challengs in real-world videos ：来自浙江大学的讲者围绕真实世界视频中的主要挑战进行了分析。报告指出，真实场景视频往往同时面临空间层面的视角变化、遮挡、人与物体交互，以及时间层面的长视频建模、复合活动识别和共现动作理解等问题。此外，真实世界视频还存在领域差异和长尾分布等学习难点。相关讨论体现了当前视频理解任务从受控场景走向复杂开放场景时所面临的关键挑战。

Special Session : Event-Driven and Multimodal Perceptionin Low-Altitude, Waterborne, and Ground Transportation :来自电子科技大学的讲者介绍了面向少样本变化检测视觉问答的强化微调方法。关注如何在样本有限的条件下提升模型对变化区域与视觉问题的理解能力。报告提出通过决策模糊性引导强化微调，为变化检测场景下的视觉问答任务提供了新的优化思路。

Special Session : Generative Al and Agents for MultimediaCoding, Processing, and Evaluation:来自中国科学院大学的讲者从视频信号的频率特性出发，介绍了面向视频数据的频率感知神经表示方法，探索了更有效的视频神经表示方式，为视频压缩、视频重建和动态场景建模等任务提供了新的研究视角。

Special Session : Structured Multimodal Intelligence:Unifying MLLMs, Structure, and Scientific Understanding ：来自武汉理工大学的讲者在多模态医学人工智能分析方向，面向半月板损伤评估下游任务，介绍了一个结构化多模态评测基准。该工作关注如何结合医学图像、文本信息和临床相关数据，对半月板损伤进行更全面的智能评估。该报告体现了多媒体技术在医学诊断辅助、结构化数据建模和多模态健康评估中的应用潜力。

Grand Challenge: Lightweight Neural Networks for AIGC Image Quality Assessment :讲者为来自Nvidia相关团队的研究者，本场论坛围绕 AIGC 图像质量无参考评价中的轻量化模型设计展开讨论。论坛中展示了 LAQ-Net 等方法，重点介绍了双路径网络结构、频域信息建模以及轻量化推理在 AIGC 图像质量评估任务中的应用，为生成式图像评价模型在实际场景中的部署提供了新的思路。

Grand Challenge :SIQA: Scientific Images Quality Assessment Challenge ，讲者为来自上海AI lab的Zicheng Zhang。该论坛面向科学图像质量评价任务，关注人工智能快速融入科学研究流程后，对可靠科学图像质量评估方法的需求。与自然图像不同，科学图像往往服务于后续检测、分析、诊断或科研判断，其质量退化不仅影响视觉观感，也可能影响科学结论的准确性。讲者的讲解为解决以上问题提供了新思路。

Grand Challenge : DyGSC: Dynamic Gaussian Splatting Compression Challenge：讲者为来自北京大学深圳研究生院的 Liwei Liao。该论坛面向如何对动态三维高斯泼溅表示进行高效压缩和重建，展示了一套面向动态三维高斯泼溅表示的压缩与重建系统，通过压缩框架设计降低动态三维内容的存储与传输开销，为未来实时渲染、沉浸式通信和三维场景重建等应用提供了新的技术路径。

Grand Challenge : Perceptual Visual & 3D Point Cloud Compression and Low-Altitude UAV Image Quality Assessment，论坛由来自香港城市大学 Yuanchao Bai 和南阳理工大学的 Chengyan Jiang 共同主持。论坛覆盖感知视觉压缩和低空无人机图像质量评价等方向。论坛指出，低空无人机图像具有视角多样、目标区域复杂、场景变化明显等特点，传统图像质量评价方法难以充分反映目标感知任务中的实际质量需求。讲者回顾了近十年这三个领域的研究进展，并引出了ICME举行的面向低空无人机图像的目标感知质量评价挑战赛。

Grand Challenge：AI for Archaeological Artifacts Identification and Multilingual Multimodal Hate Speech Detection，论坛由来自Jadavpur University的Utathya Aich主持，随着网络交流从文本逐渐扩展到语音留言、直播和对话媒体，仅基于转写文本的检测系统已难以适应复杂的真实传播环境。论坛从语音、多语言和多模态信息融合角度出发，介绍了面向现实网络环境的仇恨言论检测挑战，体现了多媒体技术在内容安全、社会治理和可信传播中的应用价值。

此外，视觉计算实验室三篇录用论文的其中两篇也进行了海报展示，研究方向分别涉及医学图像分割与遥感滑坡分割，体现了实验室在多媒体智能分析与交叉应用领域的持续探索。

其中，论文“TIM-Seg: Text-Driven Interactive Model for Multi-Organ Segmentation in Abdominal CT” 围绕腹部 CT 多器官分割问题展开研究，提出一种文本驱动的交互式分割模型，将器官级文本先验与腹部 CT 图像信息相结合，以提升多器官分割的准确性。该研究将语言信息引入医学图像分析过程，为多模态交互式医学分割提供了新的思路。

另一篇论文“ABC-LandSeg: A Landslide Segmentation Framework Based on Adaptive Feature Selection and Boundary Correction” 聚焦遥感滑坡分割任务，针对滑坡区域尺度变化大、边界模糊以及复杂背景干扰等问题，提出了一种基于自适应特征选择与边界校正的滑坡分割框架。通过改进特征表达与边界细化策略，该方法在滑坡识别精度和泛化能力方面取得了较好的效果，为自然灾害遥感监测提供了有价值的技术支撑。

视觉计算实验室硕士生樊禧、朱陶涛参会并将展示三篇论文。会议现场融合了曼谷城市文化与人工智能元素，来自全球多地的研究者陆续抵达会场，在轻松而热烈的氛围中开启了本届 ICME 的学术交流。

卡尔加里大学Henry Leung教授主持并围绕“智能车辆应用中的预测式三维视觉”带来了报告。报告以智能车辆为核心应用背景，围绕三维场景感知、目标状态预测和自动驾驶环境理解等问题展开。Henry Leung教授指出，智能车辆系统不仅需要识别当前道路环境中的车辆、行人和障碍物，还需要进一步预测动态目标的未来运动趋势，从而支撑更安全、更稳定的路径规划与决策。

报告从三维视觉感知出发，结合智能车辆场景介绍了遮挡、密集目标和传感器噪声等实际挑战。讲者指出，三维感知不仅要理解当前空间结构，还要预测动态目标的未来状态，这对模型的鲁棒性和场景理解能力提出了更高要求。相关内容也为实验室成员理解自动驾驶中的视觉技术应用提供了参考。

随后，由李明教授和张雪平教授担任主席的Grand Challenge“环境感知语音与声音深度伪造检测挑战赛”，聚焦真实环境下语音与声音深度伪造检测问题。随着语音合成、声音克隆和生成式模型的快速发展，伪造音频已经从实验室环境逐渐走向复杂的真实传播场景。相比单纯判断一段语音是否由模型生成，真实场景中的检测任务还需要面对背景噪声、设备差异、环境混响和说话人变化等多重因素。

来自日本国立信息学研究所的王教授围绕语音深度伪造检测评估指标进行了分享，并结合伪造语音检测系列评测中的经验，讨论了当前评价体系中的若干关键问题。报告指出，深度伪造检测研究不能只关注单一指标上的性能提升，更需要思考指标是否能够真实反映模型在复杂环境中的可靠性。尤其是在环境感知条件下，检测系统需要同时具备鲁棒性、可解释性和跨场景泛化能力。该报告引发了与会者对可信多媒体、安全音频分析和评测标准设计的进一步思考。

下午的专题研讨会同样内容丰富。在Workshop“网络多媒体中的社会智能与跨文化情感计算”中，报告围绕情感计算模型、人类行为理解和跨文化社会智能展开。该研讨会由Patrick Le Callet教授和赵国英教授担任主席，关注多媒体环境下人类情绪、意图和社会行为的建模问题。

其中，关于情感计算模型的报告，Patrick Le Callet教授介绍了情感计算从传统面部表情识别向更复杂的人类状态理解发展的过程。随着网络会议、社交平台和多媒体交互场景的普及，人类情感表达不再局限于单一图像或单一表情，而是同时体现在面部、语音、姿态、文本和交互行为之中。不同文化背景下，人们表达情绪和理解情绪的方式也存在差异，这使得跨文化情感计算成为一个具有挑战性且富有现实意义的研究方向。通过该场报告，实验室成员进一步认识到，多媒体智能不仅需要理解视觉内容本身，也需要关注人与人之间、人与环境之间的复杂关系。

在Workshop“三维点云处理、分析、压缩与通信”中，与会学者围绕点云数据的表示、压缩、分析和实际部署问题展开讨论。该研讨会由袁辉教授担任主席，内容覆盖三维数据处理中的多个关键环节。点云作为三维场景表达的重要形式，在自动驾驶、机器人、增强现实、数字孪生和沉浸式通信等领域具有广泛应用。然而，点云数据通常规模较大、结构稀疏且分布不规则，这也使其在模型训练、实时推理和网络传输中面临较高成本。

报告中特别讨论了三维点云方法在实际应用中的限制与风险，包括推理成本较高、点丢失后恢复困难、生成结果质量受类别影响明显等问题。该场报告不仅关注算法精度，也强调模型部署、通信效率和实际场景可用性，为三维视觉方向的研究提供了更全面的视角。

ICME 2026 第一天的学术活动紧凑充实，内容涵盖预测式三维视觉、语音与声音深度伪造检测、跨文化情感计算和三维点云处理等方向。通过参加首日活动，实验室成员进一步了解了多媒体领域的前沿进展，拓展了国际学术视野。

地点：望江校区基础教学楼B座318实验室

分享者：姚和、杨光

Part1

分享者：姚和

分享内容：

Wimmer, Thomas, et al. "Anyup: Universal feature upsampling." arXiv preprint arXiv:2510.12764 (2025).

论文简介：

该文提出了一种名为AnyUp的特征上采样方法，可应用于任意视觉特征和任意分辨率，且无需针对特定编码器进行训练。现有的基于学习的特征上采样器，如用于DINO或CLIP特征的，需为每个特征提取器重新训练，因此在推理时无法泛化至不同的特征类型。为解决这一局限并提升上采样质量，该工作提出了一种推理时特征无关的上采样架构。实验表明，AnyUp在上采样特征方面达到了新的最佳性能，能够泛化至不同的特征类型，同时保持特征语义，具备高效性且易于应用于广泛的下游任务。

Part2

分享者：杨光

分享内容：

Z. Chen et al., "KEditVis: A Visual Analytics System for Knowledge Editing of Large Language Models," in IEEE Transactions on Visualization and Computer Graphics, vol. 32, no. 6, pp. 4818-4828, June 2026, doi: 10.1109/TVCG.2026.3694436.

论文简介：

大型语言模型（LLM）在事实问题回答方面表现出卓越的能力，但有时会给出错误的回答。为解决这一问题，知识编辑技术已成为纠正大型语言模型中事实信息的有效方法。然而，典型的知识编辑工作流程难以确定最佳的model layers集合，依赖的总结指标提供指导不足。这种缺乏透明度阻碍了有效比较和识别最佳编辑策略。本文介绍了KEditVis，一种新型视觉分析系统，旨在帮助用户通过交互式可视化更深入地理解知识编辑，提升编辑效果，并发现对未来知识编辑算法发展有价值的见解。通过 KEditVis，用户可以选择合适的model layers作为编辑目标，探索无效编辑的原因，并进行更有针对性和更有效的编辑。

地点：望江校区基础教学楼B座318实验室

Part1

分享者：杨鑫月

分享内容：

[1] Z. Zhu, B. Zhong, Q. Liang, H. Yang, Y. Zheng and N. Li, "Adaptive Expert Decision for RGB-T Tracking," IEEE Transactions on Circuits and Systems for Video Technology, 2025, doi: 10.1109/TCSVT.2025.3563223.

论文简介：

RGB-T 目标跟踪旨在利用可见光图像（RGB）和热红外图像（TIR）之间的互补信息，在复杂场景中实现更加鲁棒的目标定位。RGB 图像通常能够提供丰富的颜色、纹理和细节信息，但在低照度、恶劣天气或强光干扰等情况下容易退化；而 TIR 图像能够反映目标的热辐射特征，在弱光或夜间场景中具有更稳定的表现。因此，如何根据不同跟踪场景动态选择和融合两种模态中的有效信息，是 RGB-T 跟踪中的关键问题。现有许多 RGB-T 跟踪方法通常采用固定的融合策略，难以根据环境变化自适应调整不同模态的重要性，从而影响跟踪性能。针对这一问题，本文提出了一种新的 RGB-T 跟踪算法 AETrack。该方法首先设计了自适应专家决策机制（Adaptive Expert Decision Mechanism, AEDM），通过多个专家分别学习不同类型的特征，并利用跨模态信息作为引导，根据当前场景自适应选择最合适的专家输出有效特征，从而减少无关信息的干扰。进一步地，作者提出渐进式跨模态融合模块（Progressive Cross-modal Fusion, PCF），在ViT 主干网络的多个层次中逐步融合 RGB 与 TIR 特征，以充分挖掘两种模态之间的互补关系。实验结果表明，AETrack 在 LasHeR、RGBT210 和 RGBT234 等主流 RGB-T 跟踪数据集上均取得了优于现有方法的性能，验证了自适应专家选择和渐进式跨模态融合在复杂场景目标跟踪中的有效性。

Part2

分享者：王艺蒙

分享内容：

[1] F. Cheng, V. Zouhar, R. S. M. Chan, D. Fürst, H. Strobelt and M. El-Assady, "Understanding Large Language Model Behaviors Through Interactive Counterfactual Generation and Analysis," in IEEE Transactions on Visualization and Computer Graphics, vol. 32, no. 1, pp. 846-856, Jan. 2026, doi: 10.1109/TVCG.2025.3634646.

论文简介：

了解大语言模型（LLM）的行为对于确保其安全可靠的使用至关重要。然而，现有的大模型可解释人工智能（XAI）方法主要依赖于词汇层面的解释，这不仅计算效率较低，而且往往与人类的推理过程存在偏差。此外，这些方法通常将解释视为一次性的输出结果，忽略了其本质上应当是互动和迭代的过程。

在本文提出了LLM Analyzer，这是一个交互式可视化系统。它通过反事实分析，实现了对大语言模型行为的直观且高效的探索，从而解决了上述局限性。本文的系统采用了一种新颖的算法，能够通过用户自定义粒度的定向删除和替换操作，生成流畅且语义合理的反事实文本。这些反事实文本被用来计算特征归因分数，并与具体示例相结合呈现在基于表格的可视化界面中，从而支持对模型行为进行动态分析。一项针对大模型从业者的用户研究以及专家访谈表明，该系统具有良好的可用性和有效性，同时也强调了让人类作为主动参与者（而非被动接收者）参与到解释过程中的重要性。

Part3

分享者：王翔坤

分享内容：

[1] Luo E P, Wei L, Hao M S, et al. A multi-modal diffusion model with dual-cross-attention for multi-omics data generation and translation[J]. Nature Communications, 2026.

论文简介：

针对单细胞多组学实验成本高、样本通量有限、多模态数据整合与跨模态转化困难等行业痛点，本文在初代 scDiffusion 基础上推出scDiffusion-X，一款面向单细胞多组学分析的多模态隐空间扩散模型。该模型的核心突破是设计双交叉注意力（DCA）模块，摒弃传统简单拼接的融合方式，可自适应捕捉转录组、染色质可及性等不同分子模态间复杂的隐性关联，兼具灵活性与生物学可解释性。大量基准实验证实，相较于 MultiVI、CFGen、scDesign3、BABEL 等主流方法，scDiffusion-X 能生成高度贴合真实特征的多组学数据，有效保留细胞异质性与全局数据结构，同时具备优秀的大数据集适配能力，还可用于扩充稀有细胞样本、提升下游分析精度。该模型还实现了 RNA 与染色质可及性数据的双向跨模态翻译、扰动响应预测，并支持结果不确定性量化，弥补了现有方法仅能输出单点预测的不足。研究进一步搭建梯度解析框架，依托 DCA 模块挖掘细胞类型特异性异质基因调控网络（GRN），并结合 ENCODE、HiChIP等公共数据完成验证，打通了生成式建模与生物机制解析的壁垒。

地点：望江校区基础教学楼B座318实验室

分享者：邓子祎、王翔坤

Part1

分享者：邓子祎

分享内容：

[1] Donghoon Shin, Daniel Lee, Gary Hsieh, and Gromit Yeuk-Yin Chan. 2025. PosterMate: Audience-driven Collaborative Persona Agents for Poster Design. In Proceedings of the 38th Annual ACM Symposium on User Interface Software and Technology (UIST '25). Association for Computing Machinery, New York, NY, USA, Article 201, 1–20. https://doi.org/10.1145/3746059.3747769

论文简介：

随着广告海报设计中获取目标受众反馈的挑战日益凸显，传统方式难以高效整合多元视角并实时融入设计迭代。基于设计空间的探索与形成性研究，本文构建了一个系统框架，涵盖角色代理生成、组件级反馈（文本、图像、主题）以及冲突讨论与共识达成三大模块。本文开发了PosterMate原型系统，能够自动生成多样化的角色代理，并在画布中提供实时反馈与预览，支持设计师与代理之间围绕设计冲突进行讨论以形成结论。通过一项包含12名设计师的用户研究与一项100人参与的在线评估，本文发现角色代理的反馈与其身份高度一致，且系统有效综合多元视角，帮助设计师识别被忽视的受众需求，并提升了海报迭代的效率与创造力。

Part2

分享者：王翔坤

分享内容：

[1] Luo E P, Wei L, Hao M S, et al. A multi-modal diffusion model with dual-cross-attention for multi-omics data generation and translation[J]. Nature Communications, 2026.

论文简介：

针对单细胞多组学实验成本高、样本通量有限、多模态数据整合与跨模态转化困难等行业痛点，本文在初代 scDiffusion 基础上推出scDiffusion-X，一款面向单细胞多组学分析的多模态隐空间扩散模型。该模型的核心突破是设计双交叉注意力（DCA）模块，摒弃传统简单拼接的融合方式，可自适应捕捉转录组、染色质可及性等不同分子模态间复杂的隐性关联，兼具灵活性与生物学可解释性。大量基准实验证实，相较于 MultiVI、CFGen、scDesign3、BABEL 等主流方法，scDiffusion-X 能生成高度贴合真实特征的多组学数据，有效保留细胞异质性与全局数据结构，同时具备优秀的大数据集适配能力，还可用于扩充稀有细胞样本、提升下游分析精度。该模型还实现了 RNA 与染色质可及性数据的双向跨模态翻译、扰动响应预测，并支持结果不确定性量化，弥补了现有方法仅能输出单点预测的不足。研究进一步搭建梯度解析框架，依托 DCA 模块挖掘细胞类型特异性异质基因调控网络（GRN），并结合 ENCODE、HiChIP等公共数据完成验证，打通了生成式建模与生物机制解析的壁垒。

答辩开场，朱敏作为实验室负责人及参会博士生指导教师，逐一介绍到场评审专家、答辩会议流程，系统阐明博士中期考核、开题答辩评审准则与评审重点。随后，实验室2024级博士研究生姚和、邓凌竹依次开展中期进展汇报与学位论文开题答辩，两人研究方向聚焦计算机视觉、低空智能感知领域。

在中期进展汇报环节，两名博士生围绕课程修读、科研项目攻关、学术成果产出、学术会议交流、科研实践落地等维度，系统梳理入学以来阶段性科研成果与学习情况；开题汇报阶段，从课题研究背景、国内外研究现状、核心研究内容、研究进度规划等方面详细阐述论文整体架构。汇报完毕后，评审专家结合课题行业落地场景、研究框架完整性、技术路线可行性等内容针对性提问，立足学科前沿与产业实际提出精细化修改意见。参会博士生认真记录专家修改建议，进一步厘清课题优化思路与后续研究方案。

经专家组闭门研讨、综合评议，评审委员会一致认定：姚和、邓凌竹两名博士生中期考核合格，学位论文开题方案论证充分、可行性达标，开题答辩顺利通过。会议尾声，屈鸿对本次答辩全过程进行总结，正式宣读评审结论。

至此，视觉计算实验室2024级博士研究生中期考核暨学位论文开题答辩圆满落幕。实验室向顺利通过考核的两位博士研究生表示祝贺，诚挚感谢跨领域评审专家的悉心指导，同时致谢实验室同学们的会务筹备与参会配合。

时间：2026年05月30日（周六）上午09:00

地点：望江校区基础教学楼B座318实验室

分享者：刘宜松、杨阳、朱陶涛

Part1

分享者：刘宜松

分享内容：[1] Yin B W, Cao J L, Cheng M M, et al. Dformerv2: Geometry self-attention for rgbd semantic segmentation[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2025: 19345-19355.

近年来，深度图所提供的三维几何信息为场景理解任务带来了显著提升，尤其在弱光、过曝等复杂环境下，相较于仅依赖RGB图像的方法，RGBD方法通常能够获得更稳健的预测结果。现有方法大多将RGB图像与深度图作为两种独立模态分别进行特征编码，并通过特征融合完成最终预测。然而，这类方法默认深度信息需要像RGB外观信息一样通过神经网络进行显式表示学习，而这一设定未必必要。考虑到深度信息本质上更多提供的是场景的几何结构先验，而非纹理或语义外观信息，这篇工作重新审视了RGBD特征学习范式，提出了一种新的RGBD编码方法 DFormerv2。该方法不再将深度图作为独立视觉模态进行编码，而是直接利用深度信息构建图像patch之间的几何关系，包括深度距离与空间位置约束，并将这些显式几何先验引入Transformer的自注意力机制，以更有效地建模场景结构信息。在多个RGBD语义分割基准上的实验结果表明，DFormerv2取得了优异性能，验证了利用显式几何先验替代深度特征编码的有效性。

Part2

分享者：杨阳

分享内容：[2] Yao Y, Yang Q, Zhong H, et al. Qwen3-VL-Seg: Unlocking Open-World Referring Segmentation with Vision-Language Grounding[J]. arXiv preprint arXiv:2605.07141, 2026.

开放世界指代分割需要将不受约束的语言表达锚定到精确的像素级区域。现有的多模态大语言模型（MLLM）展现出强大的开放世界视觉锚定能力，但其输出仍局限于稀疏的边界框坐标，无法满足密集视觉预测的需求。近期基于多模态大语言模型的分割方法要么直接预测稀疏轮廓坐标，难以重建连续的物体边界；要么依赖 SAM（Segment Anything Model）等外部分割基础模型，带来了巨大的架构与部署开销。本研究提出了 Qwen3-VL-Seg，这是一个参数高效的框架，它将多模态大语言模型预测的边界框作为具备语义锚定的结构先验，并将其解码为像素级的指代分割结果。该框架的核心是一个轻量级边界框引导掩码解码器，它融合了多尺度空间特征注入、空间 - 语义查询构建、边界框引导的高分辨率像素融合，以及迭代式掩码感知查询优化，仅引入了 1700 万参数（约占基础模型的 0.4%）。为实现可扩展的开放世界训练，本研究构建了 SA1B-ORS 数据集，这是一个基于 SA-1B 衍生的数据集，包含两个子集：SA1B-CoRS（面向类别的样本）和 SA1B-DeRS（描述性、实例特定的样本）。在评估方面，本研究整理了 ORS-Bench，这是一个经过人工筛选的基准测试集，包含分布内与分布外子集，覆盖多种指代表达类型。在指代表达分割、视觉锚定以及 ORS-Bench 上的大量实验表明，Qwen3-VL-Seg 在封闭集与开放世界场景中均表现优异，在语言密集型指令处理上具有明显优势，同时具备出色的分布外泛化能力。在通用多模态基准上的评估进一步表明，该模型在面向分割任务的适配后，仍能广泛保留通用多模态能力。

Part3

分享者：朱陶涛

分享内容：[3] Gao J, Lao Q, Kang Q, et al. Boosting your context by dual similarity checkup for in-context learning medical image segmentation[J]. IEEE Transactions on Medical Imaging, 2025, 44(1): 310-319.

大规模预训练模型中上下文学习能力的出现，极大地推动了分割模型的泛化能力发展。通过提供特定领域的图像-掩码对，上下文学习模型能够被有效引导以产生最优的分割结果，从而无需进行模型微调或交互式提示。然而，现有的基于上下文学习的分割模型在应用于具有显著多样性的医学分割数据集时，表现出明显的局限性。为解决这一问题，本文提出了一种双重相似性检查方法，以确保所选上下文样本的有效性，从而在推理过程中最大化地利用其引导作用。首先，利用大规模预训练视觉模型提取输入图像的强语义表示，并构建一个特征嵌入记忆库，用于推理过程中的语义相似性检查。在保证输入语义空间相似性的基础上，通过基于相似性的加权采样与数据增强，最小化支持集与估计的掩码外观先验之间的掩码外观分布差异。本文在八个公开可用的医学分割数据集上验证了所提出的双重相似性检查方法，大量实验结果表明，本文的方法显著提升了现有基于上下文学习的分割模型的性能指标。

地点：望江校区基础教学楼B座318实验室

分享者：张键军、张晋博、徐骏驰

Part1

分享者：张键军

分享内容：

[1] Lekssays A, Mouhcine H, Tran K, et al. {LLMxCPG}:{Context-Aware} vulnerability detection through code property {Graph-Guided} large language models[C]//34th USENIX Security Symposium (USENIX Security 25). 2025: 489-507.

[1] 软件漏洞持续构成安全挑战，仅2024年，通用漏洞披露（CVE）数据库中就新增了超过25,000个漏洞。尽管基于深度学习的方法在漏洞检测方面展现出潜力，但近期研究揭示了其在准确性和鲁棒性方面的关键局限：在经严格验证的数据集上，检测准确率最高下降45%，且在简单的代码修改下，性能会显著退化。本文提出了LLMxCPG——一种将代码属性图（CPG）与大语言模型（LLM）相结合的新型框架，旨在实现鲁棒的漏洞检测。所提出的基于CPG的切片构建技术可在保留漏洞相关上下文的同时，将代码规模缩减67.84%至90.93%。该方法能够提供更简洁、准确的代码片段表示，从而支持对更大代码段（包括整个项目）的分析。这种简洁表示是该检测方法能力提升的关键因素，使其能够识别跨多个函数的漏洞。实证评估表明，LLMxCPG在经验证的数据集上效果显著，与最先进的基线方法相比，F1分数提升了15%至40%。此外，LLMxCPG在函数级和多函数代码库上均能保持高性能，并在各种语法代码修改下表现出稳健的检测能力。

Part2

分享者：张晋博

分享内容：

[1] He N, Deng Y, Yue S, et al. RAG4DMC: Retrieval-Augmented Generation for Data-Level Modality Completion[C]. The Fourteenth International Conference on Learning Representations, 2026.

[1] 针对多模态数据集中普遍存在的模态缺失问题，提出了一种面向数据层模态补全的检索增强生成框架RAG4DMC。不同于以往仅在特征层面对缺失模态进行隐式补偿的方法，该方法直接生成缺失的图像或文本模态，从而构建可复用的完整多模态训练数据。其核心思想是：生成模型不应仅依赖已有模态进行“凭空生成”，而应先从知识库中检索语义相关的完整样本作为参考，再引导生成过程。为此，论文构建了由目标数据集内部完整样本和外部公开数据组成的双知识库，并通过跨模态映射、聚类过滤和跨域对齐缓解模态差异、外部噪声和领域偏移问题。在检索阶段，方法先基于同模态相似度从全库中召回候选样本，再结合伪缺失模态特征进行跨模态融合重排序，以获得更可靠的生成参考。最后，模型生成多个候选补全结果，并根据语义一致性和生成质量进行筛选。实验在MSCOCO、Flickr30K和RSICD数据集上验证了该方法在图文检索和图像描述任务中的有效性，表明其补全后的数据能够更好地提升下游多模态模型性能。

Part3

分享者：徐骏驰

分享内容：

[1] L. Weng et al., "InsightLens: Augmenting LLM-Powered Data Analysis With Interactive Insight Management and Navigation," in IEEE Transactions on Visualization and Computer Graphics, vol. 31, no. 6, pp. 3719-3732, June 2025, doi: 10.1109/TVCG.2025.3567131.

[1] 大型语言模型（LLM）的激增彻底改变了自然语言接口（NLI）用于数据分析的能力。LLM可以执行多步骤和复杂的推理，根据用户的分析意图生成数据见解。然而，这些见解往往与分析对话中的大量上下文纠缠在一起，如代码、可视化和自然语言解释。这阻碍了在当前基于聊天的LLM界面中高效记录、组织和导航见解。在本文中，我们首先对八名数据分析师进行了形成性研究，以了解他们在LLM驱动的数据分析过程中的一般工作流程和洞察力管理的难点。因此，我们引入了InsightLens，一个克服这些挑战的交互式系统。InsightLens建立在基于LLM代理的框架之上，该框架自动化了洞察记录和组织以及分析过程，从多个方面可视化了复杂的对话上下文，以促进洞察导航。一项针对12名数据分析师的用户研究证明了InsightLens的有效性，表明它显著减少了用户的手动和认知工作，而不会中断他们的会话数据分析工作流程，从而带来了更高效的分析体验。

地点：望江校区基础教学楼B座318实验室

分享者：卢玉杰、甘小容、周寅杰

Part1

分享者：卢玉杰

分享内容：

 [1]Tian K, Jiang Y, Yuan Z, et al. Visual autoregressive modeling: Scalable image generation via next-scale prediction[J]. Advances in neural information processing systems, 2024, 37: 84839-84865.

 提出了视觉自回归建模（VAR），这是一种全新的生成范式，它将图像上的自回归学习重新定义为从粗到细的“下一尺度预测”或“下一分辨率预测”，与标准的栅格扫描式“下一标记预测”不同。这一简单直观的方法使得自回归（AR）Transformer能够快速学习视觉分布并具有很好的泛化能力：VAR首次使得GPT风格的自回归模型在图像生成上超越扩散Transformer。在ImageNet 256×256基准测试中，VAR显著改进了AR基线，将弗雷歇初始距离（FID）从18.65提升到1.73，初始分数（IS）从80.4提升到350.2，同时推理速度提高了20倍。实验还证明，VAR在图像质量、推理速度、数据效率和可扩展性等多个维度上均优于扩散Transformer（DiT）。VAR模型的扩展表现出与大型语言模型（LLM）中观察到的相似的清晰幂律缩放规律，线性相关系数接近-0.998，这是有力的证据。此外，VAR在图像修复、外推绘制和编辑等下游任务中展现了零样本泛化能力。这些结果表明VAR初步模仿了LLM的两个重要特性：缩放定律和零样本泛化。

Part2

分享者：甘小容

分享内容：

 [2]Xie S, Zhang L, Niu Z, et al. EICSeg: Universal Medical Image Segmentation via Explicit In-Context Learning[J]. IEEE Transactions on Medical Imaging, 2025.

 以往医学图像分割方法通常针对特定任务专门训练模型，面对新器官、新模态或新标签时泛化能力有限，往往需要重新训练或微调。现有少样本以及上下文分割方法虽然尝试利用少样本完成新任务分割，但多数依赖隐式学习查询图像和支持集之间的关系，容易丢失细粒度空间信息，并且在多类别医学分割场景中仍存在效率和准确性不足的问题。针对上述问题，本文提出EICSeg，一种面向通用医学图像分割的显式上下文学习框架，将查询图像与带标注提示图像之间的交互重新建模为patch级别的显式检索过程，从而实现多类别标签信息的高效传播。该方法采用DINOv2和SAM作为编码器，进一步结合了DINOv2的语义对应能力与SAM的空间细节表达，并设计轻量级SD-Adapter进行特征融合，以增强目标区域、抑制无关背景，提升复杂解剖结构的分割质量。在面对新任务是，无需额外训练。EICSeg在多个未见过的医学图像分割数据集上取得了优于现有 few-shot和in-context segmentation方法的泛化性能，并展现出较强的少样本适应能力，为低标注成本、跨模态、跨任务的医学图像自动分割提供了新的思路。

Part3

分享者：周寅杰

分享内容：

 [3]Das A K, Mueller K. Misvisfix: An interactive dashboard for detecting, explaining, and correcting misleading visualizations using large language models[J]. IEEE Transactions on Visualization and Computer Graphics, 2025.

 误导性可视化对准确的数据解读构成了严峻挑战。尽管大型语言模型（LLMs）已在可视化中的错误信息检测方面得到研究，但能够提供解释与修正的实用工具仍然匮乏。为此，我们提出了 MisVisFix——一个利用 Claude 和 GPT双模型的交互式仪表板，支持对误导性可视化进行检测、解释和修正的完整工作流。该系统能正确识别 96% 的可视化问题，覆盖全部74种已知的可视化误导类型，并将其按严重程度分类为严重（major）、轻微（minor）和潜在（potential）问题。系统提供详细的解释、改进建议以及自动生成的修正图表，并配备交互式对话界面，允许用户就特定图表元素进行提问或请求修改。通过针对性的用户交互，系统能够适应新出现的误导策略。与可视化专家和事实核查工具开发者开展的用户研究证实了该系统的准确性和实用性。MisVisFix旨在提升可视化素养，推动更可信的数据传播。

1. workshop 世界模型

世界模型旨在赋予AI理解物理规律并预测未来状态的能力，是通往通用人工智能及高级具身智能的关键技术路径。讲者回顾了具身视角下世界模型的历史溯源 。报告深入探讨了具身世界模型的建模对象，包括动力学模拟器、状态编码器及奖励预测器的协同机制。通过对比发现，该算法在样本效率及多步规划能力上显著优于传统的Off-policy方法，有效降低了策略优化的试错成本。

2. workshop 多模态大模型：精细感知

精细感知侧重于对图像中细微特征、局部部件及其复杂关系的深度建模，是解决工业缺陷检测等高精度任务的核心。东南大学的讲者在Workshop 中分享了面向细粒度视觉对象的强判别性图像表示学习 。针对复杂环境、标记受限及海量数据三大挑战，报告重点介绍了鲁棒细粒度图像识别中的部件关系建模，以及在少样本和长尾分布下的细粒度检测与检索技术，为精细化感知提供了系统性的解决方案。

3. workshop 遥感解译：空天跨域目标关联

遥感解译利用高空传感器获取的影像进行目标分类与提取，在国土监测、环境评估及军事侦察中具有不可替代的战略价值。在Workshop 中，讲者展示了“空天跨域目标关联”的最新实测验证工作 。报告通过对比基线方法与提出方法在常规场景及噪声场景下的表现，证明了新方法在处理复杂空天环境下跨域目标匹配时的正确性与鲁棒性，显著提升了跨平台情报协同的精度。

4. workshop 多模态学习助力智慧医疗

智慧医疗通过整合放射影像、病理切片及临床病历等多模态数据，利用AI实现疾病的自动辅助诊断，极大提升了医疗诊断的效率与准确性。本Workshop聚焦于科研向落地的转化 。报告展示了利用三维自动分割技术实现肾脏、肾肿瘤及肾周特定范围内脂肪ROI（感兴趣区域）的精准提取。三维自动分割效果的可视化结果表明，AI辅助系统能够为复杂手术规划提供清晰的解剖结构参考。

5. 持续学习与持续智能体

持续学习旨在使AI能够像人类一样在学习新知识的同时，克服“灾难性遗忘”，维持对旧任务的记忆与鲁棒性。天津理工大学的讲者探讨了持续学习中的抗干扰挑战 。报告指出，在持续学习过程中加入对抗攻击会导致遗忘现象更加严重。通过对比LwF、EWC-on、SI及RAPF等多种方法，研究展示了如何在保持干净样本性能的前提下，有效缓解遗忘并提升对抗鲁棒性。

6. 自动驾驶：无图零样本视觉导航

自动驾驶技术正向“去地图化”与“端到端”演进，要求车辆能够在陌生、复杂的封闭空间（如地下车库）具备自主感知与推理能力。讲者分享了在地下车库场景下的无图零样本视觉语言导航技术 。报告详细展示了系统如何结合短期记忆与视觉语言模型进行推理。例如，VLM能通过分析电梯厅标识的文字和箭头方向，自主做出向左转的动作决策，实现了无需预建地图的高级导航。

7. 优秀学生论坛

优秀学生论坛是VALSE的重要特色，旨在挖掘并展示青年学子在视觉与学习领域的创新思维与潜力，促进学术薪火相传。Workshop 16汇聚了来自清华、上海交大、港大等名校的顶尖学生代表 。在热烈的学术氛围中，优秀学子们分享了他们在多模态大模型、高效推理及三维重建等领域的突破性工作，展现了中国人工智能新一代研究者的风采。