ACM CHI 2024 Day 4

5月16日,ACM人机交互国际会议(CHI 2024)进展到了第四天。尽管是会议的最后一天,会议内容也依然的丰富精彩。今天的分享主要包括三部分:论文报告、闭幕主题演讲、交流合影。

Emotions and User Experience

该专题的主题是情感与用户体验,主持人是来自University of Bath的Crescent Jicol,下面分享两篇工作。

EmoWear: Exploring Emotional Teasers for Voice Message Interaction on Smartwatches

在这项工作中,Pengcheng An等人介绍了 EmoWear,这是一个智能手表语音短信系统,用户可以在信息气泡上应用 30 个动画效果来反映情绪。EmoWear 基于语义和声学处理对情绪进行优先排序,从而简化了发送者的选择。为了评估EmoWear,该工作与使用彩色编码信息气泡作为情绪线索的基线系统进行了对比。结果显示,EmoWear 显著增强了接收和发送信息时的情感交流体验。该工作不仅设计了一个新颖的系统,也为语音信息中的情感传递提供了经验知识。值得一提的是,该工作出现在了CHI24的宣传视频中,这是一个难得的机会。

报告:EmoWear: Exploring Emotional Teasers for Voice Message Interaction on Smartwatches
ReactGenie: A Development Framework for Complex Multimodal Interactions Using Large Language Models

Jackie (Junrui) Yang 等人提出的 ReactGenie 是一个编程框架,它能更好地将多模态输入与计算模型分离开来,使开发人员能够轻松地创建高效、功能强大的多模态界面。ReactGenie利用基于大型语言模型的神经语义解析器,将多模态用户指令翻译成用户创建的编程语言 NLPL。ReactGenie 的运行模块解释解析后的 NLPL,并在计算模型中组成基元,以实现复杂的用户指令。通过这种方式,ReactGenie 可以让多模态应用程序的终端用户轻松实现前所未有的丰富命令。

报告:ReactGenie: A Development Framework for Complex Multimodal Interactions Using Large Language Models

Sensemaking with AI

该专题的主题是利用人工智能进行感知,主持人是来自CSIRO的Aaron Quigley,下面分享两篇工作。

Where Are We So Far? Understanding Data Storytelling Tools from the Perspective of Human-AI Collaboration

本文荣获了CHI24的最佳论文提名奖!该工作指出,尽管近年来的研究广泛探索了人工智能(AI)在数据故事中支持和增强人类的潜力,但缺乏从人类与 AI 协作的角度来理解数据故事创作工具的系统性综述,这阻碍了研究人员反思现有的协作工具设计,以更清晰的认识人类和 AI 各自的优势和不足。鉴于这一现状,Haotian Li等人从两个角度对现有工具进行了总结和分析:一是工具在创作数据故事的过程中涉及的阶段,这些阶段包括分析、规划、实施和交流;二是人类和人工智能在每个阶段的角色,如创作者、助手、优化者和审核者。通过这种方式,作者认识到了现有工具中常见的协作模式,并进一步说明了数据故事制作中人类与人工智能协作未来的研究机会。

报告:Where Are We So Far? Understanding Data Storytelling Tools from the Perspective of Human-AI Collaboration
Natural Language Dataset Generation Framework for Visualizations Powered by Large Language Models

Kwon Ko等人介绍了VL2NL——一种大型语言模型(LLM)框架,它能使用Vega-Lite规范作为输入生成丰富多样的NL数据集,从而简化数据可视化自然语言界面(NLI)的开发。为了准确合成相关图表语义并增强每个 NL 数据集的语法多样性,本文利用了:1)将引导式发现纳入提示中,使 LLM 能够以自我引导的方式创建高质量的 NL 数据集;2)基于分数的解析,以增强 NL 语法的四个语言轴。同时,作者还展示了一个由 1981 个真实Vega-Lite 规范组成的新集合,与现有的图表集合相比,该集合具有更高的多样性和复杂性。


闭幕主题演讲

会议最后,CHI 组委会邀请Sam ʻOhukaniʻōhiʻa Gon III为与会者做了关于“将夏威夷群岛作为世界社会生态缩影”的主题演讲。Sam是夏威夷和帕尔米拉大自然保护协会的高级科学家和文化顾问。同时,他还是夏威夷大学的附属研究员。

众所周知,夏威夷群岛是地球上最与世隔绝的高岛群岛,拥有独特的生态和文化。通过研究夏威夷社会历史上的可持续发展案例,本报告探讨了群岛多样的生态环境与夏威夷本土社会发展的可持续实践之间错综复杂的关系,并总结了一些适用于当今全球可持续发展挑战的经验教训。例如,通过整合地理空间建模、考古数据、植物生态建模等内容,研究人员逐步揭示了夏威夷社会如何实现与环境的微妙平衡。在未来的工作中,以个体经验为基础,可以进一步探索传统与现代科学相结合的新途径,以推进地球的可持续发展。

ACM CHI 2024闭幕主题演讲

交流合影

除了常规的会议报告外,实验室硕士王凤杰同学还积极跟与会的学者交流,在思维碰撞的同时创造潜在的合作机会并建立联系。下面是交流的一些合照留影。

与HKUST屈老师组的合照
与University of Waterloo赵老师组的合照