ICASSP 2024 - Day2

Tutorial 1:Fundamentals of Transformers: A Signal-processing View

讲者:Christos Thrampoulidis (University of British Columbia), Samet Oymak (University of Michigan), Ankit Singh Rawat (Google Research), Mahdi Soltanolkotabi (University of Southern California)

Part I: Motivation and Overview

几位讲者在报告中详细介绍了Transformers模型的架构、应用和新兴能力。首先深入探讨了Transformers模型的架构及其广泛的应用,从语音分析到图像处理,从时间序列预测到无线通信系统。该报告主要关注点是注意力机制,它是与全连接、卷积和残差神经网络等传统架构的基本区别特征。 为了便于大家理解,讲者引入了一个简化的注意力模型,该模型与稀疏信号恢复和矩阵分解相关的问题建立了密切的联系。 以此模型为基础,向大家介绍了有关其记忆冗长序列、建模远程依赖性和有效训练能力的关键问题。

Part II: Efficient Inference and Adaptation: Quadratic attention bottleneck and Parameter-efficient tuning (PET)

在第二部分中,讲者关注Transformers模型的高效推断和适应性,特别是针对处理长序列时的挑战。通过介绍二次自注意力的复杂度以及相关的高效实现方法,为Transformers模型的性能提升提供了关键线索。在系统层面的改进,如FlashAttention,展示了在提高I/O意识方面的重要作用。

Part III: Approximation, Optimization, and Generalization Fundamentals

第三部分讲者探讨了近似、优化和泛化基础知识,强调了Transformers模型的普适近似能力以及其在任务性能改进方面的潜力。同时,介绍了Transformers与支持向量机类似的优化动态,为信号处理领域的观众提供了思路。

Part IV: Emerging abilities, in-context learning, reasoning

在第四部分,讲者探讨了Transformers模型的新兴能力、上下文学习和可解释性,通过规模定律的探索展示了Transformers模型的增强性能和计算特性。同时,上下文学习的强大能力使Transformers模型在解决广泛的机器学习任务中表现出色,并与人类进行密切交互。

总的来说,这一报告为Transformers模型的理解和应用开辟了新的视角,提出了一系列开放问题,为信号处理领域的研究和实践提供了宝贵的指导和启示。

图2 讲解Transformers模型

Tutorial 2 —— Adaptive and Flexible Model-Based AI for Wireless Systems

讲者:Nir Shlezinger (Ben-Gurion University), Sangwoo Park (King's College London), Tomer Raviv (Ben Gurion University), and Osvaldo Simeone (King's College London)

随着连接性、延迟和吞吐量需求的不断增长,无线通信技术正面临着新的挑战和机遇。为了满足这些性能要求,业界正在积极研究一系列新兴技术,其中包括毫米波和太赫兹通信、全息MIMO、频谱共享和可重构智能表面(RISs)。然而,这些新技术虽然有望支持所需的性能水平,但也引入了相当大的设计和操作复杂性。

传统的收发器处理设计是基于模型的,依赖于简化的信道模型,可能不再足以满足下一代无线系统的要求。而深度学习的崛起已经彻底改变了各个学科,包括计算机视觉和自然语言处理(NLP)。深度神经网络(DNNs)学习数据映射的能力引发了人们对它们在收发器设计中的使用越来越大的兴趣。基于深度神经网络(DNN)的收发器能够学习检测函数,即使在没有建立物理学基础的数学模型,或者模型过于复杂而无法产生可处理和高效的基于模型的算法的情况下,这种情况被称为模型缺失。

尽管具有上述前景,但由于无线通信与传统的人工智能领域(如计算机视觉和NLP)之间的根本差异,仍然存在一些核心挑战。第一个挑战归因于通信系统中所使用设备的性质。无线通信收发器在计算和功耗资源方面受到严格限制,而深度学习本质上依赖于强大的设备的可用性,例如高性能计算服务器。第二个挑战源于无线通信领域的性质,通信信道是动态的,意味着由数据分布所决定的任务会随着时间而变化,这使得数据收集、注释和训练的标准流程变得极具挑战性。

在报告中,讲者以教学为主的方式呈现设计实用且有效的深度收发器的领先方法,以应对数据和资源受限的无线设备以及通信信道的动态性所带来的限制。讲者主张基于人工智能的无线收发器设计需要重新审视人工智能的三大支柱,即(i)人工智能模型的架构;(ii)用于训练人工智能模型的数据;以及(iii)优化人工智能模型以实现泛化的训练算法,即在训练集之外最大化性能(无论是在相同的分布上还是对于完全新的分布)。

讲者详细介绍了动态环境中的深度学习辅助系统的各个方面,包括系统模型、数据获取和训练算法等。通过这些教程,讲者希望为解决无线通信领域的挑战和应用人工智能技术提供新的思路和方法。

图2 无线通信数据