ICASSP 2024 - Day1

2024年4月14日至4月19日，第49届IEEE 国际声学、语音和信号处理会议（2024 IEEE International Conference on Acoustics, Speech and Signal Processing, ICSSP 2024）在韩国首尔 COEX 举办。ICSSP作为IEEE信号处理协会的旗舰会议提供全面的技术计划，是全球最大、最全面的专注于信号处理及其应用的技术会议，展示了信号处理及其应用研究和技术的所有最新进展。会议以世界一流的口头和海报会议、主题演讲、全体会议和观点演讲、展览、演示、教程、短期课程和卫星研讨会为特色，吸引了领先的研究人员和全球行业人士，提供宝贵的交流机会。视觉计算实验室的小伙伴也来到了会议现场，学习信号处理领域的最新理论和前沿技术成果，感受到了浓厚的学术交流氛围。

Tutorial 1：Safe and Trustworthy Large Language Models

讲者：Kush R. Varshney (IBM Research)

Kush R. Varshney在会议上全面介绍了《Trustworthy Machine Learning》一书中的主要内容，以传统的非LLM（Large Language Models）为基础的TML方法论概述开始，强调了可信赖性和安全性的重要性。提供了LLM的定义，阐明了在随机性和认识不确定性、人工智能公平性、以及对人类的可解释性和对抗性鲁棒性等领域内的可信赖性和安全性。主讲人就机器学习领域新兴的风险展开了充分的讨论，识别了信息相关的风险，如缺乏真实性和私人信息泄露，以及互动相关的风险，包括仇恨言论和煽动暴力。除此以外，还探讨了围绕机器学习技术的伦理考量，提出了改变LLM行为的策略，包括数据整理、监督微调和与人类反馈的强化学习。最后，会议还深入探讨了增强LLM安全性的缓解策略，审查了训练数据源归因、上下文源归因和公平性重编程等技术。此外，该报告最终呼吁采取行动，将多个潜在冲突的价值观和约束纳入机器学习的领域，确保这些技术在社会中的负责任和道德的部署。

Tutorial 2 —— Building White-Box Deep Neural Networks

讲者：Sam Buchanan (Toyota Technological Institute at Chicago)

在过去的十年里，机器学习和高维数据分析经历了爆炸性增长，尤其是深度神经网络的成功推动了这一趋势。尽管在计算机视觉和自然语言处理等领域取得了巨大成就，但这些深度网络对于最终用户和设计者来说仍然是神秘的。因此，为了增加模型的可解释性，机器学习社区不断强调设计能够理解其输出和机制的模型。

针对构建白盒深度网络的教程在学术界引起了广泛关注，芝加哥丰田技术学院的Sam Buchanan和加州大学伯克利分校的Yi Ma、Druv Pai、Yaodong Yu从不同角度探讨了白盒深度网络的经典和最新进展，以帮助研究人员和设计者更好地理解和利用深度学习技术。整个报告由Sam Buchanan主讲，总共分为四个部分：

第一部分着重介绍了高维数据分析的基本目标，并讨论了经典方法，如稀疏编码，作为学习范式的特定实例。他们还提供了交互式Colab演示，使参与者可以亲自体验稀疏编码的应用。第二部分讨论了深度神经网络的逐层构建原则，特别是展开优化算法在设计可解释性深度网络中的应用。通过展示这些展开的网络与当前深度网络架构的相似之处，他们强调了这种设计的白盒性和可解释性。接着，Sam Buchanan针对学习数据分布并将其转换为线性判别表示（LDR）的情况进行了讨论，并介绍了一种名为编码率降低的损失函数。他们通过展示ReduNet架构的构建过程，突出了每个运算符在数据分布转换过程中的数学准确性和可解释性。最后一部分探讨了如何通过融合稀疏编码和速率降低的观点来获得稀疏线性判别表示，并介绍了CRATE架构的设计。他们指出，CRATE与transformer架构相似，展示了这些模型在可解释性和视觉数据表示学习方面的强大能力。

整个报告强调了白盒深度网络设计的重要性，以及这些模型在不同领域中的广泛应用潜力。这些讨论不仅为学术界提供了新的思路，也为工业界的实践者提供了有价值的参考。