时间： 2021年05月12日（本周三） 09: 30
地点： 望江校区基础教学楼B座318实验室
研读成员： 龙春林 梁朝晖
Part 1
分享者 ： 龙春林
[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin. Attention Is All You Need[J]. arXiv1706.03762, 2017.
[2] Zhou H, Zhang S, Peng J, et al. Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting[J]. AAAI2021.
论文简介 ：
[1]注意力机制(Attention)模仿生物观察行为的内部过程，将内部经验和外部感觉对齐从而增加部分区域的观察精细度的机制。Google提出的解决Seq2Seq问题的Transformer模型，用全Attention的结构代替了LSTM，在翻译任务上较之前的RNN+Attention模型取得了更好的成绩。Transformer模型结构如图1所示，抛弃了之前传统的Encoder-Decoder模型必须结合CNN或者RNN的固有模式，创新性的提出了两个新的Attention机制Scaled Dot-Product Attention 和 Multi-Head Attention，在减少计算量和提高并行效率的同时不损害最终的实验结果。
[2]传统Transformer模型在长序列预测(Long Sequence Time-Series Forecasting, LSTF)问题中存在的三种问题：
1）自注意力机制的平方级计算时间复杂度；
2）Transformer堆叠的多层Attention网络，导致内存占用瓶颈；
3）Decoder为Step-by-step预测，推理速度慢。
本文针对Transformer以上三种问题，提出Informer模型(如图2所示)，分别使用了：
1）ProbSparse self-attention，概率稀疏自注意力，通过筛选重要的Query减少相似度计算复杂度；
2）Self-attention distilling，自主力蒸馏，通过卷积和最大池化减少维度和网络参数，降低内存占用；
3）Generative style decoder，生成式解码器，一次性前计算输出所有预测结果，提高推理速度。
Part 2
分享者 ： 梁朝晖
[1] Pi M, Yeon H, Son H, et al. Visual cause analytics for traffic congestion[J]. IEEE transactions on visualization and computer graphics, 2019.
论文简介 ：
[1] 城市交通拥堵已成为影响居民日常生活、制约经济发展的重要问题，造成城市交通拥堵的主要原因是车辆数量的增加。以往的研究集中在检测城市交通拥堵区域和预测拥堵情况变化趋势，很难找到分析交通拥堵原因的研究。在这篇文章中，作者提出了一种基于交通流理论的交通拥堵原因分析方法，从交通数据中提取车辆流，如GPS轨迹数据和车辆检测器数据，并利用信息论中的熵检测车流量变化。之后，作者建立了能够量化交通拥堵地区车辆流量的累积车辆计数曲线(N-curve)，并采用卷积神经网络将N-曲线划分为四种不同的交通拥堵模式。最后，作者提出了一个可视化分析系统，可以通过一系列的可视分析过程来研究交通拥堵的原因和影响。实例分析表明该系统能够对交通拥堵原因进行分类，并能有效地应用于道路规划中。
