2021年春季学期视觉计算实验室第十一周论文研读预告

时间: 2021年05月12日(本周三) 09: 30
地点: 望江校区基础教学楼B座318实验室
研读成员: 龙春林 梁朝晖
Part 1
分享者 : 龙春林
[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin. Attention Is All You Need[J]. arXiv1706.03762, 2017.
[2] Zhou H, Zhang S, Peng J, et al. Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting[J]. AAAI2021.

论文简介
  [1]注意力机制(Attention)模仿生物观察行为的内部过程,将内部经验和外部感觉对齐从而增加部分区域的观察精细度的机制。Google提出的解决Seq2Seq问题的Transformer模型,用全Attention的结构代替了LSTM,在翻译任务上较之前的RNN+Attention模型取得了更好的成绩。Transformer模型结构如图1所示,抛弃了之前传统的Encoder-Decoder模型必须结合CNN或者RNN的固有模式,创新性的提出了两个新的Attention机制Scaled Dot-Product Attention 和 Multi-Head Attention,在减少计算量和提高并行效率的同时不损害最终的实验结果。

图1 Transformer模型示意图

  [2]传统Transformer模型在长序列预测(Long Sequence Time-Series Forecasting, LSTF)问题中存在的三种问题:

  1)自注意力机制的平方级计算时间复杂度;

  2)Transformer堆叠的多层Attention网络,导致内存占用瓶颈;

  3)Decoder为Step-by-step预测,推理速度慢。

  本文针对Transformer以上三种问题,提出Informer模型(如图2所示),分别使用了:

  1)ProbSparse self-attention,概率稀疏自注意力,通过筛选重要的Query减少相似度计算复杂度;

  2)Self-attention distilling,自主力蒸馏,通过卷积和最大池化减少维度和网络参数,降低内存占用;

  3)Generative style decoder,生成式解码器,一次性前计算输出所有预测结果,提高推理速度。

图2 Informer模型示意图

Part 2
分享者 : 梁朝晖
[1] Pi M, Yeon H, Son H, et al. Visual cause analytics for traffic congestion[J]. IEEE transactions on visualization and computer graphics, 2019.

论文简介
  [1] 城市交通拥堵已成为影响居民日常生活、制约经济发展的重要问题,造成城市交通拥堵的主要原因是车辆数量的增加。以往的研究集中在检测城市交通拥堵区域和预测拥堵情况变化趋势,很难找到分析交通拥堵原因的研究。在这篇文章中,作者提出了一种基于交通流理论的交通拥堵原因分析方法,从交通数据中提取车辆流,如GPS轨迹数据和车辆检测器数据,并利用信息论中的熵检测车流量变化。之后,作者建立了能够量化交通拥堵地区车辆流量的累积车辆计数曲线(N-curve),并采用卷积神经网络将N-曲线划分为四种不同的交通拥堵模式。最后,作者提出了一个可视化分析系统,可以通过一系列的可视分析过程来研究交通拥堵的原因和影响。实例分析表明该系统能够对交通拥堵原因进行分类,并能有效地应用于道路规划中。

图3 交通堵塞原因可视分析系统整体视图

123