时间： 2019年3月28日 09：30
地点： 望江基础教学楼B座318实验室
研读成员： 闫建荣
研读内容：
[1] J. Wang. et al. (2018) Recurrent Neural Networks with Auxiliary Memory Unit. IEEE Transactions on Neural Networks and Learning Systems, 29, 1652 - 1661.
[2] Orenstein Y. et al. (2016) RCK: accurate and efficient inference of sequence-and structure-based protein-RNA binding models from RNAcompete data. Bioinformatics , 32, i351–i359.
在本次论文研读中，讲者分享两篇有关循环神经网络和生物信息学方向的文章。论文[1] 在LSTM基础上提出了一种辅助记忆单元（AMU），产生一种新的特殊RNN模型（AMU-RNN），明确地分离了记忆单元和输出单元，显著提高了算法效率；论文[2]提出一种基于k-mer的上下文算法RCK，能够有效地预测RNA与蛋白质的相互作用。
论文简介：
[1] 递归神经网络（RNN）存在三种类型的学习冲突，第一种是输入冲突，第二种是输出冲突，第三种是记忆冲突。目前长短期记忆网络（LSTM）是RNN的一种，最新变体加入了门控循环单元，引入了输入门和输出门来控制循环单元的“写入”和“读取”操作，开发出一种上下文敏感的机制，现在输入冲突和输出冲突已被广泛研究和消除。本文提出了一种新颖的循环单元，即辅助存储单元（AMU），与传统方法不同，AMU作为从循环单元分解出的单元，提供辅助记忆神经元以特别维持记忆，这种分解提供了克服记忆冲突的能力。此外，AMU单元采用线性更新机制，在长时间范围内保持稳定记忆的潜在能力。本文也开发了一种有效的基于梯度的学习算法，使用错误流截断技术，每个辅助记忆神经元确保在学习过程中恒定的错误流，这显著减少了梯度消失问题的负面影响。
[2]蛋白质-RNA相互作用通过RNA序列和结构介导，在许多过程中发挥重要作用。预测RNA结合偏好需要更复杂的模型，因此本文提出的RCK算法使用序列和结构特征，通过基于k-mer的上下文信息预测相互作用。
