2019年春季学期视觉计算实验室第5周论文研读预告

时间: 2019年3月28日 09:30
地点: 望江基础教学楼B座318实验室
研读成员: 闫建荣
研读内容:
[1] J. Wang. et al. (2018) Recurrent Neural Networks with Auxiliary Memory Unit. IEEE Transactions on Neural Networks and Learning Systems, 29, 1652 - 1661.
[2] Orenstein Y. et al. (2016) RCK: accurate and efficient inference of sequence-and structure-based protein-RNA binding models from RNAcompete data. Bioinformatics , 32, i351–i359.
在本次论文研读中,讲者分享两篇有关循环神经网络和生物信息学方向的文章。论文[1] 在LSTM基础上提出了一种辅助记忆单元(AMU),产生一种新的特殊RNN模型(AMU-RNN),明确地分离了记忆单元和输出单元,显著提高了算法效率;论文[2]提出一种基于k-mer的上下文算法RCK,能够有效地预测RNA与蛋白质的相互作用。
论文简介:
[1] 递归神经网络(RNN)存在三种类型的学习冲突,第一种是输入冲突,第二种是输出冲突,第三种是记忆冲突。目前长短期记忆网络(LSTM)是RNN的一种,最新变体加入了门控循环单元,引入了输入门和输出门来控制循环单元的“写入”和“读取”操作,开发出一种上下文敏感的机制,现在输入冲突和输出冲突已被广泛研究和消除。本文提出了一种新颖的循环单元,即辅助存储单元(AMU),与传统方法不同,AMU作为从循环单元分解出的单元,提供辅助记忆神经元以特别维持记忆,这种分解提供了克服记忆冲突的能力。此外,AMU单元采用线性更新机制,在长时间范围内保持稳定记忆的潜在能力。本文也开发了一种有效的基于梯度的学习算法,使用错误流截断技术,每个辅助记忆神经元确保在学习过程中恒定的错误流,这显著减少了梯度消失问题的负面影响。
1-2

图1 AMU的体系结构

[2]蛋白质-RNA相互作用通过RNA序列和结构介导,在许多过程中发挥重要作用。预测RNA结合偏好需要更复杂的模型,因此本文提出的RCK算法使用序列和结构特征,通过基于k-mer的上下文信息预测相互作用。
2-2

图2 系统总体架构图