2021年春季学期视觉计算实验室第十四周论文研读预告

时间: 2021年06月02日(本周三) 09 : 30
地点: 望江校区基础教学楼B座318实验室
研读成员: 明章强 李希垚

Part1
分享者: 明章强
分享内容:
[1] Jin X, Lan C, Zeng W, et al. Style normalization and restitution for generalizable person re-identification[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 3143-3152.
[2] Liu C, Chang X, Shen Y D. Unity style transfer for person re-identification[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 6887-6896.

论文简介:
[1]通常不同数据集之间存在域差,即在不同数据集上分别训练和测试时会导致性能的严重下降, 使得现有的基于有监督的行人重识别(Re-ID)模型很难泛化到其他应用场景。解决此类问题的关键在于过滤掉与身份无关的干扰特征并学习跨域不变的与身份相关的特征。
本文提出了一个简单有效的样式归一化和恢复(Style Normalization and Restitution,SNR)模块,通过实例规范化(IN)过滤出样式变化(例如,照明,色彩对比等),但又不可避免地会删除一些判别性的特征,为此设计一种双重因果关系损失,可以从删除信息中恢复与身份相关的特征,从而约束模型分离与身份相关的关键特征和与身份无关的干扰特征。大量的实验表明,本文的SNR模块能够很大程度提高模型跨域的泛化能力,并且可以广泛应用于Re-ID的基准之上。
SNR

图1 SNR模块流程图

[2]行人重识别(Re-ID)旨在确定不同相机拍摄的行人或同一相机不同视频片段的行人图像是否为同一个行人,风格变化一直是Re-ID的主要挑战。一些方法利用CycleGAN以及标签平滑正则化(LSR)可以实现不同相机之间的学习和风格转换,但仍然存在一些问题:1)CycleGAN生成的转移样本中会有图像伪影,特别是成形部分,会产生大量的错误图像;2)生成的增强图像给系统带来了一些噪声,需要使用LSR来调整网络性能;3)生成的增强图像只能作为数据增强方法来扩展训练集,并且效果不佳;4)需要训练的模型数量为C2C(其中C为相机数量),随着相机数量的增加,需要训练更多的模型,不适用于计算资源不足的场景。
为了解决这些问题,本文提出了一种UnityStyle自适应的方法,它可以平滑同一相机内和不同相机之间的风格差异。具体来说,首先创建UnityGAN来学习相机之间的风格变化,为每个相机生成稳定的风格统一图像,称为UnityStyle图像。同时使用UnityStyle图片来消除不同图片之间的风格差异,从而使查询和图库的图像更好地匹配。大量的实验表明,UnityStyle能够应用于各种模型,并且可以显着提高实验性能。
UnityStyle

图2 UnityStyle统一摄像头风格工作流程图

Part2
分享者: 李希垚
分享内容:
[1]Ju Yuqi,Yuan Liangliang,Yang Yang,Zhao Hai. CircSLNN: Identifying RBP-Binding Sites on circRNAs via Sequence Labeling Neural Networks.[J]. Frontiers in genetics,2019,10.

论文简介:
[1] RNA和RNA结合蛋白(RBP)之间的相互作用对于理解转录后的调节机制至关重要。大多数方法只能预测序列片段结合位点的存在与否,而不能提供结合位点位置或长度的具体信息。在本文中,作者将对RNA结合位点的预测建立序列标记模型CircSLNN,以确定RBP结合位点在环状RNA上的具体位置。本文构建了BiLSTM-CNN-CRF三层的序列标记网络,预测RBP结合位点,针对每个碱基识别结合位点的位置;采用RNA词嵌入,证明采用大量语料库训练的特征向量的有效性,并可通过对环状RNA与RBP结合位点的训练,揭示RNA-RBPs的结合机理。

图3 CircSLNN模型图
123