2018年春季学期视觉计算实验室第10周论文研读预告

时间: 2018年05月10日 09:30
地点: 望江基础教学楼B座318实验室
研读成员: 田伟、李宗泽
研读内容:
[1] Shasta : Interactive Reporting At Scale
[2] He K, Zhang X, Ren S, et al. Deep Residual Learning for Image Recognition[J]. 2015:770-778.
论文简介:

论文[1]简介:

论文描述了一个用于支持大规模交互式报告的中间件系统Shasta,这个中间件被用在复杂的面向用户的应用程序中,如:谷歌的广告业务系统。文章以谷歌的广告运营数据为例,首先介绍了谷歌广告系统的业务流程,然后以生产环境中的具体需求为驱动,描述了所要解决的问题具有挑战的地方,最后,为解决所提出的问题,文章设计了一种集成语言RVL和一套系统实现方法。
谷歌广告系统的具体流程为:
1
在前端Web UI中,广告主配置他们将要投放的广告,这些投放出去的广告配置存储在F1数据库中,广告系统基于这些配置信息为广告提供服务,同时,在系统运行过程中,日志聚合系统将服务器的日志进行解析并存在Mesa数据仓库中,进而实时监控广告的性能指标。另外,前端Web UI还允许广告主查看交互式报告,并以此为依据改善所投放出去的广告的配置信息。
2
上图为Shasta的架构图,其中包括1)RVL编译器,2)为F1 Query Engine添加了缓存,3)扩展了UDF(User-defined functions) Server。
RVL编译器的内部具体流程如下图:
3
最后,文章对Shasta中间件进行了性能评估和可扩展性测试。
4

论文[2]简介:

此篇介绍了MSRA何凯明团队在2015年发表的Deep Residual Network的文章,利用残差网络方法何凯明团队把在ImageNet数据集上的分类任务错误率由6.6%降至3.57%。业界公认的跨层连接思想最早源于Highway Network(Jurgen Schmidhuber, 2012),在Highway Network不奏效的情况下Residual Network继承其思路, 解决了训练极深网络时的degradation(网络退化)问题。

首先,作者阐明在网络层数堆叠(PlainNet)的过程中会产生训练与测试误差增大的情况,如图:
5
图 56层堆叠神经网络训练误差增大
这种现象称为网络退化(degradation)。
下面作者介绍了residual block的概念:假设我们要学习的目标映射为h(x),若h(x)可以表示为f(x)与x之和,则f(x)应相比于h(x)更易学习。(作者在这里并没有明确说明为什么f(x)比h(x)更易学习,一种可能的情况是学习残差f(x)需要更少的网络层数,跨层连接的x做为网络的shortcut实际减少了网络的深度,在一定程度上避免了网络退化的问题),residual block的示意图如下:
6
图 residual block的示意图

残差网络的搭建采用PlainNet+shortCut连接而成,通过shortcut,整个ResNet就可以看成是许多个residual block堆叠而成,网络的部分示意图为:
7
图 网络部分示意图
在虚线部分卷积核数目倍增,这时进行F(x)+x会出现F(x)与x维度不匹配的情况,这时可以采用对恒等层x进行0填充的方式将维度补充完整或在恒等层采用1x1的卷积核来增加维度。

123