时间： 2018年05月10日 09：30
地点： 望江基础教学楼B座318实验室
研读成员： 田伟、李宗泽
研读内容：
[1] Shasta : Interactive Reporting At Scale
[2] He K, Zhang X, Ren S, et al. Deep Residual Learning for Image Recognition[J]. 2015:770-778.
论文简介：
论文[1]简介：
论文描述了一个用于支持大规模交互式报告的中间件系统Shasta，这个中间件被用在复杂的面向用户的应用程序中，如：谷歌的广告业务系统。文章以谷歌的广告运营数据为例，首先介绍了谷歌广告系统的业务流程，然后以生产环境中的具体需求为驱动，描述了所要解决的问题具有挑战的地方，最后，为解决所提出的问题，文章设计了一种集成语言RVL和一套系统实现方法。
谷歌广告系统的具体流程为：
在前端Web UI中，广告主配置他们将要投放的广告，这些投放出去的广告配置存储在F1数据库中，广告系统基于这些配置信息为广告提供服务，同时，在系统运行过程中，日志聚合系统将服务器的日志进行解析并存在Mesa数据仓库中，进而实时监控广告的性能指标。另外，前端Web UI还允许广告主查看交互式报告，并以此为依据改善所投放出去的广告的配置信息。
上图为Shasta的架构图，其中包括1）RVL编译器，2）为F1 Query Engine添加了缓存，3）扩展了UDF（User-defined functions） Server。
RVL编译器的内部具体流程如下图：
最后，文章对Shasta中间件进行了性能评估和可扩展性测试。
论文[2]简介：
此篇介绍了MSRA何凯明团队在2015年发表的Deep Residual Network的文章，利用残差网络方法何凯明团队把在ImageNet数据集上的分类任务错误率由6.6%降至3.57%。业界公认的跨层连接思想最早源于Highway Network(Jurgen Schmidhuber, 2012)，在Highway Network不奏效的情况下Residual Network继承其思路, 解决了训练极深网络时的degradation(网络退化)问题。
首先，作者阐明在网络层数堆叠(PlainNet)的过程中会产生训练与测试误差增大的情况，如图：
图 56层堆叠神经网络训练误差增大
这种现象称为网络退化(degradation)。
下面作者介绍了residual block的概念：假设我们要学习的目标映射为h(x)，若h(x)可以表示为f(x)与x之和，则f(x)应相比于h(x)更易学习。（作者在这里并没有明确说明为什么f(x)比h(x)更易学习，一种可能的情况是学习残差f(x)需要更少的网络层数，跨层连接的x做为网络的shortcut实际减少了网络的深度，在一定程度上避免了网络退化的问题），residual block的示意图如下：
图 residual block的示意图
残差网络的搭建采用PlainNet+shortCut连接而成，通过shortcut，整个ResNet就可以看成是许多个residual block堆叠而成，网络的部分示意图为：
图 网络部分示意图
在虚线部分卷积核数目倍增，这时进行F(x)+x会出现F(x)与x维度不匹配的情况，这时可以采用对恒等层x进行0填充的方式将维度补充完整或在恒等层采用1x1的卷积核来增加维度。