课程： 感知与认知
讲师： 巫英才
讲师简介： 浙江大学计算机科学与技术学院CAD&CG国家重点实验室百人计划研究员、博士生导师，目前担任浙江大学计算机科学与技术学院院长助理和CAD&CG国家重点实验室主任助理，并担任中国图象图形学学会人机交互专委会副主任。主要研究方向是信息可视化、可视分析和人机交互，聚焦于城市大数据、体育大数据和社交媒体大数据的可视分析研究。
课程简介： 本次课程主要介绍可视化的基础理论——可视化视觉的感知与认知概念及二者的区别与联系，讲述如何通过可视化最大限度地提高人的感知和认知能力，课程采用大量举例论证的讲述方式，使得内容通俗有趣。
引入
可视化是关于外部认知的一门学科，研究如何利用人脑外部资源来极大限度提高人的认知能力
感知(perception)： 感知是为了表现和理解环境而对感觉信息进行的组织、识别和解释。它包括嗅觉听觉视觉触觉。
认知(cognition)： 在科学上，认知是一组心理过程，包括注意、记忆、产生和理解语言、解决问题和做决定。即对我们所感知到的信息进行加工，为了便于我们理解和认知这个世界。
- 例：fMRI 是一种新兴的神经影像学方式，其原理是利用磁振造影来测量神经元活动所引发之血液动力的改变。现有研究已经开始从事磁共振功能神经成像的研究，并将它应用于认知神经科学，比如利用fMRI数据去重构人们所看到的图像。说明人的感知是一个复杂的过程，涉及大脑的各个不同的区域。
课程设置：
1). Visual Perception
2). Cognition
3). Gestalt Theory
4). Color
5). Toolkits
1 视觉感知
1.1 任务一
- 例子1：“看不见的黑猩猩现象”，要求数出三名穿白衣者传球次数，而无需理会三名着黑衣者。那些人传球时，一个穿黑色毛茸茸外套、打扮成大猩猩模样的人走进他们中间，面对镜头捶打胸膛，在镜头前停留9秒后退出。当视频播完了以后，大部分人回答没看见“大猩猩”上场。
- 例子2：与上一个实验同理，要求数出穿绿衣服的人跳绳的次数，而大部分人没有发现视频中从后面走过的一只大白鸡。
结论：说明人的感知系统，往往会对一些重要的事务视而不见，只关注我们关注的事务，选择性忽视其他重要信息，由此我们可以引出工作内存的概念。
工作内存（working memory）：记忆在人的认知在起着至关重要的作用，但我们的记忆工作内存常常是非常有限的。工作内存，记忆有限，导致我们只能专注非常细节的事务。
可视化解决方法：可视化可以作为一种外部辅助，增强工作记忆内存，比如大猩猩加箭头；又比如在进行数据分析任务时，采用动效连接多种图表之间的变化，方便用户掌握变化的前因后果。
1.2 任务二
- 例子1：要求观看一段视频后回答问题，发现大部分人很难发现视频中演员及演员衣着的变化。
- 例子2：发现gif动图中两幅图的不同之处。
结论：说明当我们观察物体变化时，需要高度集中注意力，造成较高的认知负担。由此引出变化盲视(change blindness)的概念。
变化盲视(change blindness)： 又称无意视盲，变化盲视是人们对通常容易被注意到的大的变化反而无法观察到的现象。当我们能够对周围世界中出现的变化进行觉察、识别和定位时，这叫做变化探测（change detection）。然而有很多时候，我们觉察不到这种变化，这一现象称为变化盲视。简单来说变化盲视（change blindness）是指观察者不能探测物体或情景所发生变化的现象。
可视化解决方法： 使用可视化突出变化，减轻人的认知负担。
1.3 恒常性（Constancy）
知觉恒常性（Constancy）：当客观条件在一定范围内改变时，我们的知觉映象在相当程度上却保持着它的稳定性，即知觉恒常性。 它是人们知觉客观事物的一个重要特性。 对物体某种特性的知觉，在外界条件与感觉信号输入改变时仍保持常定的倾向。如一个成人从近处走向远处，我们视网膜上的像虽然相应缩小，但不会把他知觉为儿童。知觉恒常性可分为大小恒常性、形状恒常性、亮度恒常性等。
1.3.1 明亮度感知
引例：比较如图所圈两个区域的颜色深度，视觉上S区域颜色比O区域颜色深，而事实上S要比O浅一些。
结论：事实上我们的感知系统不能感知到亮度的绝对值，而是基于相对判断来感知亮度。同样的，讲者给出了如下所示的例子，来说明人的感知是相对的。
- 例子1：同时对比条形的颜色。在7(a)图中，所有灰条都是一样的，当灰度值与背景灰度值接近时，感知到的灰度值之间的差异会增强，这种效果成为crispening；7(c)中灰色格子的差异比白色背景7(b)或黑色背景7(d)更明显，这也是一个crispening的例子。
- 例子2：比较棋子的颜色。当我们将上下两张图的背景变为一样时，我们发现其实上下棋子的颜色是一样的，这说明背景色的确会影响人们对颜色的感知。
1.3.2 形状感知
- 例：比较两个中心圆的大小，视觉系统告诉我们好像左边的要小一点，其实她们一样大。
1.3.3 动作感知
- 例子1：频闪效应/翻书效应（Stroboscopic effect/ Flip book effect）。比如，转动的扇翼以不同的采用频率播放，视觉观察到的转动方式不同。
- 例子2：飞现象（Phi phenomenon）。一种知觉错觉现象，是似动（apparent motion）的最简单的形式，当视野不同位置的两个光点以大约大约每秒4到5次的频率交替出现是就会发生这种现象，这种现象还出现在室外的广告牌和迪斯科灯光照明中。当这种交替的频率相对较慢时，就好像是单个光点在两个位置之间移动。
- 例子3：游动效应（Autokinetic effect）。在完全黑暗的背景中观察一个固定的亮点时，由于眼睛自身的微弱的不随意颤动，一段时间后会感觉到这个定点在运动。比如当我们在一个黑色的屋子里盯着一个白灯看，视觉上白灯向在浮动。
结论：说明我们的的视觉系统感知基于相对判断而非绝对判断
可视化解决方法：使用相同的参照物或相互对齐，有助于我们作出更准确的相对判断
1.3.4 深度信息的感知
在现实生活中人们对深度的感知来源于利用双目，而在二维屏幕上我们感知到的是单目的线索
单目线索包括：
1). pictorial cues(e.g.,linear perspective)
2). aerial perspective(differing contrast)
3). texture gradients(decreased detial from front to back)
4). interposition
5). shading(production of shadows by 3-D objects)
6). familiar size as anchor
7). motion parallax
- 例子1：线性关系感知深度（linear perspective）
- 例子2：物体重叠感知深度（interposition）
- 例子3：纹理感知深度（texture gradients）
双目线索包括：
- 通过两只眼睛的视差传递深度信息
1.4 Seeing is Not Believing
此外，讲者还提供了许多关于“Seeing is Not Believing”的有趣的例子，如下图所示。
2 认知
我们所拥有的先验知识会影响我们感知和认知
“What you see when you see a thing depends on what the thing is. What you see the thing as depends on what you know about what you are seeing. (Polyshyn) ”
3 格式塔理论（gestalt theory）
基本原则：结构比元素更重要，视觉形象首先作为统一的整体被认知
3.1 五个性质
- 接近性：接近性原理说的是物体之间的相对距离会影响我们感知它是否以及如何组织在一起。互相靠近（相对于其它物体）的物体看起来属于一组，而那些距离较远的则自动划为组外。
- 相似性：根据物体的形状、颜色等，我们倾向于将相似的物体归类为一组。
- 连续性：视觉倾向于感知连续的形式而不是离散的碎片
- 闭合性：视觉系统自动尝试将敞开的图形关闭起来，从而将其感知为完整的物体而不是分散的碎片。
- 简单性：人们对一个复杂对象进行感知时，常常倾向于把对象看作是有组织的简单的规则图形。
3.2 四个原则
- 共势原则：如果一组物体沿着相似的光滑路径运动趋势或具有相似的排列模式，人眼会自动将其识别为同一类物体。
- 好图原则：人眼倾向于将一组物体按简单、规则、有序的元素排列方式识别。
- 对称原则：人的意识倾向于将物体识别为沿某点或某对称轴的形状。
- 经验原则：人的视觉感知与先验知识有关。
4 颜色
（1）光谱： 是复色光经过色散系统（如棱镜、光栅）分光后，被色散开的单色光按波长（或频率）大小而依次排列的图案，全称为光学频谱。光谱中最大的一部分可见光谱是电磁波谱中人眼可见的一部分，在这个波长范围内的电磁辐射被称作可见光。
（2）人感知颜色的原理： 大部分人眼中有三种视锥细胞。它们被称为S/M/L细胞，因为它们吸收不同种类的光波（或光线）。视锥细胞将每种类型的光波从每个颜料斑点中反射出来的程度信号传递给大脑，从而使人可以看到颜色。
（3）颜色空间： 通过颜色空间可以更好地表达外部世界的颜色，方便用屏幕记录和产生各种颜色。
- RGB：是依据人眼识别的颜色定义出的空间。RGB模型空间是一个正方体，缺点是两个颜色点在颜色空间的距离与我们感知相差较大，因此引出HSL颜色空间和LAB颜色空间。
- CMYK：工业印刷采用的颜色空间。
- RYB：（红色 – 黄色 – 蓝色的缩写）表示在艺术和应用设计中使用红色，黄色和蓝色颜料作为原色。
- HSL：一种将RGB色彩模型中的点在圆柱坐标系中的表示法，比基于笛卡尔坐标系的几何结构RGB更加直观。HSL即色相、饱和度、亮度。
- LAB：它是一种设备无关的颜色系统，也是一种基于生理特征的颜色系统。这也就意味着，它是用数字化的方法来描述人的视觉感应，最接近人类感知。
5 工具
最后，巫英才老师举例了一些颜色选取和配色工具，包括如下内容：
- ColorBrewer（https://colorbrewer2.org/）
- Color Farm（https://color.farm）
- Colorgorical（https://vrl.cs.brown.edu/color）
- I want hue（https://medialab.github.io/iwanthue/）
- Color Hunt（https://colorhunt.co/）
- Ambiance（https://Ambiance.somethingjustlikethis.com）
- Color Wheel （https://color.adobe.com/create/color-wheel/）
6 总结
综合整个认知过程如图22所示，人眼接受到外部信息经过工作记忆的处理在脑海中构建起丰富的概念结构。
总结起来，针对怎样通过可视化增强人的感知和认知能力，可以从以下几个方面入手：
- 将可视化作为一种外部辅助来增强工作记忆
- 使用可视化高亮变化，以减少认知负担
- 尽量使用使用可区分的高对比度的物体