2019南京大学人机交互暑期学校-第二天

part 1
课程: 用户界面开发与可用性
讲师: 华庆一
讲师简介: 华庆一,西北大学学术委员会科研分会委员、《计算机学报》编委会委员、CCF人机交互分会委员、CCF系统软件分会委员。主要研究方向为人机交互理论、用户为中心的界面建模方法与过程、用户界面软件工具环境。多年来,主持多项国家级项目和一批省部级项目,在国内外发表论文百余篇。
课程简介:
1.基于模型的用户界面开发
(1)社会计算导致使用上下文的多样性:个人计算转变为社会计算,用户以不同的方式交流和协作。
(2)使用上下文的多样性带来新的挑战。
(3)应用界面的开发并非简单从单一平台到其他平台的平移。
(4)需要提供支持工具自动化多目标界面的开发过程。
(5)用户界面的抽象表示:提供了有关界面需要提供的所有服务(功能)相关的信息,应当与特殊的使用上下文无关。
1

图1 基于模型的用户界面开发

2.交互式系统的功能性和可用性
(1)定义:为了支持人类用户的任务执行,而从他们那里接收输入、并将输出表示给他们的软件和硬件构件集合。
(2)功能性(functionality): 系统必须完成的功能或任务。
(3)可用性(usability):如何将服务提供给用户,使其易于使用。换言之,系统对用户来说应像纸笔一样易于使用,成为环境的一个组成部分。
(4)交互计算技术的引入使得系统的功能变得更为强大,直接导致了HCI领域的出现。
--------

图2 可用性的促成因素

3.基于模式(模式语言)的用户界面开发
(1)模式和模式语言:模式概括了可用性设计方面最佳实践的只是和经验;模式语言是按设计模式(一种正文和图形描述)范围排序的一个结构化层次。
(2)模式描述主要包括三要素:上下文、问题、解决方案。
(3)为了提高模式的机器可读性,引入了模式语言标记语言——PLML,方便对模式的查找、选择和推荐。
3

图3 一些研究工作

part 2
课程: 创造力2.0:人工智能时代的设计变革及创新
讲师: 高歌
讲师简介: 高歌,联想公司高级工程师。主要研究人工智能与设计行业的融合和创新。
课程简介:
1.创造力的本源:规则vs智能
(1)相比于人工智能,人类智能有常识,具有物理世界建模能力,具有强大的预设神经链接。
(2)从计算器到深蓝、AlphaGo到海平面理论,创造力的标准在哪里?
(3)人类的创造力由记忆(偏差、迁移、组合)加推理组成。
(4)没有规则与智能的绝对区别,只有更多规则与有限智能的无限近似。
4

图4 创造力的标准?

2.创造力AI的可行性:感性vs理性
从设计中提取出的非理性的设计理论存在反例,因为布局、形状和颜色之外的其他层次没有符合设计理论,因此需要通过技术手段分别提取深层次的隐形规则。神经网络有着数学意义上的绝对理性,而海量或加权的复杂性造就了它的相对感性。
5

图5 非理性的设计

3.创造力AI的技术实践:可能vs不可能
(1)优秀的设计少,其他设计多。将其分开可以用概率统计(如分类算法)和随机计算(如强化学习)的方法。
(2)工具:TensorFlow+Python(WGAN-GP)+Design。
(3)画鬼容易画人难:背后蕴涵了设计的统计学意义和方法。
6

图6 实例:海报、动漫头像、doodle

4.创造力AI落地的复杂性:理想vs现实
(1)真实设计过程是商业逻辑和设计逻辑的映射,与人工智能发展路径一致。
(2)创造力AI的特点:重复性强、图形抽象、需求较多,例如“独一无二”参观证件生成。
(3)创造力AI的优点:优秀设计的拓展和优秀设计的连续态。
(4)人工智能达成近人能力情况下,人与机器关系的变化:AI非替代而是人类能力增强;对于创作,AI本质是决策辅助工具;相比于设计师,可实时给出反馈,可实现更艰难的任务,如插画朋克风。
(5)创造力不存在人工智能发展的“奇点”,渐进的殊途同归是AI创造力的主旋律。
7

图7 当前提供的AI设计能力

part 3
课程: 多模态自然输入技术
讲师: 喻纯
讲师简介: 喻纯,清华大学副教授,获得CCF-Intel青年学院研究员计划和CCF青年人才计划 。其研究围绕人机交互自然性的计算原理和优化方法开展,具有重要的理论和实际应用价值,在人机交互领域高水平期刊和会议上发表论文30余篇,包括12篇CCFA类论文。
课程简介:
1. 运动控制建模
Eyes-free Interaction是一种摆脱视觉感官,依托其他感官进行的交互方式。它提升了交互的效率,使得用户把注意力放在任务上,而不是交互本身。
基于Eyes-free,团队进行了三个实验:主观上对于目标距离和所属密度的接收程度;衡量用户点击目标的偏差程度;比较视觉使用与否、视角大小、第二任务的影响程度。
8

图8 实验前的三个假设

2. 多模态感知
(1)为盲人开发的ear-touch
(2)Lip-interact
(3)基于45度手机镜面反射的手指模态识别
9

图9 基于手机镜面反射的手指模态识别

3. 意图理解
对用户的模糊输入进行意图理解:Max P(word|input)。经过贝叶斯推理,上式可转换成Max P(input|word)* P(word),乘号左边为输入模型,右边为语言模型。
基于上述意图理解模型,可进行手表打字、隔空打字、VR情境下打字等。此外,还可以实现基于一维手写的边缘输入,该方法将字母的书写过程降成一维,可以在线性边缘上进行模糊输入。
10

图10 基于一维的边缘输入

part 4
课程: 智能人机交互新进展
讲师: 范向民
讲师简介: 范向民,中科院软件所人机交互实验室副研究员、中科院“百人计划”入选者,中国计算机学会人机交互专委会委员。主要研究方向是人机交互,研究兴趣包括智能交互(前沿AI技术在人机交互领域的应用)、移动界面、情境感知计算以及它们在教育、医疗等关键领域的应用。
课程简介:
1. 用户活动
对于物体活动的识别,存在周围环境多样、目标物多样、人类活动模糊性几个挑战,老师提出了下述几个方法来解决:
--为不同事物贴标签
--感知物体的属性(如电气仪器的电磁噪声)
--肌肉电的设备
2. 用户偏好
以拍照为例,结合用户偏好辅助照片构图,由Smart ViewFinder、Smart Zoom、Smart Score三个部分组成。所涉及的数据特征包含34个维度。
11

图11 SmartEye的三个部分

3. 用户身体机能
不同身体状态、年龄状态应当存在不同的交互操作特征。系统中日常交互的操作为隐式输入,医学诊断的敏感性(Sensitivity)和特异性(Specificity)作为输出,其效果已经超过传统的医学测试水平。
4. 用户情绪、情感
情绪书写是一种心理学上的纸笔实验,出于分析目的,往往需要倾诉者给出更多细节、更多正向情感词、更多深层次词。MirrorU将书写的情绪可视化,以促进对书写表达程度的理解,从而引导倾诉者给出更多的文本供分析。
12

图12 mirrorU

5. 用户的能力
ToneWars是一款使用手势、语音控制输入,判断汉语音调的游戏APP。通过对母语者的操作进行建模,该系统能够呈现外国使用者与母语者的水平差距,评估的力度可以精确到单个汉字级别。
6. 用户意图
通过点击运动红球的实验,研究距离、目标大小、目标速度对用户落点分布的因素影响。从而:(1)实现对界面元件的点击错误率预测;(2)基于BayesPointer推测用户意图,纠正用户落点。
13

图13 红球实验