Week 5的PPT总结，很多内容都是关于Assignment2

Week 5

• Planning usability tests; Running usability tests; Compile Issues; Table Review the design; Iterate the process

这周聚焦于 可用性评估（Usability Evaluation），解释 为什么测、什么时候测、测什么、怎么测，以及如何分析和报告结果。这周的slide已经完全讲完了UCD(user centred design) 下图中的红色的部分是这周的讲的内容

Why test 为什么要进行可用性测试

确保系统能被实际使用 Ensure application can be used
验证是否达到预期功能和标准 Ensure application works as expected
发现用户遇到的痛点，改进设计 Ensure application meets particular criteria
比较不同设计方案的优劣（A/B 测试） Competing designs
提高用户满意度和效率 Measure productivity gains between using this application and another

When to test 什么时候进行测试

• Prototyping phase 原型阶段：先低保真（Low-fidelity），再高保真（High-fidelity）
- • Low-Fidelity first
- • then high-Fidelity
• Development phase 开发阶段：功能实现后测试核心流程
• Deployment phase 部署阶段：上线前或后收集真实反馈

KeyPoints：不是等到产品完成才测，测试应贯穿整个设计周期

What to test 测什么

• All of an application 全部应用程序或特定模块
• Part of an application 主要功能 & 问题多发功能
• Design principles 视觉设计、布局、流程可理解性
• Visual design

Ethical issues when testing 道德方面

这面在澳洲学校都非常的重视，无论testing是什么，这都是属于另一方的隐私数据，类似像程序正义~

获取书面同意（consent) Signed consent must be obtained
让参与者知道测的是软件，而不是“测试他们自己”
可随时退出 may stop at any time
匿名 & 数据保密 kept anonymous (if desired)

Usability testing phases 可用性测试流程

Planning 测试准备

明确目标（可用性、易学性、满意度等） Set goals
制定任务场景（Task Scenarios）Define task scenarios
准备材料（原型、问卷、日志表、同意书） Create a Usability test plan and a checklist
招募并邀请用户 Invite users
设定环境并配置设置 Select an environment and set up equipment
进行预演（Dry run)

Running 执行测试

给参与者介绍背景，强调“测试系统，不是测试你”
让参与者签同意书，填写前测问卷
按脚本引导，完成任务，记录数据
测后问卷 & 访谈
表达感谢

After the test 分析总结

汇总录像/观察笔记/访谈结果
使用亲和图（Affinity diagram）提取模式
总结日志表，生成问题表（Issue Table）
优先级划分 & 改进方案

Task Scenarios 任务场景

Task scenarios – provide context for usability testing

场景应有完整的用户目标，避免直接告诉用户怎么做
User goal: Find movie and show times.Poor task: You want to see a movie Sunday afternoon. Go to www.events.com and tell me what you see.Better task: Use www.events.com to purchase a ticket for Spider-Man on Sunday afternoon.
示例（不好）：

“去 Moodle，登录，点击成绩按钮，然后查看结果。”

示例（好）：

“去 Moodle 查看你的期中考试成绩。”

Task Analysis 任务分析

通过分解任务（Hierarchical Task Analysis, HTA）分析用户执行步骤
从顶层目标逐步拆成子任务

示例：图书馆借书 HTA

Usability test plan

The purpose of the test
The execution of the test process
Who is responsible for different aspects of the evaluation
- Test coordinator – manages the session
- Test facilitator – shows different screens of the prototype and measure factors
- Observer
Attachments:
- The script for the task scenarios
- Questionnaires and interview questions
- Consent form
- Logging sheets

Consent form 书面同意书

Necessary for any data collection

• Purpose of the test

• What will be observed

• What will be recorded

• How the data will be used

Logging sheets 日志表

包含：问题ID、位置、描述、严重程度、对应设计原则
对于参与者，标注哪些人遇到了该问题
根据频率、影响、持久性给问题评级

示例严重度分级 severity：

4 = 致命问题，必须修复
3 = 主要问题，需修复
2 = 次要问题，可考虑修复
1 = 美观问题，如有时间再修
0 = 非可用性问题

Data collection techniques 数据收集

方法	内容
观察（Observation）	看用户如何自然完成任务；可结合 Think-aloud
积极干预（Active intervention）	适时提问，如“你现在在想什么？”、“你预期会发生什么？”
问卷（Questionnaire）	收集用户体验反馈；有前测 & 后测问卷
采访Interview	采访真实用户手机数据
吸引力工具包 Desirability toolkit	这是一个超级有用的工具，可以快速进行情感分析, 让用户选择描述产品的关键词
共同发现 Co-discovery	两个用户一起用，观察对话，评估原型早期设计

Selecting who to test

尽量多一些不同的的人群来测试 Wide range of usage and Users with different range of experience

覆盖每个 Persona

How many users 多少人呢合适呢？

Nielsen 建议：通常 5 位用户即可发现 85% 的主要问题。

数据测量指标

Quantitative（定量）	Qualitative（定性）
任务完成率	用户情绪和感受
平均任务用时	满意度评分
点击次数、错误数	最喜欢/最不喜欢的功能
请求帮助次数

Dry run test

Process of running the test

Provide an introduction
- • Application background
- • High-level overview of procedure
- • Importance of involvement
- • Results will remain anonymous
- • It’s a test of the interface, not the user
Participant signs consent form
Complete pre-test questionnaire
Facilitator instructs participant from a script (so each participant givensame information)
Participant completes tasks
Complete post-test questionnaire
Thank participant

After the test

Summarising results

Transcribing video or audio recordings
Summarizing observation, think aloud, interview notes
Affinity diagramming can be used for identifying patterns in the observations and trends in the analysis.
Summarizing questionnaire results
- May use stats for quantitative data
Summarizing task results
Preparing log sheets (Table of issues

Example of Summarising interview results

Example of Logging sheets (Issues table)

Example of Summarizing Issue Tables

P= Participants NOP=Number of participants who had the same issue

Summary

Why, when, what and how to test
Test preparation
Who and where to test, what to measure, task scenarios, usability test plan, etc
Running the test
Need a log of the data
Analysis of data
Summarise the findings

Performance measurement models

性能预测模型（performance measurement models） 来设计更高效的界面。重点是两个预测模型：

Keystroke Level Model (KLM) Fitts’ Law

Keystroke Level Model (KLM)

KLM is developed as a practical design tool to predict the time to accomplish a task using computer software.

KLM 是一种预测用户执行任务所需时间的模型，主要用来分析键盘、鼠标操作的效率。

符号	描述	平均时间（sec）
K	敲击一个按键Keying. The time to tap a key. Shift key is separate.	0.2
P	指向一个屏幕位置（鼠标移动） Pointing. Point to a position on screen. Moving the mouse	1.1
H	在键盘和鼠标之间切换 Homing the hand(s) between keyboard and pointing device	0.4
M	心理准备（思考下一步） Mentally preparing. Preparation time for the next step	1.35
B	按下或释放鼠标按钮 Mouse button press or release.	0.1
R	响应等待（系统响应时间）Responding (computer). Waiting for the computer to response	视情况定

🔎 示例：删除文件

方法 A: 拖到垃圾桶

3P + 2B + 2M 
= 3×1.1 + 2×0.1 + 2×1.35 
= 6.2 秒

方法 B: 选择文件后按 Delete 键

P + 2B + 2H + K + 2M 
= 1.1 + 2×0.1 + 2×0.4 + 0.2 + 2×1.35 
= 5 秒

💡 结论：方法 B 更快。

Fitts Law (predictive)

预测用户用鼠标移动到目标区域所需的时间。 predicts the time required to move to a target area.

有一个公式 formula

MT = A + B * log2(D/W + 1)

MT = 移动时间
D = 起点到目标的距离
W = 目标宽度
A, B = 常数（通过实验得到，例：A=50, B=150，单位：毫秒

如果按钮越大（W 大），或距离越短（D 小），则时间越少，操作越快。

界面设计提示

✅ 增加目标（按钮）大小 ✅ 缩短鼠标移动距离 ✅ 限制可点击区域避免误触 ✅ 使用右键菜单减少移动路径 ✅ Windows 11 把 Start 移到中间 —— 减少距离，优化可达性

模型	用途
KLM	预测执行任务所需总时间，评估不同方法效率
Fitts’ Law	预测移动到目标区域所需时间，优化界面布局

Ethics and Privacy

为什么需要讲伦理（Why ethics?）

在 HCI 中，我们会进行 用户研究（如访谈、问卷、焦点小组、可用性测试）所以很多关于Ethics 和 Privacyde的研究做的非常好
这些研究涉及与真实用户互动，观察他们如何使用你的系统，因此需要严格遵守伦理原则，保障参与者的权利、尊严和隐私。

HCI 研究中用户参与场景

招募：
- 工作人员、管理者、顾问
- 公众
- 学生、朋友、家人
研究方法：
- Interview
- Focus group
- Survey
- Usability test
- A/B test

什么是伦理？

伦理（Ethics） 是一套指导我们如何行为、如何对待他人的书面或非书面的规则。
研究伦理（Research ethics） 专门用于规范科学研究中的行为，确保参与者的尊严、权利和福祉受到保护。

Confidentiality	integrity
Consent	value
Fairness	Choice
Safety	Conscience
Agreement	Right
Legality	principles
Responsibility	honest
Ethicals	Moral
Honor	Benefit

研究伦理核心原则

Informed consent 知情同意

参与者要充分了解：
- 研究目的、内容
- 需要做什么
- 有什么风险
必须自愿签署同意书，不能被强迫或误导。

deception 欺骗

如果使用了欺骗（例如为了实验真实性暂时不告知全部信息），要在实验后解释。
说明研究真实目的，缓解任何可能的不适，让参与者可以选择是否撤回数据。

Debrief 事后说明

Informing participants as to why any deception occurredand what the true intentions of the study were,

Privacy & confidentiality 隐私与保密

保护参与者的身份信息
所有数据应匿名或去标识化（de-identification）
参与者的信息仅用于研究，不对外泄露

Harm and fairness 不伤害与公平

避免对参与者造成身体或心理伤害
公平对待所有参与者，确保研究安排不会让他们处于不利或不舒适的处境

Describing risk

Identify and disclose
potential risks

同意书（Consent Form）

必须有两份（自己一份，参与者一份）
包含：
- 研究目的
- 测试/观察内容
- 数据如何使用
- 退出权利
Assignment 2 要用到的模板可以在 Moodle 上下载

用户测试会话流程中的伦理

会话前

准备好脚本、同意书、问卷、原型等材料
让参与者知道这是测试产品而不是测试他们自己
给他们提问机会，澄清所有疑虑

会话中

确保参与者明白目的、流程、以及他们随时可以退出
不对参与者表现进行评价或批判
保持尊重、礼貌和耐心
注意时间控制，不让参与者疲惫

会话后

提供反馈时间，解答问题
给参与者保留一份同意书
表示感谢

数据处理和使用

数据仅用于：
- 分析交互
- 文档编写
- 内部改进
- 教学和培训（仅示例用）
不对外泄露，参与者身份保密

不道德实验示例

没有知情同意
对用户撒谎但不做事后解释
让用户暴露于高风险或不适情境
隐瞒数据如何使用

其他注意事项

Assignment 2 完全需要遵守 UNSW Human Research Ethics 规范
任何设计或实验都要提前计划、提前准备同意书和脚本

Internationalisation 国际化

Internationalisation？

国际化（Internationalisation, i18n）：设计和开发应用程序时，从一开始就考虑支持多语言、多文化环境，以便后续可以轻松本地化。

Localisation？

本地化（Localisation, l10n）：将国际化后的应用程序根据特定地区的语言、文化习俗、法律要求等进行适配和修改。

	内容
国际化	打基础，准备好技术和结构，方便后期做本地化
本地化	真正把内容、界面、图标等适配到具体地区

为什么要考虑国际用户界面设计？

每一个做大的企业也都不单单只看本地的市场，国际化是企业扩张市场必须的一步，而且作为个人尊重多元文化，学习新的技术，往往能够看到更多的机会~

可以进入全球市场，扩大利润
不同国家文化差异显著，如 EU 市场就包含多种语言和文化
例如 Apple 2017 财报显示，超过一半的销售来自美国以外地区

不同的国家有很多不同的地方我们需要考虑

• Alphabet and language
• Size of words
• Direction of text / alignment layout
• Cultural metaphors
• Images / icons
• Colours
• Calendars
• Date / time / currency
• Units of measurement

布局方向 Direction of text / alignment layout

LTR (Left to Right)：英文、德文、法文
RTL (Right to Left)：阿拉伯语、希伯来语
布局设计需考虑文本方向变化
考虑阅读顺序，文字的排版数据

看到这张图会有头晕~

词长度 Size of words

不同语言同一句话长度差别大（德语可能很长，中文很短）
界面空间和排版需要灵活调整

文化隐喻 & 图标 Cultural localization

不同文化对图形理解不同
- ✔️ 和 ❌ 在日本并不是通用，❌ 表示“不是学生”
- 猫头鹰在美国表示智慧，在中美洲象征黑魔法

邮箱图标：美国是邮箱，日文可能用其他形象

日历和日期 Calendars

格里历 vs 阴历（中国、犹太、伊斯兰）
年月日顺序：D/M/Y、D/M-Y、 M/D/Y、 Y.M.D、 Y-M-D
季节：南北半球相反

单位 Units

英制（美国）：英寸、英里、华氏度 inches, feet, miles, pound, Fahrenheit 美国的英制是真的搞人
公制（其他地区）：厘米、千米、摄氏度 Kilo, Kilometers, Celsius

翻译 ≠ 简单替换

需要对 文化上下文 有深刻理解
需要专业、熟悉当地文化的人来翻译界面、错误提示、帮助文档等
所有 UI 文本、按钮、消息提示、帮助文件都需翻译

技术实现思路

分离资源

以前做法：为每个地区独立构建一个可执行文件
现在做法：将多语言内容存储到资源文件中，应用逻辑与显示内容分离，只需一份主程序

Pseudo-localisation 伪本地化

把文本“伪翻译”为一种“看似”外语形式（如多加一些字符、扩展长度）
用来测试 UI 是否能适应未来的翻译，不是真正翻译

国际可用性工程（International Usability Engineering）

把本地化版本视为全新的界面进行测试和验证
早期就考虑国际用户需求
保存翻译术语表（Glossary），方便后续重复使用
解释为什么选择某些翻译，保留设计 rationale

Unicode（UTF-8）

解决不同语言字符显示问题
UTF-8 支持几乎所有语言字符、符号、表情符号（Emoji）
HTML 页面要声明 UTF-8 以支持多语言

COMP9511 Human Computer Interaction(HCI)–Week5