Слайд 2
Содержание:
Что такое юзабилити-тестирование?
Почему именно оно?
Что именно измерять?
Насколько глубоко
удовлетворение?
Что нужно для тестирования?
Проведение тестирования
Анализ результатов
Подготовка отчета
Слайд 3
Что такое юзабилити-тестирование?
Эксперимент, направленный на измерение качества интерфейса
или же поиск конкретных проблем в нем.
Тестирование позволяет:
Понять,
насколько плохо или хорошо работает интерфейс, что может либо побудить улучшить его, либо, если он уже достаточно хорош, успокоиться
Сравнить качество старого и нового интерфейсов, как следствие – обоснование изменения или внедрения чего-л.
Найти и опознать проблематичные фрагменты интерфейса
Слайд 4
Почему именно оно?
Относительно низкая трудоемкость и стоимость (есть
пути понижения стоимости):
Упрощение понятия юзабилити
Отказ от сбора количественных данных
Снижение
стоимости оборудования и уменьшение оплаты респондентов (использование только мобильных лабораторий)
Слайд 5
Effectiveness и efficiency
Usability - the extent to which
a product can be used by specified users to
achieve specified goals with effectiveness, efficiency and satisfaction in a specified context of use.
Слайд 6
Эффективность
Скорость работы пользователя
Скорость обучения
Количество человеческих ошибок
Слайд 7
Трудоемкость
Успешность – соотношение выполненных тестовых заданий к невыполненным
или выполненным полностью неправильно
Мощность – соотношение задач из деятельности
пользователя к задачам, для решения которых данный продукт предназначен
Нагрузка на пользователя – количество затраченного «мозгового усилия» + количество действий пользователя на задание
Слайд 8
Трудоемкость
Успешность – соотношение выполненных тестовых заданий к невыполненным
или выполненным полностью неправильно
Мощность – неизмеряемый показатель
Нагрузка на пользователя
– практически полностью проявляется в эффективности
Слайд 9
Отказ от количественных данных
Составляем тест на измерение качественных
данных
Сложность интерпретации обработанных количественных данных
«There are three kinds of
lies: lies, damned lies, and statistics» (с)
Benjamin Disraeli
Слайд 10
Ненадежные цифры
Реальные пользователи могут отличаться от выбранных респондентов
→ недостоверные результаты
Тестовые задания могут неадекватно отражать реальную деятельность
пользователя
Сложность анализа
Слайд 11
Парадокс
9 групп юзабилити-специалистов тестировали HotMail
Было выявлено 310 проблем
≈
230 проблем выявила одна группа – остальные группы этих
проблем не заметили
http://www.dialogdesign.dk/cue.html
Rolf Molich
Слайд 12
Что измерять?
Скорость работы пользователя
Метрики:
длительность выполнения операции
время,
затраченное на обнаружение ошибок
время, затраченное на исправление ошибок количество
команда, исполняемых при выполнении операции
длительность поиска информации в документации
количество команд, более эффективных, чем использованные пользователем
снижение производительности при длительной работе
Слайд 13
Ошибки
Метрики:
процент операций, вызвавших ошибку
среднее число ошибок
на операцию у опытных пользователей
количество ошибок, не обнаруженных
и не исправленных пользователями
Что измерять?
Слайд 14
Обучаемость навыкам работы с системой
Метрики:
количество и частота
обращений к справочной системе
длительность периода между началом использования системы
и точкой, в которой скорость работы и/или количество ошибок перестает расти/падать
разница в количестве ошибок/скорости работы у пользователей с опытом пользования системой из без опыта
Что измерять?
Слайд 15
Сохранение навыков работы с системой
Метрики:
разница в
скорости работы/количестве ошибок у пользователя после часа работы с
системой и у того же пользователя в начале использования системы после долгого перерыва
Что измерять?
Слайд 16
Удовлетворенность
Опрос: насколько интерфейс кажется Вам удовлетворительным?
Наблюдение в контрольные
моменты времени – относительная оценка, используется в качестве сравнения
Слайд 17
Анкетирование
Создание формальных анкет – попытка объективизации процесса получения
информации (одинаковые вопросы → «одинаковые ответы»)
Надежных анкет не бывает
(см. литературу)
Слайд 18
Анкета по словам
Устаревший – Эффективный – Нечеткий – Неудобный – Замусоренный –
… – Медленный – Круглый – Печальный – Недружественный – Предсказуемый – Непонятный – Быстрый –
Головоломный – Грустный – Приятный
Не требуется адаптация
Ненадежно
Слайд 19
Формальная анкета
В любой момент времени я понимал, что
должен сделать дальше
Никогда
Редко
Регулярно
Часто
Всегда
Формальная процедура оценки
Требует адаптации
Слайд 20
Что нужно для тестирования:
Респонденты
Метод тестирования
Тестовые сценарии
Рабочее место для
теста и отлаженный метод фиксации материала
Протестированный тест
Слайд 21
Общие требования к респондентам
Опыт работы с системой
Уровень компьютерной
грамотности
Возраст
Уровень эмоциональной открытости
Слайд 22
Организационные вопросы
Возложить поиск респондентов на заказчика
Фокус группы, предоставленные
агентствами по подбору персонала
«Свои люди»
Выбирать то время/место, которое удобно
респонденту. Тестирование – это одолжение
Вознаграждение
Слайд 23
Методы тестирования
Пассивное наблюдение за выполнением задания
Поток сознания («думать
вслух»)
Активное вмешательство
Слайд 24
Тестовые сценарии
Тестовая задача
Значимые метрики
Задания
Признаки успешности
выполнения задачи
Слайд 25
Тестовая задача –
задача, которую ставит перед пользователями
их деятельность, и которая имеет самостоятельную ценность для пользователей.
Пользовательская задача выполняется как одна или несколько операций (пользовательская операция не имеет самостоятельной ценности).
Слайд 26
Метрики задачи:
Успешность – выполнение респондентами более 90% заданий
верно
Эффективность – скорость: регистрация на сайте выполняется меньше N
минут
Эффективность – ошибки: при вводе 10 форм, количество ошибок не превышает 2
Эффективность – обучаемость навыкам работы с системой: при выполнении задания 9, отличающегося от задания 2 только вводимыми данными, респонденты не совершают ошибок
Удовлетворенность – по результатам анкетирования число баллов выросло на 20% по сравнению с предыдущими результатами
Слайд 27
Метрики тестовых задач:
Однозначность
Полнота
Краткость
Отсутствие подсказок
Точка начала выполнения задания
«Двойное задание»
Способы
решения
Слайд 28
Рабочее место и способы фиксации данных
Стационарные рабочие места
Мобильные
рабочие места
Ноутбук
Веб-камера
Микрофон
Необходимое ПО
Средства фиксации времени
Тестовые задания (+ вводная форма,
анкеты при необходимости)
Слайд 29
Проведение тестирования
Ввод респондента в задачу
Выяснение его ожиданий от
системы
Тестирование интерфейса
Опрос
Завершение тестирования
Слайд 30
Анализ действий респондентов: ошибки
Критические ошибки – респондент не
разобрался в структуре интерфейса
Некритические ошибка – оценка частотности, анализ
происхождения
Ошибка задания – переформулировка/исправление задания. Можно попросить респондента
Слайд 31
Анализ действий респондентов: замедление работы
Сложность наблюдения
Фиксация положения курсора
Мимика