Слайд 2
Планирование научных исследований
Определение целей
Определение задач
Определение переменных и методов
их измерения
Выбор дизайна исследования
Выбор метода статистической обработки
Определение размера выборки
Написание
протокола исследования и создание ИРК участника
Слайд 3
Напомним
Контроль систематической ошибки
Дизайн
Контроль случайной ошибки
Размер выборки
Слайд 4
Задача науки – предсказывать будущее
Основные конкуренты – маги
и чародеи
Слайд 5
Предсказывать легко
Ручка всегда падает на пол
Тело впернутое в
воду, выпирает на свободу с силой выпертой воды, телом
впернутом туды
Но это не всегда так легко…
Слайд 6
Индивидуум и группа, проблема предсказаний
Для каждого конкретного человека
есть только одно значение
Однако у разных людей значения немного
различаются и мы не можем объяснить, почему
Или они отличаются у одного человека и мы не можем объяснить почему
Или можем, но использовать данную информацию для предсказаний будет очень накладно
Слайд 7
Проблема предсказаний
Детерминизм – маги и чародеи
Стохастический подход –
наука
Слайд 8
Случайные колебания - вариабельность
Есть истинный параметр
μ
И есть множество
небольших факторов, которые на него влияют
Соответственно, наблюдаемое значение
Yi=μ+εi
Если записать
все возможные для данной популяции значения Y и частоту их встречаемости, то получим распределение
Слайд 9
Случайная вариабельность - распределение
Слайд 10
Случайные колебания
Неприятный факт: измеренный показатель отличается от истинного,
причем будет отличаться всегда
Однако, колебания случайные, т.е. с одинаковой
вероятностью вверх и вниз
Тогда Σεi=0
Слайд 11
Соответственно
Если сложить все значения в популяции
ΣYi=Σ(μ+εi)=N*μ+Σ(εi)=N*μ
Соответственно,
μ=ΣYi/N
Иными словами, в
случае случайной вариабельности популяционное среднее равно истинному значению в
популяции
Слайд 12
На самом деле…
Мы в реальность предположили, что у
нас есть два фактора
Истинное значение (которое нас интересует) –
μ
Случайная ошибка, варьирующая от наблюдения к наблюдению – ε
Для оценки случайной ошибки надо знать ее распределение.
Слайд 13
Распределение фактора случайной ошибки
По определению, среднее значение равно
0
Соответственно, остается описать форму распределения (симетричное, несимметричное, колоколообразное, прямоугольное)
и ширину разброса
Слайд 14
Распределение фактора случайной ошибки
Форма распределения определяет тип
Нормальное
Экспоненциальное
Вейбулла
Пуассона и
т.д.
Ширина разброса определяется стандартным отклонением σ.
Слайд 15
Обратите внимание
Истинные параметры (популяционные) обозначаются греческими буквами
Выборочные (позднее)
- латинскими
Слайд 16
Стандартное отклонение
σ=SQRT(Σ(Yi-μ)/(n-1))
Надо помнить, что иногда s определяется другими
формулами, например в случае распределения Пуассона σ=μ, в случае
большого числа испытаний биномиального распределения σ=π*(1−π)
Слайд 17
Соответственно, описание данных
Истинный параметр
μ
Стандартное отклонение
σ
Тип распределения
Например, N(120,20). Распределение
ошибки - N(0,σ)
Слайд 18
Что нам это дает?
Распределения и теория диагностики
Слайд 19
Конкурирующие гипотезы
Есть заболевание (1) или нет (2)
Предположим, известно
глазное давление. У пациента может быть глаукома (справедлива гипотеза
2). А может быть и нет (справедлива гипотеза 1).
Слайд 20
Конкурирующие гипотезы
Известно распределение
Значение у пациента
Слайд 21
Конкурирующие гипотезы
Известно распределение
Значение у пациента
Слайд 22
2. Подсчитываем вероятности справедливости каждой гипотезы
Слайд 23
Далее
Два варианта
Принимаем решение по каждому случаю индивидуально, на
основании рассмотрения другой информации
Байсовский подход
Заранее устанавливаем границы нормы
Фреквентистский подход
(стандарт в обычной статистике и планировании эксперимента)
Слайд 24
Установление границ нормы
На самом деле устанавливаем произвольную точку
разделения, которая может быть охарактеризована с точки зрения
Количества ложноположительных
результатов
Количества истинно положительных результатов (чувствительность)
Количества ложноотрицательных результатов
Количества истинно отрицательных результатов (специфичность)
Слайд 25
2. Подсчитываем вероятности справедливости каждой гипотезы
чувствительность
специфичность
Слайд 26
Se и Sp
Чувствительность
Специфичность
Слайд 27
3. Создать характеристическую кривую нанеся на график для
каждой диагностической границы точку, соответствующую соотношеню истинно положительных против
ложно-положительных результатов. Прямая линия - тест аналогичен подбрасыванию монеты. Точность теста определяется как площдь под кривой AOC
Слайд 28
4. Если точность достаточно высока, необходимо выбрать
точку разделения таким образом, чтобы было достаточное количество истинно
положительных результатов без чрезвычайно большого количества ложно-положительных.
Слайд 29
Соответственно, выбираем точку разделения, чтобы
Минимизировать количество ложноположительных
Минимизировать количество
ложноотрицательных
Оптимизировать соотношение ложноположительных и ложноотрицательных значений
Слайд 30
Выбор точки разделения
1.
2.
3.
Min FP
Min FN
Opt FP|FN
Слайд 31
Выбранная точка разделения
Используется для диагностики.
Обратите внимание, что тут,
несмотря на вероятности не было статистики. Мы предполагали, что
нам известны популяционные значения
Слайд 32
Однако
Мы редко работаем с популяцией (генеральной совокупностью) в
целом
Это экономически невыгодно
Выводы нельзя будет распространять на другие популяции
Для
работы из популяции берется выборка (выборочная совокупность)
Слайд 36
Популяция
5 выборок
Выборка 4
Выборка 3
Выборка 2
Выборка 1
Слайд 37
Соответственно
Для каждой выборки тоже можно рассчитать среднее (выборочное)
и дисперсию (выборочную)
Однако в разных выборках они уже совпадать
не будут!
Слайд 40
Соответственно,
Средние и дисперсии превращаются в случайные величины
Для того,
чтобы их отличать популяционные показатели обозначают греческими буквами
μ, σ
А
выборочные – латинскими
M, s
Слайд 41
Выборочные показатели меняются от исследования к исследованию
Однако они
уже результат усреднения
m=Σ(μ+εi)/N
Это не равно μ, поскольку Σ(εi) не
равно нулю, но чем больше N тем оно будет ближе
Поэтому суммарные выборочные показатели варьируют меньше, чем исходные данные
Слайд 42
Центральная предельная теорема
Вне зависимости от формы исходного распределения,
если размер выборки достаточно велик, распределение выборочных средних подчиняется
нормальному закону и дисперсия выборочных средних в n раз меньше, чем дисперсия индивидуальных значений в популяции
Слайд 43
Центральная предельная теорема
В случае большого количества наблюдений распределение
выборочных средних становится нормальным
Слайд 45
Поскольку распределение нормальное
Можно сделать ряд выводов о возможном
распределении выборочных средних.
Если будет проведено много испытаний, то
68% выборочных
средних будут находиться в пределах 1 σ от популяционного среднего
95% выборочных средних будут находиться в пределах 2 σ от популяционного среднего
Слайд 46
Напомним, для того, чтобы описать распределение необходимо
Истинный параметр
Стандартное
отклонение
Распределение
При достаточном количестве наблюдений распределение известно (по ЦПТ –
нормальное).
Слайд 47
Еще раз вернемся к результатам исследования
Есть выборочное среднее.
Есть
конкурирующие гипотезы
Препарат не работает, отклонения связаны только со случайными
факторами (нулевая гипотеза)
Препарат работает (альтернативная гипотеза)
Надо выбрать одну (как в случае с диагностикой)
Слайд 48
Для описания обеих гипотез надо
Знать истинный параметр
Для нулевой
гипотезы он прост:
μ=0
Для альтернативной его надо определить
Стандартное отклонение
Надо определить,
стандартное отклонение для выборочного среднего (m) по ЦПТ в корень квадратный из размера выборки меньше, чем популяционное
Слайд 49
Приемлемое количество FP|FN
Т.е. допустимую ошибку
Ошибка I типа
Вероятность признать
справедливость альтернативной гипотезы, когда это не так (обозначается α),
AKA уровень достоверности
Ошибка II типа
Вероятность признать справедливость нулевой гипотезы, когда это не так (обозначается β)
Чаще используют 1-β, называемую мощностью – вероятность найти различия, если они действительно существуют
Слайд 50
Откуда это все брать?
Дисперсия
Пилотное исследование
Литературные данные
Ориентировочные методы (диапазон/4)
Предполагаемый
эффект
Литературные данные
Минимальные клинически значимые различия
Слайд 51
Ошибки
Обычно уровень ошибки I типа фиксируется в данной
отрасли
5%, 1%, 0,1%
Мощность исследования редко допускается ниже 80%
Слайд 52
Итак
Зная
Истинные параметры
Стандартное отклонение (в популяции)
Форму распределения
Приемлемые значения ошибок
Мы
можем оценить принадлежность результата к тому или иному классу…
Но у нас ведь нет варьирующего параметра?
Слайд 53
Нет, есть
Поскольку стандартное отклонение выборочного показателя зависит от
размера выборки, это единственный показатель, который может варьировать при
планировании исследования
Слайд 55
Квантили распределения
Значения распределения, для которых известны вероятности наличия
значений больших данного называются квантилями
Для нормального распределения N(0,1) обозначаются
буквой z
Соответственно z0.975=1.96
Очевидно, что любое нормальное распределение можно привести к виду N(0,1) если рассчитать z=(Yi-μ)/σ
Слайд 56
Соответственно
Ho: N(0,σ/√(n))
zα=(μ0+ граница)/σ/√(n)
Ha: N(X,σ/√(n))
zβ=(ma-граница)/ граница
Отсюда, поскольку граница-то одна
++++0++||+++Х+++++
граница
Слайд 57
Наиболее общая формула
N=(zα+zβ)2*σ2/(μ0-μa)2
Слайд 58
Общая формула, количественный результат
Если σ неизвестна
Если σ известна
Слайд 59
Размер выборки на группу для α = 0.05
(двухсторонний тест)
Как видно из данных этой таблицы, различия в
размере выборки, полученные с использованием
Таблица, количественный результат
Слайд 60
Общая формула, качественный результат
Если наблюдений мало:
Слайд 61
Таблица, качественный результат
Слайд 62
Общая формула, время до наступления события
N=D/P
Во многих случаях
функция выживаемости аппроксимируется экспоненциальным распределением (иными словами S0(t) =
exp (-λ0t) и S1(t) = exp (-λ1t). Параметры λ0 и λ1 - это риски, которые могут быть получены путем указания средней медианной выживаемости.
Медианное время выживаемости для контрольной и тестовой групп составляет два и три года, соответственно. Тогда λ0 = 0,347 λ1 = 0,231 и логарифм отношения риска θ1= log (0,347 / 0,231) = 0,407.
Для исследования с равным разделением на группы требуемое количество событий для того, чтобы достигнуть 90% мощности составляет D= 256.
Если исследование будет рекрутировать пациента в первый год и будет иметь трехлетний период наблюдения после того, как последний человек был введен в исследование, тогда P= 0,628 и требуемый размер выборки может быть оценен как N=256/ 0,628 = 408.
t - это время, которое требуется для рекрутирования пациента и f - это время наблюдения для последнего, введенного в исследование пациента.
– логарифм ОР
π – пропорция в группе лечения
Слайд 63
Упрощенные формулы
Только t-тест (для качественных и количественных) –
достаточно большой размер выборки (более 30 объектов)
Уровень ошибки I
типа фиксирован на 5%
Размер эффекта d
d2=(M1-M2)2/σ2 – количественный показатель
d2=(p1-p2)2/σ2 – качественный показатель,
σ2=р*(1-р)
Слайд 64
Желаемая оценка d
Согласно Cohen (1988) если размер эффекта
не превышает 0,2, говорят о слабом эффекте терапии, если
он оказывается равным 0,5 - говорят об эффекте средней силы и если он превышает 0,8 - то говорят о большом эффекте действия препарата.
Слайд 65
Дизайн до-и-после (одна группа)
Слайд 69
SAS
PROC POWER;
TWOSAMPLEMEANS
ALPHA=0.02
STDDEV=20
GROUPMEANS=(120 130)
POWER=0.8
NPERGROUP=.
;
RUN;
Слайд 72
R
R использует размер эффекта d = (M1-M2)/σ
Слайд 74
Другой тип задач
Точность выводов (оценка распространенности)
Слайд 75
Оценка параметров
Средние (количественные переменные)
Доли (качественные переменные)
Слайд 76
Оценка параметров
Определяем возможные пределы колебаний интересующего нас параметра
Оценить
распространенность с точностью +/- 5%
Оценить уровень АД с точностью
+/- 5 мм рт. ст.
Слайд 77
Эти колебания
Определяют ширину доверительного интервала.
Соответственно, задача определить нужную
ширину доверительного интервала (точнее, полуширину)
Известно, что полуширина интервала равна
Слайд 79
Пример
Надо определить средний уровень артериального давления в группе
детей в возрасте 5 лет с точностью +/-5 мм
рт. ст.
Известно, что популяционное стандартное отклонение 20 мм рт. ст.
Необходимо обследовать
3,84*202/52=62
ребенка
Слайд 80
Распространенность
Известно, что в этом случае
σ2=p*(1-p)
Поэтому
Учитывая, что дисперсия максимальна
при р=0,5, можно оценить максимальное количество обследованных
Слайд 81
Пример
Оценить распространенность с точностью +/-2%
Необходимо обследовать
n=1/(0,02)2=2500
пациентов
Слайд 82
Пример
Необходимо оценить распространенность хронического гастрита с точностью +/-3%.
Ожидаемая распространенность 12%.
n=3.84*0.12*(1-0.12)/(0,03)2=451
Необходимо обследовать 451 человека
Слайд 84
Таким образом
Для описательных исследований размер выборки определяется исходя
из желаемой точности оценки популяционного параметра и вариабельности данных.
Слайд 85
Итак
Для каждой задачи
Указать зависимые переменные, их тип
Оценить разброс
данных
Выбрать метод статистического анализа
Установить вероятность ошибки I типа
Определить желаемый
результат
Установить вероятность ошибки II типа
Рассчитать размер выборки
Слайд 86
Переменные
Соответственно, изучаемые переменные
Переменные исхода – отклика, результата, зависимые
Переменные
воздействия – вмешивающиеся, влияющие, независимые
Слайд 87
Показатели исхода
Те показатели, которые являются индикаторами наступления исхода
(смерть, развитие ИМ) или интересующими нас показателями, влияние на
которые мы изучаем (зависимые переменные)
Обычно для каждой задачи имеется только один основной показатель исхода (зависимая переменная) и может быть несколько вторичных (дополнительных) показателей.
Слайд 88
Показатели исхода
Показатели исхода (зависимые переменные) всегда измеряемые показатели
и исследователь должен понимать, каким образом он/она будут измерять
эти показатели
Переменные исхода
Первичные
Вторичные
Слайд 89
Переменные исхода
Первичные
Первичная переменная – предоставляет наиболее клинически значимые
и прямые доказательства для цели исследования.
В исследовании может
быть только одна первичная переменная
Обычно это переменная эффективности
Другие потенциальные первичные переменные
Безопасность/переносимость
Качество жизни
Экономические показатели
Отбор переменной производится на основании принятых норм и стандартов в данной области.
Необходимо использовать надежные и достоверные переменные, которые использовались в ранних исследованиях или опубликованной литературе
Размер выборки оценивается по первичной переменной
Слайд 90
Переменные исхода
В протоколе должно быть дано точное определение
первичной переменной, которое будет использоваться в статистическом анализе
Смертность –
не первичная переменная
Сравнение
Доли умерших?
Распределения времен дожития?
Эффект терапии тоже не первичная переменная
Сравнение
Возник исход/нет
Время по первого возникновения
Скорость возникновения события (количество на длительность)
Слайд 91
Переменные исхода
Вторичные переменные
Поддерживающие показатели в дополнение к первичной
переменной или
Показатели эффекта для вторичных задач исследования
Количество
вторичных переменных должно быть ограничено и они должны быть четко описаны в протоколе
Слайд 92
Композитные переменные
Объединение нескольких переменных в одну, с использованием
четко прописанного алгоритма
Позволяет избавиться от проблемы множественного сравнения не
раздувая ошибку I типа
Метод должен быть описан в протоколе
Надо оценить валидность и надежность переменной
Слайд 93
Переменные глобальной оценки
Переменные для оценки «общей» эффективности или
«общей» безопасности
Обычно имеют субъективный компонент. Надо представить следующую информацию
Соответствие
основной цели исследования
Основания для оценки надежности и валидности
Как собранные данные используются для оценки по глобальной шкале
Как оцениваются пациенты с пропущенными данными
Если исследователь опирается на объективные показатели, они также должны быть включены в анализ как дополнительные первичные или важные вторичные переменные
Переменные глобальной полезности включают оценку врачом пользы и риска назначения терапии.
Смешивают два разных показателя
Не рекомендуются как первичные переменные
Слайд 94
Множественные первичные переменные
В некоторых случаях необходимо иметь несколько
первичных переменных (диапазон эффектов)
Необходимо спланировать сравнения
Указать, какой минимум или
все должны давать доказательства успеха исследования
Необходимо объяснить эффект на ошибку I типа и описать методы контроля ошибки I типа
Слайд 95
Суррогатные переменные
Непрямые показатели, которые коррелируют с интересующим клиническим
исходом
По возможности не должны использоваться
Нет уверенности в том, что
они являются предиктором клинического исхода
Могут не давать адекватной оценки клинического эффекта, которая может быть сравнена с нежелательными явлениями
Слайд 96
Категоризированные переменные
Дихотомизация интервальных или ординальных переменных, а также
иное снижение размерности шкалы
Иногда полезно, если есть клиническое обоснование
Должно
быть четкое предварительное описание в протоколе
Надо учитывать потерю мощности
Слайд 97
Переменные
Показатели, которые измеряются в исследовании
Исходя из характеристик измерительного
прибора выделяют переменные, измеряющиеся
Номинальной шкалой
Ординальной шкалой
Интервальной шкалой
Шкалой отношений
Слайд 98
Переменные
Количество информации, которая содержится в переменных зависит от
типа шкалы, при помощи которой происходит измерение
Соответственно, надо использовать
наиболее точный, т.е. информативный, из доступных методов
Кроме того, следует помнить, что измеренную с большей точностью переменную можно огрубить, а вот наоборот сделать не получится
Разные методы статобработки предназначены для переменых, измеренных разными шкалами:
Точный тест Фишера: номинальные
Тест Викоксона: ординальные
Т-тест: интервальные
Рост мощности
Слайд 99
Переменные
Поскольку шкала напрямую определяет мощность статистического теста, то
чем более точный измерительный метод используется, тем меньше надо
единиц наблюдения
Чем более надежен измерительный инструмент, тем выше его точность и тем меньше надо единиц наблюдения
Поэтому с теоретической точки зрения количественные (интервальные) переменные предпочтительнее все других
Слайд 100
Однако…
Целый ряд исходов, интересующих пациента бинарен
Это номинальная переменная
Поскольку
ДМ считает только важные для пациента исходы, то заменять
их на количественные показатели только с целью повышения эффективности исследования нельзя
Но можно адекватно операционализировать исследовательский вопрос
«Доктор, умру ли я?»
«Да, абсолютно точно»
«Вопрос только в том, когда»
Замена бинарного показателя (жизнь/смерть) на интервальный (времена дожития)
Слайд 101
Для удобства
Переменные, измеренные при помощи разных шкал, имеют
дополнительные названия
Качественные (номинальные)
Полуколичественные (ординальные)
Количественные (интервальные)
Кроме того, для компьютерного ввода
необходимо учесть, как будем кодировать переменные
Число (любые)
Количество разрядов числа, наличие десятичной запятой и число знаков после запятой (для ИРК)
Текст (всегда номинальные)
Лучше всего все кодировать числами
Слайд 102
Показатели исхода
Показатели исхода (зависимые переменные) всегда измеряемые показатели
и исследователь должен понимать, каким образом он/она будут измерять
эти показатели
На что следует обратить внимание
Тип переменной (качественная/количественная)
Пределы колебаний
Точность измерения
Ошибка измерения должна быть значительно меньше диапазона изменений переменной