Презентация на тему Оценка достоверности результатов исследования

точки зрения их методологического качества
Рассмотрение классификации различных

источников медицинской информации по типам доказательности и степени достоверности
Знакомство с основными критериями для определения степени достоверности найденной клинической информации
Освоение терминологии, применяемой при описании результатов клинических исследований

научной информации
Технологии ДМ позволяют не только быстро

найти нужные знания, но и оценить, насколько они заслуживают доверия, насколько они доказательны. Технологии ДМ обеспечивают реализацию следующих основных положений ДМ:
Медицинская практика может быть существенно улучшена, если станет основываться на результатах высококачественных исследований, соответствующих сформулированной проблеме
Врачу необходимо научиться выбирать немногие высококачественные исследования для того, чтобы принимать научно - обоснованные решения

первую очередь постарайтесь ответить себе на три важных вопроса:

Для чего было проведено это исследование (на какой клинический вопрос оно отвечает)?
Каков тип исследования?
Первичное исследование (эксперимент, рандомизированное контролируемое испытание, другое контролируемое клиническое испытание, когортное исследование, исследование «случай— контроль», поперечное исследование, продольное исследование, сообщение о случае или серии случаев)
Вторичное исследование (обычный обзор, систематический обзор, мета-анализ, анализ принятия решений, клинические рекомендации, экономический анализ)
Соответствует ли дизайн исследования области клинических исследований (лечение, диагноз, скрининг, прогноз, причинность)

изучением статьи убедитесь, что тема исследования Вас вообще интересует

с точки зрения применения в клинической практике. Во введении статьи должны быть коротко объяснены предпосылки проведения данного исследования,
В статье должна быть заявлена гипотеза, которую авторы хотят доказать или опровергнуть. Хотя, гораздо важнее, чтобы из статьи было понятно о силе доказательств, касающихся конкретного вопроса, а не просто о подтверждении или опровержении гипотезы.

в статье — первичное или вторичное.
Первичные исследования

приводят данные «из первых рук», от самих исследователей.
Во вторичных исследованиях пытаются обобщить сведения и вывести заключения на основе первичных.
Для того, чтобы оценить достоверность результатов тех или иных исследований, необходимо владеть определенной терминологией, используемой при описании дизайна исследований, а так же при описании доказательности результатов. Убедиться, что Вы правильно понимаете эти термины Вам поможет глоссарий, расположенный на сайте http://wiki.openhealth.ru/xwiki/bin/view/EBM/Glossary

дизайну т.е. по организации исследования.
Сам по себе

ни один дизайн исследования не имеет преимуществ перед другим, т.к. он зависит от поставленных перед исследователями задач.
Степень же научной доказательности во многом определяется соответствием дизайна и структуры исследования (особенностей его планирования и проведения). Правильный выбор дизайна определяет успех испытания

область затронута в данном клиническом исследовании
Затем спросите,

использовался ли правильный дизайн исследования для ответа на поставленный клинический вопрос.

проверка эффективности лекарственных препаратов, хирургических вмешательств, альтернативных методов лечения

и других вмешательств. Предпочтительный дизайн исследования — рандомизированное контролируемое испытание
Диагностика — выяснение таких параметров нового диагностического теста, как достоверность (можно ли ему доверять) и надежность (получили бы мы такие же результаты при повторных исследованиях). Предпочтительный дизайн исследования — поперечное исследование, при котором проводят как новый тест, так и тест, служащий «золотым стандартом».
Скрининг — выяснение ценности тестов, применяемых к большим группам людей, позволяющих выявить заболевание на ранней (бессимптомной) стадии. Предпочтительный дизайн исследования — поперечное исследование

— определение того, что может вероятно произойти с пациентом,

у которого болезнь диагностировали на ранних стадиях. Предпочтительный дизайн исследования — продольное (лонгитудинальное) когортное исследование.
Этиология — определение зависимости между гипотетическим вредоносным фактором и развитием заболевания. Предпочтительный дизайн исследования — когортное исследование или исследование случай— контроль в зависимости от распространенности заболевания ; описания отдельных случаев также могут дать важную информацию

мнению Шведского совета по методологии оценки в здравоохранении, достоверность

доказательств из разных источников не одинакова и убывает в следующем порядке :

Рандомизированное контролируемое испытание;
Нерандомизированное КИ с одновременным контролем; Нерандомизированное КИ с историческим контролем;
Когортное исследование;
Исследование типа «случай—контроль»; Перекрестное КИ, поперечное исследование;
Результаты наблюдений;
Описание отдельных случаев

СТЕПЕНЬ ДОСТОВЕРНОСТИ ИССЛЕДОВАНИЯ

ВЫСОКАЯ

НИЗКАЯ

обобщающие результаты первичных исследований;
систематические, также обобщающие результаты первичных

исследований, но на основе жесткой и заранее определенной методологии;
мета-анализы, обобщающие количественные данные нескольких исследований (как минимум двух).
Клинические рекомендации. В них сформулированы выводы из первичных исследований, касающиеся требований к действиям врачей.
Анализ принятия решений. На основе результатов первичных исследований он позволяет создавать вероятностные подходы к управлению здравоохранением или распределению ресурсов (как для работников здравоохранения, так и для пациентов); строить «дерево» решений, которые принимают врачи, пациенты или администраторы при выборе способов лечения или при распределении ресурсов.
Экономический анализ. Используя результаты первичных исследований, он позволяет делать выводы о целесообразности финансирования определенных вмешательств.

научного исследования, выполненный по специально разработанной методике, объектом которого

являются результаты других, оригинальных научных исследований.
В результате взвешенного и беспристрастного анализа и обобщения ранее проведенных исследований в систематическом обзоре делаются выводы об имеющемся или отсутствующем эффекте врачебного вмешательства применительно к четко описанной выборке пациентов, для которой эти данные являются достоверными.
Рассмотренные нами ранее источники, такие как Библиотека Кокрановских обзоров (The Cochrane Database of Systematic Reviews) являются источниками получения достоверных высокодоказательных данных

оцениваются и обобщаются результаты первичных исследований по определенной теме

или проблеме
При подготовке систематических обзоров используются подходы, уменьшающие возможность систематических и случайных ошибок.
Систематические обзоры – это аналитико-синтетические статьи; к ним относятся также экономические анализы, клинические рекомендации, анализы алгоритмов принятия клинических решений.
Систематические обзоры помогают врачам быть в курсе современной информации, несмотря на огромное количество медицинских публикаций.
В систематических обзорах представляется суммарно достоверный результат.

нескольких рандомизированных контролируемых испытаний, посвященных одному и тому же

вопросу, в результате которого выводится один средневзвешенный показатель.
Качественный мета-анализ предполагает изучение всех исследований, посвященных соответствующей проблеме, оценку неоднородности и определение информативности основных результатов путем анализа чувствительности.
Основные этапы мета-анализа :
Определение основной цели обзора.
2. Определение способов оценки результатов.
3. Систематический информационный поиск.
4. Суммирование количественной информации.
5. Суммирование доказательств с использованием подходящих статистических методов
6. Интерпретация результатов.

отдельным исследованиям присваивают определенный вес (более крупные исследования характеризуются

при этом большим весом).
Таким образом, обобщенный результат отражает средневзвешенное значение результатов индивидуальных исследований.
Иногда больший или меньший вес исследования определяется его качеством, тогда исследования самого низкого методологического качества могут иметь нулевой вес и исключаться либо на этапе первичного анализа данных, либо при проведении вторичного анализа, в ходе которого оценивается степень зависимости между разными исходными допущениями и соответствующими результатами (анализ чувствительности)

кумулятивную кривую накопления оценок при каждом появлении новых доказательств

Проспективный мета-анализ - это попытка разработки мета- анализа для планируемых исследований. Проспективно-ретроспективный мета-анализ - гибридный вид мета-анализа, который объединяет получаемые результаты с ранее опубликованными
Мета-анализ индивидуальных данных - основанный на внимательном изучении результатов лечения отдельных больных

утверждения, помогающие врачу принимать правильные решения в определенных клинических

обстоятельствах
Клинические рекомендации или клинические (практические) руководства разрабатываются научными медицинскими сообществами с учетом высокой степени достоверности результатов клинических испытаний. Таким образом, эти источники информации должны быть высокодоказательными уже по своему определению.

следует убедиться, что рекомендации действительно основаны на доказательной медицине)

Упростить и сделать более объективными процессы принятия клинических решений в клинике и у постели больного
Служить критерием для оценки профессиональной деятельности
Обеспечить разделение обязанностей
Обучить пациентов и врачей лучшим на данный момент способам медицинской помощи
Повысить экономическую эффективность медицинских услуг
Служить инструментом внешнего контроля
Следуя принципам ДМ, и при использовании клинических рекомендаций следует критически оценивать их методологическое качество.

клинических рекомендациях все категории больных с определенным заболеванием, вмешательства

и клинические исходы?
Существует ли систематический обзор, в котором по каждому рассматриваемому клиническому вопросу обобщается информация о причинно-следственной связи между вмешательствами и клиническими исходами?
Был ли определен перечень предпочтений и жизненных ценностей, учитываемых при рассмотрении возможных клинических исходов?
Сообщается ли о степени достоверности клинических рекомендаций?

медицины
Важным аспектом доказательной медицины является определение степени достоверности информации

о результатах исследований, независимо от того, являются ли эти отдельные оригинальное исследование темой отдельных публикаций или они берутся за основу при составлении систематических обзоров и клинических рекомендаций.

исследования используется рейтинговая система, в которой основное понятие -

«уровень доказательности».
Обычно выделяют от 3 до 7 уровней доказательности, при этом с возрастанием порядкового номера уровня (обозначаемого римскими цифрами: I, II, и т.д.) качество клинического исследования снижается, а результаты представляются менее достоверными

большого числа хорошо спланированных рандомизированных исследований. Рандомизированные исследования с

низким уровнем ложнопозитивных и ложнонегативных ошибок.
II Доказательства основаны на результатах не менее одного хорошо спланированного рандомизированного исследования. Рандомизированные исследования с высоким уровнем ложнопозитивных и ложнонегативных ошибок.
III Доказательства основаны на результатах хорошо спланированных нерандомизированных исследований. Контролируемые исследования с одной группой больных, исследования с группой исторического контроля и т.д.
IV Доказательства получены в результате нерандомизированных исследований. Непрямые сравнительные, описательно корелляционные исследования и исследования клинических случаев.
V Доказательства основаны на клинических случаях и примерах.

практические рекомендации по диагностике и лечению различных заболеваний также

имеют свой рейтинг – степень убедительности рекомендаций (обозначаются латинскими буквами: A, B, C и т.д.). В англоязычной литературе эта система рейтинга рекомендаций определяется как сила рекомендаций (Strength of recommendation).
Степень обоснованности понижается от уровня A к каждому следующему уровню.

удалось найти ответ на интересующий вопрос в клинических рекомендациях,

а также не нашлось систематических обзоров или мета-анализов по необходимой теме, то воспользоваться материалами самостоятельно найденных статей можно только при условии критического отношения к их качеству.

Критическое отношение к клинической информации - важнейший принцип доказательной медицины

ошибки (дефекты) могут возникать на любой стадии исследований: планирования,

организации и проведения. Наличие любого фактора, который влияет на выводы и искажает сравнительную оценку, определяется как систематическая ошибка или смещение.
Искажение может быть обусловлено и случайностью.
Может присутствовать одновременно и случайность и смещение.
Снизить погрешность смещения можно правильной организацией исследования, а минимизировать наличие случайных ошибок - корректным статистическим анализом данных

необходимо наиболее критично проанализировать раздел "Методы исследования", чтобы убедиться

в отсутствии смещений (систематических ошибок), т.е. что структура исследования адекватна методологическим стандартам качества
При анализе раздела «методы» надо попытаться ответить на ряд следующих вопросов

ли описан способ формирования групп (включения и исключения) пациентов?
Насколько

сходны были группы сравнения (легкие и тяжелые случаи, прогноз, лечившиеся и не лечившиеся, с поражениями разной формы, с сопутствующими заболеваниями)?
Задавались ли при планировании исследования статистические вопросы?
Есть ли сопоставление с "золотым стандартом" для данного заболевания, с самым надежным на сегодняшний день методом диагностики или вмешательства?
Проведено ли это сопоставление слепым методом?
Оценена ли надежность интерпретации результатов слепым методом?
Правильно ли выбраны статистические методы для обработки результатов, в том числе для оценки достоверности различий между группами сравнения? Правильно ли интерпретировались результаты статистической обработки данных? Далее подробнее рассмотрим каждый из этих вопросов

принцип отбора пациентов в исследуемую группу и в группу

контроля, какова была исходная совокупность, описаны критерии включения и исключения пациентов
Должны быть указаны причины, по которым больные выбывали в процессе проведения испытаний и четко описаны достоверные отличия по какому – либо признаку выбывающих пациентов от оставшихся до конца испытания, т.к. искажение результата может быть тем сильнее, чем больше этих отличий и чем больше выбывших из испытания пациентов

нерандомизированное сравнительное испытание, когортное исследование или исследование «случай—контроль»), группы

сравнения должны быть идентичны по составу пациентов (по степени тяжести, по прогнозу, по тому, получал или не получал пациент лечение до начала исследования, по наличию сопутствующих патологий)
Участники исследования должны получать одни и те же инструкции, иметь сходные контакты с медицинским персоналом и проходить обследование одинаковое количество раз с использованием одних и тех же показателей исходов.
Различаться должны только исследуемые факторы (методы диагностики, вмешательства, профилактические мероприятия и т.д.

области статистики необходимо при рассмотрении исследования задаться самыми основными

вопросами:
Достаточен ли размер выборки
Достаточна ли продолжительность наблюдения
Насколько полно велось наблюдение
Другими словами - является ли исследование достаточно крупным и продолжительным и тщательным для того, чтобы результаты вызывали доверие?

испытании сначала производится подсчет достаточного размера выборки, который потребуется,

чтобы с умеренной, высокой или очень высокой вероятностью определить истинное различие между группами.
Правдоподобие определения истинной разницы известно как «мощность» исследования.
В ряде статей приведен подсчет величины выборки или указывается . «мощность» исследования. Желательно, чтобы она составляла от 80 до 90%.
Если такие данные в статье не приведены, то следует руководствоваться правилом: чем больше размер выборки, тем более вероятно, что после рандомизации прогноз в сравниваемых группах будет одинаковым, следовательно, тем более достоверным описываемый эффект или его отсутствие от вмешательства в основной и контрольной группах.

сообщено о длительности наблюдения и желательно, чтобы длительность проведения

была обоснована для данного испытания.
Исследование должно быть достаточно продолжительным для того, чтобы эффект вмешательства отразился на показателе исхода.
Результат будет недостоверным, если продолжительность наблюдения недостаточна (тогда клинический исход не успевает развиться) или, напротив, чрезмерна (так, при использовании в качестве критерия оценки смертности нужно помнить, что через 100 лет все участники исследования уже умрут).

должно быть известно о наличии или отсутствии изучаемого клинического

исхода у каждого участника.
Однако иногда больные выбывают из исследования до его завершения. Чем больше доля таких больных, тем менее достоверными будут результаты, поскольку прогноз у больных, выбывших из исследования, часто отличается от прогноза у тех, кто наблюдался до его завершения.
Больные могут выбывать из исследования по разным причинам: изначально не правильное включение в группы при неправильно установленном диагнозе или по другим критериям, в связи со смертью или развитием побочных эффектов (и в экспериментальной, и в контрольной группе), либо, напротив, в связи с существенным улучшением состояния (после чего испытуемые просто не приходят на повторное обследование), в связи с исключением по клиническим показаниям: беременность, сопутствующее заболевание, а так же в связи с отказом или невозможностью дальнейшего участия пациента

пациентов, чтобы не отнести их неправильно к группе выбывших

из исследования.
Необходимо оценить вероятность наличия выраженных различий в частоте возникновения изучаемого клинического исхода у тех больных в основной и контрольной группах, которые не наблюдались до конца исследования. Вероятность таких различий уменьшается, но не становится равной нулю, если в статье представлена информация, подтверждающая одинаковое исходное распределение важных прогностических факторов (таких как возраст и тяжесть состояния) у больных, выбывших из обеих групп.

всеми участниками исследования может снизить достоверность полученных результатов.

Если наихудшее предположение о клинических исходах у выбывших больных не влияет на окончательные результаты, доля таких больных не имеет решающего значения; в противном случае достоверность результатов снижается.
Степень снижения достоверности зависит от вероятности развития неблагоприятного клинического исхода у больных, выбывших из основной группы, и от вероятности развития благоприятного клинического исхода у больных, выбывших из контрольной группы
Если данные о выбывших пациентах не опубликованы в контексте их прогноза, и не учтены в результатах клинического исхода, то исследования с низкой полнотой наблюдения (скажем, менее 70% участников) обычно считаются недостоверными.

методов вмешательства или диагностики:
Действительно ли выбранный для

сравнения метод вмешательства или диагностики является самым надежным на сегодняшний день и может ли он рассматриваться как стандартный?
Насколько точно был использован «золотой стандарт» в ходе исследования?
Если для лечения или диагностики данного состояния не существует метода, принятого в качестве «золотого стандарта», то должны быть четко описаны комбинации оценочных критериев

оценка результатов как изучаемого вмешательства так и оценка результатов

в группе сравнения или результатов референтного теста должна быть выполнена «вслепую» - так, чтобы специалист, интерпретирующий результаты обследования не имел даже намека на ожидаемый результат. В противном случае происходят непреднамеренные ошибки типа «смещение к предполагаемому результату»
Особенно важно проводить слепое клиническое испытание в случаях, когда велика роль сопутствующего лечения. Необходимо, чтобы оно проводилось абсолютно одинаково всем больным в обеих группах. Таким образом возникает двойное «ослепление».

правильном проведении исследования его результаты оцениваются повторно теми же

или другими специалистами при условии, что оценивающие не имеют никаких данных о пациентах, а имеют только объективные результаты обследований и методы их обработки

теста зависит от возможности получения аналогичного результата в случае

применения этого теста у больных со сходными характеристиками.
Низкая воспроизводимость результатов теста может быть обусловлена особенностями его выполнения или различием в интерпретации полученных данных
В идеале в любой статье, посвященной характеристикам диагностического теста, должна оцениваться воспроизводимость его результатов (с внесением поправок на влияние фактора случайности).
Это особенно важно в тех случаях, когда при проведении теста или интерпретации его результатов требуется высокая квалификация специалистов

больных
Если исследуемый диагностический тест дает количественные значения, а

не результат да/нет, то должен быть указан и диапазон значений, которые считаются нормальными или аномальными.
Точкой разделения называют величину показателя, который служит границей, разделяющей здоровых и больных.
Выбор точки разделения нормы и болезни дает возможность оценить чувствительность, специфичность и прогностическую ценность положительных и отрицательных результатов теста

подробно описана тактика применения теста, для того, чтобы его

можно было правильно использовать. Например, условия подготовки пациента, хранения и транспортировки проб и т.п. Неясность в подобных «простых» мелочах может сделать выполнение теста невозможным. А значит, и изучение данного исследования - бесполезным с практической точки зрения.
Следует определить какова полезность теста, т.е. каковы преимущества пациентов, которым установлен диагноз?
Каковы последствия для пациентов с ложноположительным или ложноотрицательным диагнозом?

оценить соотношение риска и пользы
О пригодности того или

иного вмешательства можно говорить, когда польза от его применения превышает риск развития осложнений
В идеале для подтверждения причинной зависимости вмешательства и возникновения нежелательного эффекта необходимо провести индивидуальное хорошо спланированное исследование с большой статистической мощностью.

направлены на изучение механизма действия препарата и выявление ранних

тяжелых побочных эффектов; обычно проводятся на здоровых добровольцах. Исследования II фазы: направлены на получение предварительных данных об эффективности препарата; включают больных с соответствующими заболеваниями. Исследования III фазы: рандомизированные контролируемые испытания, проводимые для точного определения размера эффекта препарата.
Исследования IV фазы (постмаркетинговые обсервационные исследования): проводятся после доказательства эффективности препарата и поступления его на фармацевтический рынок; обычно целью таких исследований служит изучение частоты развития редких побочных эффектов больных с соответствующими заболеваниями

(т.е. назначаете лекарственные средства), в вас заинтересована фармацевтическая промышленность.

Часть своего многомиллионного ежегодного рекламного бюджета она тратит, пытаясь повлиять на вас и на пациентов, которые узнав о новых методах лечения требуют именно их назначения.
При изучении материалов фармацевтической компании о новом лекарственном средстве, вспомните основы методологии научного исследования (следует обратить особое внимание на информацию о методах и статистическом анализе, использованных в испытаниях данного средства).
Представители фармацевтических компаний сообщают не так уж много неправды, как могли бы (маркетинг лекарственных препаратов превратился в очень изощренную науку). Тем не менее известна их потрясающая способность культивировать незнание основ эпидемиологии и дизайна клинических испытаний, когда их это устраивает .

эти материалы в независимых рецензируемых журналах?
Включают ли эти

материалы высококачественные исследования (систематические обзоры, мета-анализы или двойные слепые рандомизированные контролируемые клинические испытания) по сравнению данного препарата с его конкурентом, назначенным в оптимальной дозе?
Отвечают ли испытания или обзоры на четко поставленный, важный клинический вопрос, отражающий значимую для пациента проблему? Предоставляют ли они сведения по безопасности, переносимости, эффективности и цене?

ли в каждом испытании или мета-анализе состояние, которое нужно

лечить, описание выборки, вмешательства, которые нужно сравнивать, исходы, которые нужно оценивать?
Предоставляют ли данные материалы прямые доказательства того, что этот препарат поможет моим пациентам жить более долгой, более здоровой, более продуктивной, без симптомов жизнью?
Если использовались суррогатные исходы, каковы доказательства того, что они надежны, воспроизводимы, чувствительны, специфичны, являются ли истинными предикторами болезни и быстро отражают эффективность лечения?
Указывают ли результаты (и как) на то, что эффективность лечения отличается, отмечались ли различия в типах и частоте побочных реакций? Выражены ли результаты в терминах числа больных, которых необходимо лечить и являются ли они клинически и статистически значимыми?

том, что каждое исследование можно и нужно оценить с

позиций :
методологического качества — степень, в которой дизайн исследования предотвращает систематические ошибки (смещения)
точности — мера вероятности случайных ошибок (обычно отражается шириной доверительного интервала вокруг результата)
внешней валидности — меры обобщаемости результатов или применимости к конкретной популяции