время, когда задача проверки системы качества в испытательных лабораториях
РФ стоит особенно остро, основное внимание уделяется правильности и достоверности результатов исследований, в связи с чем появилась необходимость создания системы проверки компетентности испытательных лабораторий при помощи межлабораторных сравнительных испытаний (МСИ).
Слайд 3
МСИ
Участники МСИ – организации, осуществляющие лабораторные исследования, изъявившие
желание участвовать в МСИ и подписавшие договор с Организатором
МСИ.
Организатор проведения МСИ: предприятие, осуществляющее деятельность по проведению МСИ с целью проверки квалификации исследовательской лаборатории.
Слайд 4
ФУНКЦИИ ОРГАНИЗАТОРА МСИ
-разрабатывает программу проведения МСИ
-формирует перечень
участников МСИ на основании заявок
-создает или приобретает КО (контрольные
образцы)
-шифрует КО
-составляет задание по проведению испытаний КО
-проводит рассылку КО с заданием
Слайд 5
ФУНКЦИИ ОРГАНИЗАТОРА МСИ
-проводит обработку результатов испытаний и обобщение
результатов МСИ
-представляет результаты участия испытательных лабораторий (ИЛ) в МСИ
и сводную информацию о результатах участия всех ИЛ в МСИ каждому участнику программы МСИ
Направляет информацию о проведенных МСИ в Россельхознадзор для их учета
Слайд 6
СЧИТАЕМ НЕОБХОДИМЫМ ПРОВЕДЕНИЕ ДАННОЙ РАБОТЫ В НАПРАВЛЕНИЯХ, МАКСИМАЛЬНО
ОХВАТЫВАЮЩИХ ОБЪЕМ ИССЛЕДОВАНИЙ, ПРОВОДИМЫХ ВЕТЕРИНАРНЫМИ ЛАБОРАТОРИЯМИ РФ:
ОБЪЕКТЫ МСИ
Слайд 7
ПРАВИЛА ПРОВЕДЕНИЯ МСИ
Со своей стороны Федеральное государственное бюджетное
учреждение «Центральная научно-методическая ветеринарная лаборатория», в соответствии с международными
стандартами, разработало Правила проведения МСИ, а также план мероприятий по применению программ проверок компетентности для повышения качества и достоверности результатов испытаний ветеринарных лабораторий в нашей стране.
Слайд 8
ПРАВИЛА ПРОВЕДЕНИЯ МСИ
Правилами организации и проведения межлабораторных сравнительных
испытаний для учреждений, осуществляющих лабораторные исследования в области ветеринарии,
установлены методика, порядок планирования, проведения и оценки МСИ, а также порядок ведения реестра участников межлабораторных сравнительных испытаний.
Слайд 9
ПРАВИЛА ПРОВЕДЕНИЯ МСИ
При разработке Правил проведения МСИ нами
учитывался опыт проведения сравнительных испытаний, начиная с 2008 г.,
а также замечания и пожелания, полученные ФГБУ ЦНМВЛ от лабораторий-участниц. Например, много времени было уделено выбору матрицы, усовершенствованию упаковки, достижению гомогенности и сохранению стабильности образцов на протяжении всего времени доставки.
Слайд 10
ПЛАН ПРОВЕДЕНИЯ МСИ
Программу МСИ разрабатывает Организатор (ФГБУ ЦНМВЛ),
утверждает Руководитель Федеральной службы по ветеринарному и фитосанитарному контролю.
В программу МСИ для гос. ветеринарных лабораторий включают методы исследований, внесенные в «Перечень методик, разрешенных для использования в ветеринарии»
Слайд 11
ПЛАН МСИ
В программу МСИ могут быть включены собственные
методики испытаний, для которых результаты МСИ могут быть использованы
при валидации этих методов.
Слайд 12
ПЛАН ПРОВЕДЕНИЯ МСИ
План проведения МСИ предусматривает постоянное участие
лаборатории, на добровольной основе, в межлабораторных экспериментах по
анализу специально приготовленных образцов, проводимых с определенной периодичностью (обычно 3 - 4 раза в год). Лаборатория, результат которой отклоняется от заданного значения на величину выше допустимой, признается неудовлетворительно работающей. Лаборатория, показавшая удовлетворительные результаты в очередном раунде МСИ получает свидетельство об успешном участии в МСИ.
Слайд 13
ПЛАН ПРОВЕДЕНИЯ МСИ
План проведения и программы МСИ на
2013 г. разрабатывался с учетом всех заявленных видов исследований
и должен обеспечивать подтверждение готовности испытательных лабораторий к проведению исследований в области ветеринарии скрининговыми и арбитражными (подтверждающими) методами.
Слайд 14
Подготовку и рассылку шифрованных тестируемых образцов для испытаний
осуществляет организатор и главные координирующие органы по межлабораторным сравнительным
испытаниям: ФГБУ ЦНМВЛ, ФГБУ ВНИИЗЖ, ФГБУ ВГНКИ по перечням основных направлений деятельности и в соответствии с Планом МСИ на текущий год или по отдельным поручениям Россельхознадзора. Подготовка проб другими организациями осуществляется по запросу организатора МСИ.
Слайд 15
ПОДГОТОВКА ШИФРОВАННЫХ ОБРАЗЦОВ
Количество тестируемого образца должно быть достаточным
для получения заданного, в соответствии со схемой проведения МСИ,
числа результатов испытаний по каждому контролируемому показателю.
Материал образца должен быть стабилен, обеспечивать сохранение свойств матрицы и исследуемого объекта (микроорганизма, вещества) в течение времени, необходимого для доставки проб и проведения исследований.
Слайд 16
ВИДЫ ШИФРОВАННЫХ ОБРАЗЦОВ
образцовые растворы, культуры эталонных штаммов микроорганизмов
и другие стандартные образцовые материалы;
нативный материал с естественным или
измененным в результате дополнительной обработки уровнем значений контролируемого показателя;
ГСО, международные стандартные и референтные образцы.
Слайд 17
ДОСТАВКА ШИФРОВАННЫХ ОБРАЗЦОВ
Особое место в проведении МСИ отводится
доставке шифрованных тестируемых образцов в ветеринарные лаборатории, участвующие в
испытаниях. Она может осуществляться нарочным или экспресс-почтой с учетом сроков сохранения образцами стабильности.
Слайд 18
Важно, чтобы участвующие в программе лаборатории испытывали доверие
к планированию и проведению программ МСИ, четко понимали правила,
касающиеся участия в этих программах, критерии оценки, а также правила и процедуры для выяснения причин появления любых неудовлетворительных результатов МСИ.
Слайд 19
УЧАСТНИКАМ МЕЖЛАБОРАТОРНЫХ СРАВНИТЕЛЬНЫХ ИСПЫТАНИЙ НЕОБХОДИМО:
Получая шифрованные образцы проводить
исследования согласно обычной процедуре
Анализировать результаты
Вести записи, что дает возможность
отслеживания всех действий
Слайд 20
КРИТЕРИИ ОЦЕНКИ РЕЗУЛЬТАТОВ МСИ
Качественные и количественные результаты испытаний
оцениваются на принципиально разной основе. Обработка данных межлабораторных сравнительных
испытаний количественных измерений проводится согласно «Методическим рекомендациям по организации и проведению межлабораторных сравнительных испытаний» 2001г., ГОСТ Р50.4.006-2002, Guide 43-1, 43-2 Proficiency testing by interlaboratory comparisons. Оценка результатов испытаний идет по Z-индексам.
Слайд 21
Z = (X – C) /S
X –среднее арифметическое
значение каждой лаборатории
C – среднее приписанное значение для данного
материала
S – среднеквадратическое отклонение общей погрешности результата испытаний, рассчитанная из межлабораторного эксперимента
Слайд 22
МСИ
При ІZІ ≤ 2 – качество результатов испытаний
признают удовлетворительным
При 2
<ІZІ ≤ 3 – качество результатов испытаний признают сомнительным и подлежащим дополнительной проверке
При ІZІ > 3 – качество результатов испытаний признают неудовлетворительным
Слайд 23
КРИТЕРИИ ОЦЕНКИ РЕЗУЛЬТАТОВ МСИ
В связи с тем, что
качественное определение наличия или отсутствия искомого агента не поддается
статистическому анализу для получения величины стандартного отклонения и расчета Z-индексов, оценка производится по системе «удовлетворительно», «приемлемо», «неудовлетворительно», «сомнительно», исходя из конкретных условий проведения исследования, которые оговариваются в протоколе.
Слайд 24
КРИТЕРИИ ОЦЕНКИ РЕЗУЛЬТАТОВ МСИ
Критерии приемлемости результатов от программы
к программе могут меняться. Во многих случаях данные о
приемлемости будут вытекать из результатов, полученных в ходе проведения конкретной программы, и, следовательно, не будут доступны для лабораторий заранее. Оценка достоверности результатов качественных и количественных исследований тестируемых образцов прописывается в протоколе проведения очередного раунда МСИ и рассылается лабораториям-участницам, в установленные Правилами сроки.
Слайд 25
ПРОТОКОЛЫ МСИ
Полученные результаты Организатор оформляет в виде протоколов
МСИ, которые утверждает директор ФГБУ ЦНМВЛ, с соблюдением требований
конфиденциальности.
Оформляется свидетельство о прохождении МСИ по конкретным показателям
Слайд 27
Успешные результаты проведения МСИ для лаборатории являются подтверждением
ее компетентности в проведении определенных видов исследований, данным специалистом
на конкретном оборудовании, но не может являться отражением постоянной компетентности.
Аналогично, неудовлетворительная работа в рамках конкретной программы может быть случайным отклонением от нормального состояния компетентности лаборатории, связанного с неполадками оборудования, недостаточной компетентностью специалиста, недоброкачественными реактивами, и т.п.
По этой причине программы МСИ будут применяться неоднократно, с использованием различных матриц, методов исследований, комплексных исследования одного образца разными методами и т.п.
Слайд 28
КОРРЕКТИРУЮЩИЕ МЕРОПРИЯТИЯ
В случае неудовлетворительных результатов МСИ участнику необходимо
провести корректирующие мероприятия и устранить возникшие недостатки.
Участник обязан в
срок до 3-х месяцев направить в адрес Организатора отчет о проведенных мероприятиях
Повторная рассылка – после отчета
Слайд 29
ДОКУМЕНТАЦИЯ
Вся документация по проведению МСИ не подлежит разглашению
и хранится у Организатора не менее трех лет
Слайд 30
АНАЛИЗ ПРОВЕДЕНИЯ В ЛАБОРАТОРИЯХ РФ МЕЖЛАБОРАТОРНЫХ СРАВНИТЕЛЬНЫХ ИСПЫТАНИЙ
ЗА 2011 ГОД
За 2011 год был организован и
проведен 31 раунд межлабораторных сравнительных испытаний, в которых приняли участие 50 ветеринарных лаборатории, из них 18- субъектовых ветлабораторий (Алтайская РВЛ, Астраханская ОВЛ, Бурятская РНПВЛ, Воронежская ОВЛ, Вет. Лаб Калужской обл., Костромская ОВЛ, Красноярская КВЛ, Курская ОВЛ, Московская ГВЛ, Мурманская ОВЛ, Нижегородская ОВЛ, Омская ОВЛ, Оренбургская ОВЛ, Псковская ОВЛ, Санкт-Петербургская ГВЛ, Смоленская ОВЛ, Удмуртский ВДЦ, Хабаровская КВЛ), 1- лаборатория при СББЖ г.Опочка Псковской обл.
Приготовлено шифрованных проб – 1842
Слайд 31
АНАЛИЗ ПРОВЕДЕНИЯ В ЛАБОРАТОРИЯХ РФ МЕЖЛАБОРАТОРНЫХ СРАВНИТЕЛЬНЫХ ИСПЫТАНИЙ
ЗА 2012 ГОД
За 2012 год был организовано и проведено
26 раундов межлабораторных сравнительных испытаний, в которых приняли участие 66 ветеринарных лабораториий, из них 19 - субъектовых ветлабораторий (Владимировская, Курская, Коми, Омская, Бурятская, Липецкая, Новокузнецкая, Хабаровская, Воронежская, Алтайская РВЛ, Астраханская,Дагестанская,Калужская,Еврейская, Свердловская,Санкт-Петербургская, Оренбургская, Московская ОВЛ, Московская ГВЛ) , 3 – лаборатории при СББЖ Псковской обл., 2 – лаборатории ветслужбы Приморского края и ГНУ ИЛЦ ВНИИМП
Приготовлено шифрованных проб – 1309
Слайд 32
МСИ
Сравнивая результаты МСИ за 2008-20012 годы на примере
некоторых направлений , были выявлены следующие тенденции:
Слайд 36
Таким образом, прослеживается четкая тенденция к снижению ошибочных
результатов при проведении МСИ в 2012 г. по сравнению
с 2008 г, что говорит о повышении уровня качества лабораторных исследований и положительном опыте проводимой нами работы по организации МСИ.
Благодаря анализу допущенных ошибок и организации корректирующих мероприятий, а также появлению ответственного подхода лабораторий к исследованию шифрованных образцов, улучшились в целом, как мы считаем, показатели и в проведении текущих практических лабораторных исследований.
Слайд 37
В 2013 году уже организовано и проведено 12
раундов межлабораторных сравнительных испытаний: по определению содержания тяжелых металлов
(свинец, кадмий) в растворе, по определению содержания микотоксинов (дезоксиниваленол, Т-2 токсин,афлатоксин В₁, охратоксин А) в кормах, определени е наличия ТМТД в зерне, видовая идентификация микроорганизмов, детекция бактерий рода сальмонелл и L.monocetogenes в сухом молоке,
диагностика гельминтозов и протозоозов, диагностика микроскопическим методом (гистопрепарат)
В данных мероприятиях приняли участие 57 ветеринарных лаборатории
Слайд 38
В данных мероприятиях приняли участие 57 ветеринарных лабораторий,
из них 35 федеральных государственных бюджетных лабораторий, 18 –
субъектовых ветлабораторий (Алтайская РВЛ, Амурская ОВЛ, Бурятская РНПВЛ, Владимирская ОВЛ, Воронежская ОВЛ, Дагестанская РВЛ, Ирбитская ЗВЛ, Забайкальская КВЛ, Красноярская КВЛ, Карельская РВЛ, Московская ГВЛ, Омская ОВЛ, Оренбургская ОВЛ, Почепская ЗВЛ, Псковская ОВЛ, Санкт-Петербургская ГВЛ, Томская ОВЛ, Якутская РВЛ)
Слайд 39
Общее количество проб, приготовленных отделами ФГБУ ЦНМВЛ во
втором квартале 2013 года – 567:
отдел ВСЭ – 164
отдел
химических исследований – 261
Отдел бак исследований – 60
Отдел патоморфологических исследований – 22
Отдел паразитарных исследований – 60
В связи с тем, что госзадание по МСИ было утверждено Россельхознадзором 17 апреля 2013 года, соответственно контрольные образцы участникам отправлены 30-31 мая, результаты МСИ за второй квартал 2013 года будут представлены позже
Слайд 40
Были разработаны и внедрены новые формы выдаваемых нами
протоколов МСИ, в которых подробно отражены правила, касающиеся участия
в данной конкретной программе проверки компетентности, принципы оценки критериев приемлемости результатов исследований, приведены результаты, полученные всеми участниками раунда МСИ (с соблюдением конфиденциальности).
Слайд 41
В связи с тем, что ФГБУ ЦНМВЛ
является организатором проведения межлабораторных сравнительных испытаний для подведомственных Россельхознадзору
федеральных государственных бюджетных учреждений нашей лабораторией в 2012 году был подготовлен пакет документов в соответствии с утвержденным порядком для предоставления в «Уральский научно-исследовательский институт метрологии» с целью признания ФГБУ ЦНМВЛ в качестве провайдера проверок квалификации лабораторий посредством межлабораторных сравнительных испытаний состава и свойств веществ, материалов и объектов окружающей среды.