Слайд 2
МОНИТОРИНГ
Мониторинг – это регулярное систематическое наблюдение за предустановленным
набором явлений, имеющих значение для кого-либо или чего-либо (Ричард
Блу).
Позволяет определить, выполняются ли организационные задачи и достигаются ли запланированные результаты деятельности. С помощью обычного мониторинга невозможно определить эффект проекта или выявить и оценить незапланированные результаты проекта или деятельности организации в целом.
Слайд 3
«Оценка есть определение достоинства или ценности»
Michael Scriven, The
Logic of Evaluation, Inverness
«Цель оценки - измерение результатов программы
и сопоставление их с задачами, которые эта программа должна решить»
Carol Weiss, Evaluation Research:
Methods for Assessing Program Effectiveness
«Оценка - это системный путь к улучшению программ и улучшению отчетности, который предполагает использование процедур, следующих стандартам полезности, выполнимости, этичности и точности»
http://www.cdc.gov/evaL/framework.htm
Что такое оценка программ?
Слайд 4
ОЦЕНКА
ИССЛЕДОВАНИЕ
МЕТОДЫ
ПОСТАНОВКА ЗАДАЧИ
РЕЗУЛЬТАТ
Информация
для принятия
решений
Новое
знание
Расширить и
углубить
существующее
знание
Получить
информацию
для принятия
решений
Слайд 5
Виды оценочной деятельности по типу искомой информации
Контроль
Получение
нового
знания
Инспекция
Выявление и
предотвращение
нарушений
Аудит
Проверка на
соответствие
Мониторинг
Отслеживание хода
программы по
сравнению
с планом
на основании замера
значений показателей
(индикаторов)
Оценка
Анализ процесса выполнения программы, достигнутых результатов и причин отклонений от плана
Исследование
Получение нового знания,
моделирование
Слайд 6
Предмет оценки – проект. Если деятельность, которую вы
оцениваете, не выглядит как проект, ее необходимо реконструировать с
помощью логической схемы.
Слайд 7
Иерархия целей программы
Миссия (стратегическая цель)
Решение глобальной проблемы;
причина, которая побудила нас разработать программу. Зависит от многих
факторов. В случае успешного выполнения программы достигается частично.
Цель
Добиться определенных изменений к лучшему в конкретной ситуации. Достижение этой цели в значительной степени зависит от исполнителей. При правильной оценке рисков и хорошей работе может быть достигнута.
Задачи
Запланированные непосредственные результаты деятельности. Достижение зависит от исполнителей. Может быть в значительной мере гарантировано.
Слайд 8
Деятельность
Задачи
Цель
Миссия
Логика проекта
Слайд 9
«You can take a horse to the water
but you cannot make him drink»
Слайд 10
Adopted from: ILO (1995) Design, monitoring and evaluation
of technical cooperation programmes and projects
Миссия – обеспечить работоспособность
лошади
Цель – напоить лошадь
Задача – сделать воду доступной для лошади
Слайд 11
Реконструируйте проекты с помощью логической схемы (3)!
Слайд 12
Мониторинг (monitoring)
Как идут дела?
В какой мере выполняются планы?
Систематический
сбор информации о значениях заранее выбранных индикаторов для обеспечения
руководителей и других заинтересованных сторон сведениями о том, насколько успешно выполняется проект/программа развития, в какой степени достигаются поставленные цели и как используются фонды, выделенные на данную деятельность.
Слайд 13
Функции мониторинга
Слежение (цель – выявление соответствия желаемому результату)
Предупреждение
(цель – предупреждение нежелательных последствий)
Слайд 14
Для эффективного управления нужно знать:
Скорость
Температуру охлаждающей жидкости
Количество
топлива
Включены ли фары
Включены ли указатели поворота
4
1
2
3
5
Система мониторинга автомобиля
Слайд 15
Что такое индикаторы?
Что вы сможете увидеть, услышать, понюхать,
потрогать или попробовать на вкус когда задача будет выполнена.
То,
что можно измерить по количеству, качеству и времени.
Слайд 16
Индикаторы
Индикатор – это инструмент мониторинга, с помощью которого
измеряется достижение целей проекта с возможностью их объективной проверки.
Индикатор
позволяет ответить на вопрос, какой достигнут прогресс в достижении цели и достигнут ли он вообще.
Индикатор определяет эффективность деятельности путем сравнения реальных результатов с ожидаемыми.
Индикатор не раскрывает причин, по которым не удается достичь прогресса.
Слайд 17
Определение индикаторов
Цель: Улучшение положения в здравоохранении
Установить качество (природа
индикатора): повышение продолжительности жизни
Установить целевую группу (кто): повышена продолжительность
жизни у мужчин
Установить место (где): повышена продолжительность жизни у мужчин на юге Западной Сибири
Установить количество: продолжительность жизни у мужчин на юге Западной Сибири повышена с X до Y
Установить время: продолжительность жизни у мужчин на юге Западной Сибири повышена с X до Y к 2009
Слайд 18
Компоненты мониторинга
Показатели (индикаторы): базовые, плановые (целевые) и фактические
Организация
регулярного сбора фактических показателей
Сопоставление плановых и фактических показателей и
определение сдвигов и отклонений
Слайд 19
Построение системы мониторинга
Шаг 1. Найдите индикаторы для отслеживания
прогресса в реализации мероприятий, задач и целей. Определите базовые
и целевые значения.
Шаг 2. Определите источники данных, а также методы их получения.
Шаг 3. Определите периодичность сбора данных.
Шаг 4. Определите ответственных за сбор данных лиц и ресурсы для проведения мониторинга.
Шаг 5. Напишите техническое задание для выполнения работ по мониторингу с должностными инструкциями и полномочиями всех участников мониторинга.
Слайд 20
Что мониторить?
Какие показатели для нас важны?
Слайд 21
Построение системы мониторинга
ПРОБЛЕМА
РЕШЕНИЕ
ПРОБЛЕМЫ
ПРОЦЕСС
Люди
Оборудование
Среда
Технологии
Материалы
Слайд 22
Разработайте систему мониторинга для ваших проектов (6)
Слайд 23
Оценка (evaluation)
Правильные ли вещи мы делаем?
Правильно ли мы
их делаем?
Что у нас получается и почему?
Как можно это
сделать лучше?
«Оценка программы – это систематический сбор информации о деятельности в рамках программы, ее характеристиках и результатах,
который проводится для того, чтобы вынести суждение о программе, повысить эффективность программы и/или разработать планы на будущее»
(Patton, 1997)
Слайд 24
Кому нужна оценка программ?
Финансирующие стороны
Органы власти
Социально ответственный бизнес
Непосредственные
исполнители программ, которые работают с клиентами
Академические институты, проводящие исследования
Непосредственные
получатели услуг
Широкая общественность
Слайд 25
Виды оценки
«Формирующая оценка» (formative evaluation) - призвана помочь
менеджерам программы в принятии решений о том, какие изменения
необходимо внести в программу на стадии ее реализации для повышения ее эффективности.
Оценку, в задачи которой входит исследование конечных результатов и эффективности программы, называют общим термином «суммирующая оценка» (summative evaluation).
Слайд 26
Формирующая оценка
Оценка потребностей (needs assessment) выявляет существующие
потребности и располагает их в порядке приоритетности.
Оценка процесса ставит
своей целью описание того, как в действительности функционирует та или иная программа.
Оценка целей и задач (goals-based или objectives-based evaluation) помогает определить, ведет ли программа к достижению запланированных целей и задач.
Слайд 27
Суммирующая оценка
Оценка результатов (outcome evaluation) помогает определить, какие
проекты действительно приводят к достижению результатов, необходимых получателям услуг.
Оценка
воздействия (impact evaluation) позволяет определить изменения в качестве жизни клиентов, которые могут быть отнесены на счет определенной программы.
Оценка экономической эффективности (cost-effectiveness или cost-benefit evaluations) использует экономические методы для оценки соотношения затрат и результатов программы.