Презентация на тему Многомерное ранжирование как методология сбалансированной оценки исследовательской, образовательной и международной деятельности университетов

оценке качества деятельности университетов
Удовлетворяют запросам основных потребителей услуг

высшего образования (студенты, родители, органы управления высшим образованием)
Предоставляют удобный и дружелюбный для пользователей услуг высшего образования способ сравнения университетов на внутристрановом, международном и глобальном уровнях
Являются инструментом влияния и конкурентоспособности университетов в национальном и международном пространстве высшего образования
Являются источником для бенчмаркинга в сфере высшего образования

и влияние исследований
Опираются на единый агрегированный показатель, который не

дает взвешенной оценки по всей совокупности деятельности университета (обучение, роль в социально-экономическом развитии региона)
Набор критериев не отражает всего многообразия миссий и целей университетов, условий их развития и различий в деятельности
Не сбалансированы с точки зрения «равно удаленности» по языковым и культурным условиям деятельности университетов
Представляют собой упрощенную картину сложной реальности

репутации

общей численности ППС – 2,5%
Доля иностранных студентов в общей

численности студентов – 2,5%
Доля публикаций ППС в научной периодике в соавторстве с иностранным автором в общей количестве публикаций ППС университета за год – 2,5%

Репутационная оценка по вопросам преподавания – 15%
Кол-во присуждаемых степеней PhD в расчете на одного ППС – 6%
Соотношение принятых студентов к кол-ву ППС университета – 4,5%
Соотношение присужденных докторских степеней к бакалавриату – 2,25%

Репутационная оценка по вопросам научно-исследовательской деятельности – 18%
Доход от исследований – 6%
Кол-во статей на одного ППС и одного исследователя – 6%

Смешение в сторону оценки научно-исследовательской деятельности, в совокупности с индикатором цитирования: 60%

Rankings 2011-2012. URL: http://www.timeshighereducation.co.uk/world-university-rankings/2011-2012/top-400.html

репутационные исследования определяет недоверие к процедурам проведения глобальных опросов,

построения выборочной совокупности, к получаемым результатам
Проблема релевантности: Использование некоторых показателей вызывает сомнение относительно их способности определять и оценивать качество университетов (например, индикаторы, отражающие доходы университетов, или индикатор соотношения численности студентов и преподавателей для оценки качества обучения в университете, или индикатор влияния научного цитирования для оценки качества университетских исследований)
Проблема методологии: Веса, присвоенные индикаторам вызывают критику, особенно, в части индикаторов международной деятельности. Веса индикаторов интернационализации занижены и не обоснованы, несмотря на то, что интернационализация является ключевой характеристикой университетов «мирового уровня»
Проблема доступности данных: В случае отсутствия данных по индикаторам, не имеющих высокого веса, университетам, не предоставившим информацию, приписываются минимальные значения, чтобы все равно учесть их в рейтинге

Teichler U. (eds.) University Rankings: Theoretical Basis, Methodology and

Impacts on Global Higher Education. Springer, 2011. P.14.

негосударственная некоммерческая организация, основанная 1 мая 1994 года
CHE предлагает

четыре системы ранжирования, отличающихся между собой как по целевой аудитории (категории пользователей), так и по набору показателей
CHE не производит ранжирование университета в целом – оценка производится только по отдельным предметам или по предметным областям
CHE не опирается на единый комплексный показатель – при ранжировании используется несколько показателей, позволяющих осуществить многомерную оценку учебного заведения (направления: преподавательский потенциал вуза, инфраструктура, интернационализация, учет вузом потребностей рынка труда, развитость исследовательской деятельности и т.д. )
CHE формирует группы университетов по результатам ранжирований «верхнюю», «среднюю» или «нижнюю». Группы отражают степень оценки по отдельному показателю: от наиболее высокой к наиболее низкой. При этом внутри каждой из групп ранжирование не производится, а университеты располагаются внутри группы по отношению друг к другу в алфавитном порядке.

опубликован в 1998 году
Рейтинг включает информацию об учебных программах,

качестве обучении, оборудовании и инфраструктуре, научных исследованиях и репутации вуза
Оцениваются вузы Германии, а также других стран, где есть образовательные программы на немецком языке (Австрия, Швейцария, Нидерланды и др.)
Целевые группы:
Абитуриенты, родители и студенты
ВУЗы
Рейтинг составляется по 37 предметам, что соответствует ¾ всех направлений
Данные для каждой предметной области обновляются каждые три года, но не одновременно по всем категориям, а последовательно
Рейтинг публикуется на официальном портале еженедельной немецкой газеты DIE ZEIT http://ranking.zeit.de/che2011/en/

агрегированном виде, а имеет модули, которые могут настраиваться по

запросам пользователя (Job market and career-orientation, Equipment, Research, Overall opinions, International orientation, Result of study, Town and University, Students, Academic studies and teaching)
Рейтинг делится по направлениям и по группам оценки (top, middle, bottom)
Сбор данных осуществляется посредством:
анкетирования административного персонала университетов, преподавательского состава и студентов
Библиометрических данных с использованием базы данных Science Citation Index
Включает оценку условий обучения 250 000 студентами и оценку преподавательским корпусом отдельных предметов и репутации вуза
Для определения группы учитываются особенности разброса оценок

URL: http://ranking.zeit.de/che2011/en/

проблемы
Проблема сбора и обработки данных: Собирается большое количество данных,

что является трудностью как для университетов, так и для составителей рейтинга
Проблема релевантности: ранжирования затрагивают не все предметные области
Проблема географической представленности: часто в ранжированиях участвует ограниченное число стран (например, страны Евросоюза, или немецкоговорящие страны)

характеристика качества
Сбалансированность показателей:
Отказ от использования агрегированного индикатора при

ранжировании обеспечивает сбалансированность оценки качества деятельности университетов, обеспечивает сравнение университетов по набору разных индикаторов
Сбор данных:
70% всех данных, используемых в ранжировании CHE, собираются с помощью онлайн анкетирования и материалов самооценки, что повышает риск фальсификации данных, тем не менее,
все полученные данные проходят процедуру аудита на достоверность и надежность и пересылаются учебным заведениям для окончательного утверждения
в случае подозрения в фальсификации, учебное заведение исключается из ранжирования
Надежность и релевантность показателей
Методология ранжирования обновляется постоянно: увеличивается использование количественных данных, снижается использование оценочных и репутационных данных
Интерактивность и транспарентность
Ранжирования CHE в высокой степень интерактивны. Потребителям предоставляется возможность выбора одного индикатора или группы индикаторов для сравнения университетов.
Информация о методах сбора данных, расчете индикаторов и оценке учебных заведений находится в открытом доступе.

университетов
Критерии оценки сильных и слабых сторон методологий рейтингования
Берлинские принципы

ранжирования высших учебных заведений
Критерии оценки методологий рейтингования в соответствии с «Правилами аудита рейтингов (IREG Ranking Audit Rules)»

методологий относительно критериев IREG
0 – критерий не применим

к методологии/нет данных
1 – методология не соответствует критерию
2 – методология частично соответствует критерию
3 – методология полностью соответствует критерию

служить инструментом поддержки потребителей образовательных услуг, позволяя через представление

легко интерпретируемой информации ориентироваться в широком разнообразии вузов и предлагаемых ими программ;
служить источником надежной объективной информации о качестве деятельности университета и положении того или иного вуза среди остальных национальных вузов;
содействовать повышению конкурентоспособности вузов и их интеграции в глобальное образовательное и исследовательское пространство, поскольку положение в рейтингах является важным сигналом конкурентоспособности;
способствовать развитию системы высшего образования России;
вносить вклад в повышение качества деятельности вузов;

и достижения российских вузов в международных рейтингах, их сильные

стороны построения;
Учитывать зарубежный и российский опыт ранжирований и рейтингования
Обеспечить прагматичный подход к выработке методологии ранжирования российских вузов, при которой данные по индикаторам оценки, собираемые и предоставляемые вузами в национальный орган, осуществляющий ранжирование, будут сопрягаться с данными, необходимыми для участия в международных рейтингах;
Обеспечить широкое экспертное и общественное обсуждение на разных этапах разработки и апробации
Создать национальную методологию ранжирования, которая будет признаваться как источник надежных данных для глобальных и региональных рейтингов.

ранжирования.
Проведена экспертная оценка зарубежных методологий ранжирования относительно критериев

аудита качества построения ранжирований Международной экспертной группы IREG.
Выявлены количественные индикаторы оценки качества работы вузов на основании зарубежного и российского опыта построения ранжирований.
Проведена экспертная оценка количественных индикаторов с т.з. их значимости для задач развития ВО в РФ, надежности, доступности, релевантности и значимости для включения в модельную методологию ранжирования российских вузов.
Выявлены индикаторы пяти направлений деятельности вузов (научно-исследовательская деятельности, обучение/преподавание, международная деятельность, трансфер знаний, взаимодействие с регионом) для включения в модельную методологию, в числе которых:
перечень индикаторов согласованных и одобренных экспертной группой;
перечень дополнительных индикаторов, требующих дополнительной экспертной оценки и согласования.

проекта
1. Доля затрат на исследования от общих расходов вуза

в предыдущем финансовом году
2. Доля ППС с ученой степенью кандидата и доктора наук (эквивалент полной занятости) на текущий учебный год
3. Количество цитирований на одного ППС (эквивалент полной занятости) (РИНЦ)
4. Количество цитирований на одного ППС (эквивалент полной занятости) (Scopus, Web of Science)
5. Количество цитирований на одну статью
6. Нормализованный показатель цитирования с учетом предметной области. SСPP/SFCSm, где SFCSm – средний показатель цитирования в области
7. Количество публикаций на одного ППС (эквивалент полной занятости) (Scopus, Web of Science)
8. Количество публикаций на одного ППС (эквивалент полной занятости) (РИНЦ)
9. Доля доходов вуза от научных исследований
- в том числе фундаментальных
- в том числе прикладных
в предыдущем финансовом году
10. Количество выигранных вузом грантов /сумма выигранных вузом грантов
(РГНФ, РФФИ, Фонд Бортника)
11. Доля бакалавров очной формы обучения, участвующих в выполнении научных исследований и разработок с оплатой труда, от общего количества бакалавров очной формы обучения в предыдущем учебном году

оборудование и инфраструктуру (для обеспечения обучения) в предыдущем учебном

году
Доля образовательных программ, прошедших международную аккредитацию (аккредитацию должно осуществлять агентство с международно-признанной репутацией)
Доля выпускников, трудоустроившихся после окончания университета в течение 1 года по специальности/направлению обучения
Доля преподавателей (эквивалент полной занятости), являющихся действительными членами и членами-корреспондентами Академии наук РФ
Доля программ, на которые были приняты студенты с высоким баллом ЕГЭ (оценка качества абитуриентов) в предыдущем учебном году
Доля абитуриентов – победителей Всероссийской олимпиады школьников в предыдущем учебном году
Доля студентов, получивших престижные стипендии (стипендия Президента РФ, стипендия Губернатора субъекта РФ, стипендия Мэра, стипендия Фонда Потанина), от всей численности студентов вуза в предыдущем учебном году
Доля выпускников, поступивших на программы аспирантуры
Соотношение численности приема студентов магистратуры к численности приема студентов бакалавриата
Доля студентов магистратуры, закончивших бакалавриат в других вузах, от общей численности приема студентов магистратуры
Доля молодых штатных ППС (до 35 лет, эквивалент полной занятости), получивших престижные национальные гранты и премии, от всей численности молодых штатных ППС (премии Президента РФ, премии губернатора, Фонда Потанина)

иностранных студентов в общей численности студентов (эквивалент полной занятости)
Количество

международных исследовательских грантов
Доля доходов из иностранных источников в общих доходах вуза (преподавание, научная деятельность, контракты с зарубежными предприятиями) в предыдущем финансовом году
Доля нагрузки иностранных ППС, приведенная к штатной нагрузке ППС (эквивалент полной занятости) в предыдущем учебном году
Доля студентов вуза, участвующих в программах обмена в течение предыдущего учебного года
Доля аспирантов прошедших стажировки в зарубежных университетах в течение предыдущего учебного года
Доля ППС (эквивалент полной занятости) приглашенных для чтения лекций в зарубежные университеты в течение предыдущего учебного года
Доля преподавателей (эквивалент полной занятости), обладающих дипломами PhD зарубежных вузов
Доля программ, разработанных совместно с зарубежными партнерами
Доля студентов, обучающихся по программам, разработанных совместно с зарубежными партнерами

внебюджетного финансирования в доходах вуза в том числе:

- от образовательной деятельности
- от научной деятельности в предыдущем финансовом году
Количество поставленных на бухгалтерский учет объектов интеллектуальной собственности
Доход от продажи продуктов интеллектуальной собственности в течение предыдущего финансового года
Число образовательных программ, реализованных вузом по заказу сторонних организаций в течение предыдущего учебного года
Количество специалистов из сторонних организаций, прошедших повышение квалификации или профессиональную переподготовку в вузе в течение предыдущего учебного года

проекта
1. Доля доходов из местных/региональных источников/отрасли в предыдущем финансовом

году
2. Доля студентов, участвующих в стажировках, в региональных организациях/отрасли в предыдущем учебном году
3. Количество контрактов на исследования, заключенные с региональными партнерами в предыдущем финансовом году

ранжирования
Объем выборки – около 140 вузов
4 группы вузов:
МГУ

и СПбГУ
Ведущие университеты (9 ФУ+29 НИУ+55 вузов по Программе МОН поддержки программ стратегического развития)
46 Вузов-участников проекта «Лучшие образовательные программы инновационной России», включая:
- 13 – технические (11 отраслевые)
- 7 – экономические/юридические
- 6 – медицинские
- 5 – классические
- 4 – негосударственные
- 4 – сельско-хозяйственные
- 3 – педагогические
- 2 – культуры и искусства
- 2 –физкультуры и спорта

Организационно-правовая форма: государственные, негосударственные

российских вузов
Придать веса индикаторам, включенным в модельную методологию ранжирования

российских вузов
Определить возможность использования выделенного набора индикаторов для других целей в будущем, с другими весами (например, корректировка весов в зависимости от категорий вузов)
Определить список вузов – участников апробации модельной методологии ранжирования, выбранных в зависимости от категории