РЕЙТИНГ РОССИЙСКИХ ВУЗОВ

«НАЦИОНАЛЬНОЕ ПРИЗНАНИЕ»

мЕТОДОЛОГИЯ РЕЙТИНГА 2019

 

Принципы построения рейтинга вузов

Алгоритм расчета количества рейтинговых баллов 

Этап 1 – формирование перечня предметов для рейтингования

Этап 2 – составление персональных рейтинговых списков по предметам

Этап 3 – нормирование списков и определение персональных баллов

Этап 4 – расчет суммарного количества баллов вуза по предмету

Этап 5 – составление рейтинговых списков вузов по предметам и их разделение на квартили

Ограничения на использование рейтинга вузов

 

Принципы построения рейтинга вузов

Делая рейтинг, мы исходили из того, что вуз – это не стены (кампус), не научное или учебное лабораторное (симуляционное) оборудование, это люди. Именно преподаватель, в первую очередь профессура, как ключевой преподаватель, формирующий в вузе своего рода культуру и нормы поведения в определенной предметной области.

Если профессура в вузе сильная, то она и в условиях недостатка материальной базы найдет возможность дать вам нужные знаний или навыки. И, наоборот, слабая профессура неизбежно превратит даже передовой лабораторный комплекс в этакий «музей современного оборудования».

Работая у сильного «мастера» в качестве «подмастерья» никаких гарантий у вас нет, но у вас есть хотя бы шанс перенять его практики, а работая пусть и лояльного, но пустого преподавателя, в т.ч. профессора, коих у нас в стране немало, у вас нет никаких шансов в принципе. В лучшем случае он воспроизведет в вас себя, непрофессионала и приспособленца. Человек попросту не может дать того, чего у него у самого нет.

Поэтому главный принцип рейтинга вузов России «Национальное признание» – это оценка вуза через его ключевой персонал – основной профессорско-преподавательский состав, т.е. тех, кто считает этот вуз своим основным местом работы.

Это основной, но не единственный принцип. Хотя сейчас существует масса общих, т.н. институциональных рейтингов, мы считаем, строго говоря, не бывает ни полностью плохих, ни полностью хороших вузов. Каждый вуз, если хорош, то хорош не вообще, а в чем-то конкретном. Даже МГУ без сомнения хорош в большинстве фундаментальных предметов, но может оказаться вполне посредственным вузом по каким-то прикладным, технологическим предметам, которые в нем ведутся, но далеко не на топовом уровне. И это нормально.

И, наоборот, даже внешне достаточно слабый вуз, в какой-либо конкретной области, может оказаться крепким вузом с хорошим преподавательским персоналом, интегрированным в соответствующее профессиональное сообщество.

Сейчас, как правило, предметные рейтинги вузов, если и делаются, то, как побочный продукт общего рейтинга. Издержками такого подхода выступает невозможность охватить абсолютное большинство вузов, «разрешающая способность» при таком подходе позволяет проранжировать только сильнейшие вузы в предмете.

Отсюда второй принцип, связанный с ранжированием вузов «снизу» (т.е. «от людей»), сначала вуз получает оценку его значимости для каждого предмета, в которых он ведет свою деятельность, а потом сумма этих оценок дает его совокупную оценку для общего рейтинга.

Определяя, что конкретно подлежит оценке в разрезе персонала по предметам, мы сразу отсекли большинство показателей, измеряемых другими рейтингами.

Средний балл ЕГЭ зачисленных, на котором построен очень интересный предметный рейтинги ВШЭ, мы не брали, т.к. это только впечатление (репутация) вуза в глазах абитуриентов, и этот показатель может быть деформирован в ходе агрессивной или, наоборот, невнятной стратегии продвижения. Соответственно, в первом случае мнение абитуриентов о вузе будет завышено относительно реального положения дел, а во втором, наоборот, занижено.

Аналогично, не учитывались данные о средней зарплате после окончания вуза (на эту тему есть интересный рейтинг SuperJob). Во-первых, это впечатление о вузе в глазах рекрутеров (оно очень важно, но может оказаться ошибочным), а во вторых в условиях господства «серой зарплаты» все данные на предмет уровня оплаты труда пока грешат большими искажениями.

Не брались во внимание и многочисленные активности (олимпиады, научные конференции и пр.), проводимые в вузе, часть которых может быть «окрашена» в профессорско-преподавательский состав. В отсутствие единых и строго применяемых требований к ним, а также каких-либо убедительных доказательств, что их число влияет на качество подготовки, целесообразность учета этого «нагрева среды» сомнительна.

Поскольку настоящие компетенции (не формальные, которые прописаны во ФГОС ВО) могут быть сформированы только в результате вовлечения студентов в реальную деятельность, а не совместное пересказывание в аудитории по ролям чужих учебников, то и измерять нужно соответствие преподавателей этой самой реальной деятельности.

Мировая практика еще со времен Вильгельма фон Гумбольдта, реформировавшего немецкую систему образования в Германии в начале 19-го века, говорит, выделяет в качестве такой универсальной доминанты для большинства областей человеческой жизни научно-исследовательскую деятельность.

Из этого вытекает третий принцип нашего рейтинга – универсальным измерителем качества научно-педагогического персонала вуза является признание национальным (российским) профессиональным сообществом его научных, инновационных и научно-практических достижений.

Другими словами, считает ли российское научное профессиональное сообщество, а это без малого более полумиллиона человек, профессуру, исследователей и педагогических работников оцениваемого вуза по определенному предмету равными себе или нет.

Смысл этого тезиса заключается в том, что если человек в принципе достиг чего-то в своей профессиональной области и это признано широким академическим сообществом, то ему есть что дать своим ученикам. Вопрос, захочет ли он это делать и сможет ли он, т.е. обладает ли он соответствующими навыками передачи знаний и практик.

Опуская детали технологии оценки экспертного потенциала (мы это сделаем ниже в отдельном пункте), отметим только, что в основу этой оценки положены простые арифметические операции с индексом Хирша, оценивающем востребованность научных публикаций. Такой подход позволяет полностью исключить из оценки «информационный шум» в виде низкокачественных публикаций, на которые не поступает цитирований.

Таким образом, охватываются не только собственно научные журнальные и монографические публикации, но и все научно-практические работы, а также патенты на изобретения и полезные модели и даже отчеты по НИР, если они были проиндексированы национальными наукометрическими системами.

Четвертый принцип – поскольку рейтинг учитывает именно национальное признание в качестве номенклатуры предметных областей, был взят Государственный рубрикатор научно-технической информации (ГРНТИ, http://grnti.ru).

 

Алгоритм расчета количества рейтинговых баллов

Расчет количества рейтинговых баллов и рейтинговой позиции для каждого вуза проводился в пять этапов:

 

 

Этап 1 – формирование перечня предметов для рейтингования.

Из 69 направлений для рейтингования вузов, представленных в ГРНТИ, было отобрано 61 направление, по каждому из которых в Российской Федерации действует не менее 5 вузов. Таким образом, из числа направлений по которым будет вестись рейтингование, были исключены следующие темы, представленные менее, чем в 5 вузах России:

  • Комплексные проблемы общественных наук,
  • Науковедение,
  • Общественные науки в целом,
  • Общие и комплексные проблемы естественных и точных наук,
  • Патентное дело. Изобретательство. Рационализаторство,
  • Полиграфия. Репрография. Фотокинотехника,
  • Прочие отрасли экономики,
  • Стандартизация.

Этап 2 – составление персональных рейтинговых списков по предметам.

Составлялся рейтинговый список всех физических лиц, аффилированных с учреждениями Российской Федерации, чьи публикации проиндексированы в eLIBRARY.RU – Научной электронной библиотеке и учтены в Российском индексе научного цитирования (далее РИНЦ).

Ранжирование в этом списке делалось средствами указанного аналитического инструмента по индивидуальному индексу Хирша по РИНЦ (равен количеству проиндексированных научных публикаций автора, каждая из которых процитирована не меньшее число раз, чем количество этих публикаций). Т.е. люди сравниваются и ранжируются по наиболее удачным, востребованным своим статьям, а не по всему тому «информационному шуму», который они порождают.

В результате получаем нумерованный список, в ряде случае достаточно большой, например, по направление «Медицина и здравоохранение» в нашей стране работает более 75 тысяч человек.

Из списка не исключались сотрудники, прекратившие активную научно-педагогическую деятельность, а также умершие!!! сотрудники по двум основаниям. Во-первых, информация об этом в явном виде отсутствует в системах индексации (в неявном виде это можно установить только через фильтр по отсутствию свежих публикаций, но выбор любого временного горизонта для такого фильтра будет не бесспорен). Во-вторых, и это самое главное, и после своего физического ухода (в переносном или буквальном смысле) сложившиеся ученые зачастую сохраняют свое присутствие в вузе через своих учеников, сформированную научную школу, наработанные научные и другие партнерские связи, что формирует профессиональную репутацию вуза. И после смерти профессоров продолжают цитировать (т.е. правомерно заимствовать их идеи). Исключение их из системы оценивания нам представляется неправильным.

 

Этап 3 – нормирование списков и определение персональных баллов.

Физическое лицо из ранжированного списка, полученного на втором этапе, имеющее максимальное значение индекса Хирша в данной области (независимо от того, работает лидер в вузе, системе РАН или ином российском учреждении), принималось за единицу – один балл. Ели аффиляция с российским учреждением для человека отсутствовала, то он исключался из рейтинга и в качестве лидера брался следующий по уровню индекса Хирша.

Все остальные физические лица из списка получали дробное количество баллов, равное отношению их индекса Хирша к индексу Хирша лидера по данному предмету. Соответственно, персональное количество баллов для исследователя могло принимать любое дробное значение от «0», если индекс Хирша для него в системе РИНЦ не рассчитывается, до «1», включительно, если он и есть национальный лидер.

 

 

Этап 4 – расчет суммарного количества баллов вуза по предмету.

Суммарное количество баллов, набранных вузом по всем предметам, по которым он работает, проводилось путем простого суммирования количества баллов, набранных по этому предмету аффилированными с ним лицами.

Такая сумма может быть как менее единицы, если у него по данному направлению работает небольшая и не самая признанная группа, так и равняться десяткам, сотням или даже тысячам, если за этим скрываются крупные и признанные ведущие научные школы.

Здесь есть только один нюанс, на котором нужно остановиться отдельно. Если одно физлицо работает более, чем в одной предметной области, то происходит суммирование набранных им баллов более, чем один раз, что завышает позицию вуза в общем рейтинге. Мы так поступили, поскольку в разных областях им могут быть набрано разное количество баллов, а также, чтобы вузы, участвующие в межпредметных исследованиях, при прочих равных условиях, занимали более высокие позиции в рейтинге.

Метрика удобна, так как суммарное количество баллов, набранное вузом по предмету, можно легко интерпретировать как эквивалент количества «топовых» на уровне страны специалистов. Например, 25,2 по экономике «энского» университета можно выразить, как будто в нем работает 25 «топовых» экономистов, независимо от того, реально там работает 25-30 реально крутых или 250 весьма посредственных экономистов.

 

Этап 5 – составление рейтинговых списков вузов по предметам и их разделение на квартили.

На основе количества баллов по каждому из 61 предмета, рассчитанного на предыдущем этапе, вузы ранжировались от максимального значения к минимальному значению.

При этом, если по какому-либо предмету в вузе работает менее 5 физических лиц (аффилировано менее 5 человек), то набранные ими баллы учитываются в общем рейтинге вуза, но для этого вуза не рассчитывается место непосредственно по данному предметному рейтингу.

Рейтинг удобен, так как позволяет все вузы по каждому предмету разделить на 4 равные по числу вузов части:

  • Лучшие вузы (это и есть настоящее национальное признание),
  • Вузы выше среднего по стране,
  • Вузы ниже среднего по стране,
  • Слабые (точнее говоря, худшие) вузы.
Если Вы зайдете на страницу какого-либо предметного рейтинга, то обратите внимание, что первые 10 строк таблицы «Лучшие вузы» активны. Т.е. можно на них кликнуть и посмотреть на круговой диаграмме, кто из преподавателей и исследователей вуза какой вклад (в%) внес в позицию всего вуза.
 
 

Ограничения на использование рейтинга вузов

Как и любой инструмент, разработанный нами рейтинг вузов, имеет определенные ограничения. Есть ряд областей, в которых его ценность ниже, чем в других.

В первую очередь, это творческая область, охватывающая изобразительные и сценические искусства, музыку, архитектуру и пр., где есть сложившаяся альтернатива научно-исследовательской деятельности – реальная творческая деятельность со своей системой валидации в виде различных творческих конкурсов с их лауреатством и номинациями. Здесь рейтинг скорее измеряет не потенциал вуза в области искусства, а в области искусствоведения.

Близкая ситуация в области физической культуры и спорта, где имеется сложившая «вертикаль» спортивных соревнований, находящихся под патронажем соответствующих спортивных федераций. Поэтому рейтинг измеряет не столько спортивный потенциал вузов, сколько их экспертный потенциал в области методике тренерской деятельности и в области комплекса наук о физической культуре и спорте.

Не стоит переоценивать релевантность результатов рейтинга также применительно к области теологии (в силу специфики большинство трудов священнослужителей не индексируется в РИНЦ), здесь он также скорее ограничивается религиоведением.

И последняя область, где нужно подбирать другие инструменты, это военное дело (и военные науки вообще), где основные достижения, что называется, по определению являются закрытыми. Поэтому система открытой индексации здесь захватывает только малую толику, соответственно, результаты рейтингования строятся на очень неполных данных.

Также использование в рейтинге в качестве конечного измерителя научно-педагогического работника (и вообще исследователя) через их основную аффиляцию с российскими вузами в системе РИНЦ, а не отдельную публикацию или поступившие на нее цитирования также накладывает определенные ограничения на использование результатов рейтинга. 

Во-первых, сама система РИНЦ при расчете индекса Хирша не придает дополнительного веса цитированиям, поступившим из международных баз данных (например, Scopus и Web of Science). Это ставит в неравные условия вузы, продолжающие работать в широком сегменте русскоязычных научных изданий, и наиболее сильные, ведущие вузы, сфокусировавшиеся на международных изданиях, проиндексированных в БД Scopus и Web of Science. Индекс Хирша одного и того же исследователя в этих базах данных часто гораздо ниже, чем в РИНЦ.

Во-вторых, использование основной аффиляции, при которой один исследователь учитывается только в одном вузе, не позволяет то, что называется визитинг-профессоров и вообще «part-time». Это когда, работая в одном из учреждений, в т.ч. расположенных за рубежом, исследователь сотрудничает еще с несколькими вузами, с которыми аффилируются только отдельные его публикации.

Следствием обоих (последних) перечисленных обстоятельств является существенное снижение рейтинга «Национальное признание» для таких ведущих вузов, ориентированных на международное признание своего персонала и выпускников, как Новосибирский государственный университет, Университет Иннополиса, Сколтех, Российская экономическая школа, Европейский университет в Санкт-Петербурге и т.д.

Поэтому для оценки международного признания отечественных вузов лучше воспользоваться одним из ведущих международных рейтингов: QS, THE или ARWU.

Не оставайтесь один на один с проблемой своего выбора, присоединяйтесь к сообществу, чтобы узнавать новое и делиться знаниями

Оставь отзыв о вузе, прими участие в создании народного рейтинга вузов