Assessment of the efficacy of operations of R&D organizations

Abstract

Full Text

Нормативные документы Постановлением Правительства РФ от 08.04.2009 г. № 312 «Об оценке результативности деятельности научных организаций, выполняющих научно-исследовательские работы...» были утверждены Правила оценки основной научной деятельности учреждения [1]. Министерству образования и науки Российской Федерации совместно с заинтересованными федеральными органами исполнительной власти и государственными академиями наук поручалось разработать и утвердить: ■ типовое положение о комиссии по оценке результативности деятельности научных организаций, выполняющих научно-исследовательские, опытноконструкторские и технологические работы гражданского назначения; ■ типовую методику оценки результативности деятельности научных организаций, выполняющих научноисследовательские, опытно-конструкторские и технологические работы гражданского назначения. Федеральная служба государственной статистики ежегодно формирует статистическую информацию, содержащую сведения о результатах деятельности научных организаций, выполняющих научно-исследовательские работы гражданского назначения, и предоставляет ее в Федеральную службу по надзору в сфере образования и науки, которой поручено формировать и вести базы данных, содержащие сведения об итогах оценки результативности деятельности научных организаций. Вестник дерматологии и венерологии Редакционная статья л 15 В правилах оценки результативности деятельности научных организаций, выполняющих научно-исследовательские работы, указано [1]: «...Оценка результативности научных организаций проводится федеральными органами исполнительной власти или государственными академиями наук, в ведении которых они находятся (далее соответственно — федеральные органы исполнительной власти, государственные академии наук). Итоги оценки результативности деятельности научных организаций, проводимой в соответствии с настоящими Правилами, учитываются федеральными органами исполнительной власти и государственными академиями наук при: а) формировании для научных организаций перечня научно-исследовательских, опытно-конструкторских и технологических работ; б) определении объемов бюджетных ассигнований для подведомственных научных учреждений на выполнение научно-исследовательских, опытноконструкторских и технологических работ в пределах объемов бюджетных ассигнований, утвержденных соответствующему главному распорядителю бюджетных средств на соответствующий год; в) оптимизации сети научных организаций. Проведение оценки результативности деятельности научных организаций и содержание заключения о результативности их деятельности проводится в соответствии с правилами, типовым положением о комиссии по оценке результативности деятельности научных организаций (далее — типовое положение) и типовой методикой оценки результативности деятельности научных организаций (далее — типовая методика), утверждаемыми Министерством образования и науки Российской Федерации, и в соответствии с методикой оценки результативности деятельности научных организаций, разрабатываемой на основе типовой методики и утверждаемой федеральным органом исполнительной власти. Проведение оценки результативности деятельности научных организаций является обязательным и осуществляется 1 раз в 5лет...» Итогом оценки результативности деятельности научной организации является решение федерального органа исполнительной власти или государственной академии наук, в ведении которых находится научная организация, об отнесении научной организации к одной из категорий. На основе показателей оценки результативности деятельности научной организации она может быть отнесена к одной из следующих категорий: а) 1-я категория — научные организации — лидеры; б) 2-я категория — стабильные научные организации, демонстрирующие удовлетворительную результативность; в) 3-я категория — научные организации, утратившие научный профиль и перспективы развития. Научная организация подлежит отнесению к 1-й категории в случае, если является лидером отрасли (научного направления) в Российской Федерации либо показатели оценки результативности ее деятельности соответствуют мировому уровню при условии, что значения других показателей такой оценки — не ниже средних, а также она располагает потенциалом для дальнейшего развития и улучшения своей деятельности. Научная организация подлежит отнесению ко 2-й категории в случае, если показатели оценки результативности ее деятельности находятся на уровне средних в сравнении с показателями научных организаций, имеющих сходные цели и (или) осуществляющих деятельность в сходных условиях, и располагает потенциалом для развития и улучшения своей деятельности. Научная организация подлежит отнесению к 3-й категории, если она: а) располагает кадровыми, материально-техническими и иными ресурсами для осуществления профильных видов деятельности, но не показывает значимых научных результатов и не является при этом уникальной в соответствующей отрасли; б) не располагает кадровыми, материально-техническими и иными ресурсами для осуществления профильных видов деятельности. Федеральные органы исполнительной власти и государственные академии наук готовят для научных организаций, отнесенных к 1-й категории, рекомендации и (или) программы по укреплению и развитию их лидерства. Федеральные органы исполнительной власти и государственные академии наук готовят для научных организаций, отнесенных ко 2-й категории, рекомендации и (или) программы по развитию и улучшению их деятельности. Федеральные органы исполнительной власти и государственные академии наук принимают в отношении научных организаций, отнесенных к 3-й категории, решение или готовят в установленном порядке предложения по их реорганизации или ликвидации, а в отдельных случаях — по замене руководителя научной организации в соответствии с законодательством Российской Федерации. Федеральные органы исполнительной власти ежегодно формируют и ведут базы данных, содержащих сведения об итогах оценки результативности деятельности научных организаций, которые передаются в Федеральную службу по надзору в сфере образования и науки. Федеральная служба по надзору в сфере образования и науки обеспечивает опубликование информации об итогах оценки результативности деятельности научных организаций на своем сайте в сети Интернет. 16 L № 5, 2013 В Приказе Министерства образования и науки Российской Федерации от 14 октября 2009 г. № 406 «Об утверждении типового положения о комиссии по оценке результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, и типовой методики оценки результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения» были утверждены: типовое положение о комиссии по оценке результативности деятельности научных организаций и типовая методика оценки результативности деятельности научных организаций [2]. В приложении к типовой методике оценки результативности деятельности научной организации указаны показатели, касающиеся общей характеристики научного потенциала учреждения, включающие публикационную активность работников научной организации в Российском индексе научного цитирования (РИНЦ), цитируемость работников научной организации в РИНЦ, число публикаций и цитируемость работников научной организации в Web of Science и др., объекты интеллектуальной собственности. В направлении «Вовлеченность научной организации в национальное и мировое научно-образовательное сообщество» к критериям оценки отнесены участие в международном научно-техническом сотрудничестве и интеграция науки и образования. В направлении «Коммерциализация и прикладное значение результатов исследований» оцениваются эффективность использования инновационных технологий, взаимодействие с реальным спектром экономики и инновационная инфраструктура. В направлении «Кадровая обеспеченность научной организации» оцениваются обеспеченность исследователями и их структура, показатели подготовки научных кадров. В разделе «Ресурсная обеспеченность научной организации» приводятся критерии оценки обеспеченности научным оборудованием и необходимыми условиями научной работы. В разделе «Состояние финансовой деятельности научной организации» оцениваются доходы и расходы научной организации и структура внутренних затрат на исследования и разработки. В приложении 2 к приказу № 406 утверждена «Типовая методика оценки результативности деятельности научных организаций.», определяющая порядок проведения в соответствии с правилами оценки результативности деятельности научных организаций. Целью проведения оценки результативности деятельности научных организаций является формирование эффективной системы научных организаций, увеличение их вклада в социально-экономическое раз витие страны и повышение эффективности принятия управленческих решений в сфере науки. Оценка результативности деятельности научных организаций проводится на основе анализа и сопоставления показателей по следующим направлениям: ■ научный потенциал и эффективность научных исследований; ■ вовлеченность научной организации в национальное и мировое научно-образовательное сообщество; ■ коммерциализация и прикладное значение результатов исследований; ■ кадровая обеспеченность научной организации; ■ ресурсная обеспеченность научной организации; ■ состояние финансовой деятельности научной организации. Приказом Минобразования РФ № 409 от 29 мая 2013 г. «Об оптимизации сети диссертационных советов по защите диссертаций на соискание ученой степени кандидата наук, на соискание доктора наук» Департаменту аттестации научных и научно-педагогических работников было поручено в срок до 15 октября 2013 года подготовить предложения по внесению изменений в нормативные правовые акты, регламентирующие требования к результативной деятельности организации, на базе которых создаются советы по защите диссертаций на соискание ученых степеней кандидатов и докторов наук, и требования к результативности научной деятельности членов диссертационных советов [3]. Во исполнение приказа № 409 от 29.05.2013 г. была разработана система показателей и критериев оценки качества деятельности диссертационного совета на основе оценок научной результативности деятельности научной организации, на базе которого он создан, научной публикационной активности членов диссертационного совета, соискателей ученой степени, защитившихся в данном диссертационном совете, и результативности деятельности диссертационного совета. К октябрю 2013 года Высшей аттестационной комиссии поручено разработать методику оценки качества деятельности диссертационного совета на основе оценок результативности деятельности организации, на базе которой он создан, научной публикационной активности членов диссертационного совета, соискателей ученой степени и результативности деятельности диссертационного совета. В соответствии с указанным приказом в сети Интернет размещены одобренные решением Президиума ВАК Минобрнауки РФ формы для интерактивного заполнения организациями, на базе которых созданы диссертационные советы [4]. В срок до 20 ноября 2013 года ФГАНУ «Центр информационных технологий и систем органов исполнительной власти» поручено провести обработку полученных сведений по оценке качества деятельности диссертационного совета. Вестник дерматологии и венерологии Редакционная статья л 17 Организациям, на базе которых созданы диссертационные советы, в срок до 15 октября 2013 года необходимо обеспечить предоставление вышеуказанных сведений. Этим же приказом определено, что в срок до 25 ноября 2013 года Департаментом научно-педагогических работников Министерства образования и науки РФ будет проведен мониторинг деятельности диссертационных советов (далее — Мониторинг). Высшей аттестационной комиссией при Министерстве образования и науки РФ в срок с 25 ноября 2013 года по 25 января 2014 года на заседаниях экспертных советов ВАК будут рассмотрены результаты Мониторинга, включая перечень диссертационных советов, отвечающих одобренным решением Президиума ВАК при Министерстве образования и науки РФ показателям и критериям оценки качества деятельности диссертационного совета, и подготовлены предложения по оптимизации сети диссертационных советов с учетом отраслевых, региональных и федеральных приоритетов. Департаментом аттестации научных и научно-педагогических работников Министерства образования и науки на основании предложений ВАК при Министерстве образования и науки поручено организовать работу по формированию сети диссертационных советов, отвечающих перспективам развития науки, технологии, техники Российской Федерации. Для осуществления Мониторинга деятельности советов представляются сведения об организации, на базе которой создан диссертационный совет, включающие данные о научных и научно-педагогических работниках учреждения, сведения о НИР за 2010—2012 годы, сведения о публикациях и патентах и библиометрические показатели. На каждого члена диссертационного совета должна быть заполнена анкета, содержащая необходимые показатели для осуществления Мониторинга. Высшей аттестационной комиссией Министерства образования и науки РФ 20 августа 2013 года для общественного обсуждения вынесены рекомендации по внесению изменений подходов к публикации основных научных результатов диссертации. В Проекте рекомендаций прилагаются критерии для включения научно-практического журнала в Перечень рецензируемых научных журналов (далее — Перечень), в которых должны быть опубликованы основные научные результаты на соискание ученой степени [5]. Действие Перечня рецензируемых научных журналов, в которых опубликуются основные научные результаты на соискание ученой степени, утвержденного ВАК от 2 марта 2012 года, прекращается 1 апреля 2014 года. Научно-периодическим журналам и изданиям предложено в срок до 15 декабря 2013 года направить в ВАК Министерства образования и науки РФ подтверждения о соответствии журнала критериям для включения его в Перечень, а ВАК Министерства образования и науки РФ в срок до 1 марта 2014 года представить в Министерство образования предложения по формированию нового Перечня. Предусмотрен ежегодный пересмотр действующего Перечня. Соискателям ученой степени кандидата наук рекомендуется публиковать основные результаты диссертационного исследования (не менее трех), соискателям ученой степени доктора наук — не менее чем в десяти статьях в журналах, включенных в Перечень. Экспертным советам ВАК Министерства образования и науки РФ в срок до 15 декабря 2013 года необходимо представить предложения по исключению из перечня изданий, не соответствующих должному научному уровню, и предложения по расширению перечня систем цитирования (наукометрических баз) (достаточного условия включения журнала в Перечень). Рекомендовать с 1 апреля 2014 года соискателям ученой степени доктора медицинских наук апробировать основные научные результаты диссертационного исследования, представляя личный доклад на ведущей профильной конференции. Экспертным советам представлять в ВАК при Министерстве образования и науки РФ предложения по формированию перечня таких конференций. Согласно проекту рекомендаций критерии для включения научного журнала в Перечень состоят из достаточных условий (включение текущих номеров периодического издания хотя бы в одну из систем цитирования Web of Science, Scopus и др.) и необходимых условий [5]. К публикациям в журналах и изданиях, включенных в Перечень, приравниваются монография, отдельные главы в монографиях; авторский перевод источника на русский язык; патент на изобретения. В Приказе Министерства здравоохранения РФ № 451 от 11.07.2013 г. «О целевых показателях эффективности деятельности федеральных бюджетных и казенных учреждений, находящихся в ведении Министерства здравоохранения РФ, и критериях оценки эффективности и результативности деятельности их руководителей» указаны целевые показатели по разделам, касающимся основной деятельности учреждения, включающие научную и лечебную работу [6]. В указанных целевых показателях приводятся наукометрические критерии, полностью соответствующие указанным в Постановлении Правительства № 312 от 08.04.2009 г., Приказе Министерства образования и науки РФ № 406 от 09 05.2013 г. [1, 2]. Оценка результативности ученого и организации в международной практике В международной практике эффективность деятельности ученого и организации определяется количеством и качеством публикаций в научных журналах [7]. Существуют различные методы оценки ре 18 L № 5, 2013 зультативности научной работы. Наиболее простой и очевидный — подсчет числа опубликованных работ. Можно предположить, что чем больше количество публикаций, тем эффективнее работает исследователь. Но, несмотря на простоту, оценка числа публикаций имеет существенные недостатки. Так, не все опубликованные работы одинаково значимы для научного сообщества; в перечень опубликованных работ авторы часто включают тезисы, опубликованные в журналах, и материалы конференций; публикационная активность ученых в разных областях знаний неодинакова [7]. Стремление увеличить количество публикаций за короткий временной период приводит к неизбежному снижению их качества, а возможно, и к повторным публикациям своих же данных, что в настоящее время расценивается как разновидность плагиата [8, 9]. В последние годы для характеристики чрезмерной публикационной активности, имеющей целью повышение рейтинга исследователя, даже применяется выражение «Publish or perish» («Публиковать или погибнуть!») [10]. Помимо перечисленных недостатков числа публикаций как меры эффективности исследователя, есть и еще один важный вопрос, особенно актуальный для авторов из РФ: каким образом определить этот показатель? Очевидный ответ — с помощью международных библиографических баз данных (систем цитирования) Web of Science и Scopus. Web of Science — самая авторитетная в мире аналитическая база данных журнальных статей, объединяющая Science/Social Sciences/Arts&Humanities Citation Index, принадлежит компании Thomson Reuters. База данных включает в себя ссылки на полные тексты в первоисточниках и списки всех библиографических ссылок, встречающихся в каждой публикации (глубина архива — 20 лет) [11]. Доступ к Web of Science есть только у подписчиков (библиотек, научных центров, университетов). Scopus — самая большая мультидисциплинарная реферативная база в мире, представляемая издательской корпорацией Elsevier [12]. База данных обновляется ежедневно и индексирует более 18 000 наименований научно-технических и медицинских журналов примерно 5 000 международных издательств. В сравнении с Web of Science в Scopus индексируется больше журналов (включая издаваемые на национальных языках), что приводит к более релевантным результатам [13]. Как и в случае Web of Science, доступ есть только у подписчиков. Но как быть со статьями, опубликованными в российских журналах, не представленных в Web of Science и Scopus? Автор может узнать о количестве своих публикаций с помощью РИНЦ — национальной информационно-аналитической системы, аккумулирующей более 4,7 миллиона публикаций российских авторов, а также информацию о цитировании этих публикаций из более 4000 российских журналов [14]. Важно отметить, что РИНЦ не только предназначен для оперативного обеспечения научных исследований актуальной справочно-библиографической информацией, но является также и мощным инструментом, позволяющим осуществлять оценку результативности и эффективности деятельности научноисследовательских организаций, ученых, уровня научных журналов. Еще один способ оценки качества работы исследователя — число цитирований, или индекс цитиру-емости. Цитирование другими авторами, особенно в значимых журналах с высоким импакт-фактором, более объективно отражает востребованность работ ученого, чем общее количество публикаций [7]. С момента создания Института научной информации (ISI) в 1960 году именно индекс цитируемости — основная мера эффективности ученого. Но и этот метод не лишен недостатков. Например, практика цитирования существенно различается в разных областях знаний — работы по молекулярной биологии цитируются значительно чаще, чем по математике [15]. Большой индекс цитирования может быть обусловлен одной часто цитируемой работой, в то время как остальные статьи автора по разным причинам не цитируются или цитируются реже. Чаще цитируются статьи на английском языке, чем на национальных [16]. Индекс цитируемости, как и число публикаций, можно получить с помощью Web of Science и Scopus, а для российских медицинских журналов — РИНЦ. С учетом различий в источниках перечисленных систем цитирования у одного и того же российского автора могут быть два или три разных значения индекса цитируемости. Индекс Хирша В качестве альтернативы количеству публикаций и индексу цитируемости в 2005 году был предложен h-индекс, или индекс Хирша [17]. Автор, американский физик Jorge Hirsch, рассматривает преимущества и недостатки имеющихся наукометрических показателей — общего числа публикаций, общего числа цитирований, числа цитирований на статью (отношение числа процитированных статей к числу опубликованных), числа значимых публикаций, процитированных не менее чем произвольно определяемое количество раз (например, 50), и предлагает новый показатель, учитывающий не только количество, но и качество публикаций. По определению автора: «Ученый имеет индекс h, если h его Np статей имеет по меньшей мере h цитирований каждая и оставшиеся (Np — h) статьи имеют h цитирований каждая» (где Np — число опубликованных статей) [17]. Индекс Хирша будет равен 3 в случае, если ученым были опубликованы как минимум 3 работы, каждая из которых была процитирована 3 и более раз. По мнению автора и применительно к исследованиям по физике, h-индекс, рав Вестник дерматологии и венерологии Редакционная статья л 19 ный 18, соответствует званию профессора, 15—20 — членству в Американском физическом обществе [17]. К недостаткам индекса Хирша следует отнести его зависимость от продолжительности научной карьеры (длительности публикационной активности) ученого — чем она короче, тем ниже h-индекс [18], различные значения получаемого показателя при использовании разных систем цитирования, неизменность h-индекса в том случае, если автор не публикует новые работы на протяжении 15—20 лет [7]. Сохраняется также зависимость цитирований и, соответственно, h-индекса, от традиций цитирования в конкретной области науки. Применительно к медицине статьи, посвященные фундаментальным исследованиям, цитируются значительно чаще работ в области клинической медицины, что приводит к занижению h-индекса авторов [19]. Предложены модификации индекса Хирша — g-индекс и e-индекс [20]. G-индекс был предложен L. Egghe в 2006 г. и, в отличие от h-индекса, зависит от точного количества цитирований часто цитируемых статей [21]. Таким образом, g-индекс ученого как минимум равен h-индексу, а во многих случаях превышает его. В 2009 году в дополнение к индексу Хирша для оценки часто цитируемых авторов и сравнительной оценки ученых с одинаковым h-индексом был предложен e-индекс [22]. Можно ли рассчитать g-индекс и e-индекс автора вместе с индексом Хирша, количеством публикаций и числом цитирований? Да, такую возможность предоставляет Google Scholar (официальный русский перевод — Google Академия) — свободно доступная поисковая система, которая обеспечивает полнотекстовый поиск научных публикаций всех форматов и дисциплин. Google Scholar включает в себя большинство рецензируемых журналов Европы и Америки крупнейших научных издательств и отображает общее число цитирований публикации [23]. При установке дополнительного приложения (калькулятора) для браузеров Google Chrome и Mozilla Firefox [24] отображаются суммарное число цитирований автора, индекс Хирша, g- и e-индексы (рисунок). Сравнение числа цитирований, полученного с помощью Web of Science, Scopus и Google Scholar, проводилось уже в 2009 году, через 5 лет после появления двух последних систем цитирования. При анализе цитирований трех наиболее значимых общемедицинских журналов — JAMA, Lancet и New England Journal of Medicine — обнаружена меньшая точность цитиро- Google autbontubanova a a" Академия Реэуяьтак* причерти гг (О.та се») Rrtotr* гОо« члгук QyotW auihor «те * wor<s mjichng J эе 1г* сгкиодг tfOH tti* AtfyncX InfrUc*клрк141*№» (cempwMd «W Ц4ГВЧ*4444П C4ibm 4«Ч*Л ММ 15i 4 11 9 1 9 рвганцНнпЬр 63 5 3 6 s 06 22 ****** m г 4 J l 5 67 Data со irtfeo mgTil not be enough for compulma indites ч&\\*ъ ht ►Hi I1 ш H -Ww За не вр^мт С 3013 с ипг C 2009 Выбрать дать Со*ет по ит<иу janpoty вы можете калтн ся'ты на aj^ne учить прмлочтптелщые йыки аля Direct Baderiaf Profiling by Matrix-Assisted Laser Desorplion- Ionization Time-of-Fligtit Mass Spectrometry for Identification of Pathogenic< i> Neisseria<fi> en iiirq AD вагодклу4 мм MaaKfiava - The Journal of Mdefuar .. 2009 - Elsevier The pf«*rtt study (htiiigalH suitahlty ofdiwtl Owterrai profiling и a toot for me DenSlcgbOn ad wMyping of pantogenfc Hresena The jertu;. rjeissena nckides two human patfwjeni niewena теплдов anj net»ena jonemtQe* «well н sevetaf _ цитируете* 62 noiOMietTjiwi все крсин статьи (99 цитировать Рисунок. Представление данных о результативности автора в Google Scholar (Google Академии) 20 к № 5, 2013 ваний Google Scholar в сравнении с двумя другими системами цитирования, объясняемая автоматизированным алгоритмом поиска цитирующих публикаций [13]. Испанские авторы в недавно опубликованном исследовании сравнили значения индекса Хирша, получаемые с помощью Google Scholar, Web of Science и Scopus [25]. Обнаружено, что Google Scholar завышает значения h-индекса на 30% в сравнении с Web of Science и на 15% — в сравнении со Scopus. Однако эти различия не были существенными, и авторы считают Scholar ценным инструментом исследователя, работающего в области медицины как для поиска релевантной информации, так и для получения библиометрических показателей [25]. Заключение Таким образом, все рассмотренные показатели результативности научной работы имеют свои достоинства и недостатки. То же самое можно сказать и в отношении инструментов для получения этих показателей — информационно-аналитических систем цитирования. Только взвешенный и всесторонний подход, совместное применение показателей эффективности научной деятельности и одновременное использование разных систем цитирования позволяют получить истинное, объективное представление о значимости работ ученого и о результативности научной организации.