МИНИСТЕРСТВО ЗДРАВООХРАНЕНИЯ
РЕСПУБЛИКИ КАЗАХСТАН
РГП «ИНСТИТУТ РАЗВИТИЯ ЗДРАВООХРАНЕНИЯ»
НАУЧНО-МЕДИЦИНСКАЯ ЭКСПЕРТИЗА В СИСТЕМЕ ОБЕСПЕЧЕНИЯ КАЧЕСТВА НАУЧНЫХ ИССЛЕДОВАНИЙ В ОБЛАСТИ ЗДРАВООХРАНЕНИЯ
Методические рекомендации
г. Астана, 2011
УДК
ББК
Научно-медицинская экспертиза в системе обеспечения качества научных исследований в области здравоохранения. – Методические рекомендации. – Астана. – 2011. - _
с.
ББК
Данные методические рекомендации предназначены для использования Министерством здравоохранения и организациями медицинской науки Республики Казахстан. Использование предложенного регламента и принципов научно-медицинской экспертизы даст возможность проводить независимую оценку научной продукции – проектов и отчетов научно-технических программ по прикладным научным исследованиям в области здравоохранения..
Одобрено и рекомендовано Республиканским центром инновационных технологий медицинского образования и науки Министерства здравоохранения Республики Казахстан. (протокол от «__»________________ года № ____).
(С)
2011 г.
Перечень сокращений
| ГНТЭ |
государственная научно-техническая экспертиза |
| ВУЗ |
высшее учебное заведение |
| НИИ НИР |
научно-исследовательский институт научно-исследовательская работа |
| НЦ |
научный центр |
| НТП |
научно-техническая программа |
| GCP |
Good Clinical Practice |
| GLP GCLP QPBR |
Good Laboratory Practice Good Clinical Laboratory Practice Quality Practice in Biomedical Research |
Содержание
| ВВЕДЕНИЕ…..…...……………………………………………… |
5 |
| Научно-медицинская экспертиза в системе обеспечения качества научных исследований в области здравоохранения |
|
| 1. Анализ отечественного опыта научно-технической экспертизы |
|
| 2. Анализ международного опыта оценки научно-исследовательских работ |
|
| 3. Анализ международного опыта разработки критериев научно-медицинской экспертизы |
|
| 4. Порядок проведения научно-медицинской экспертизы в системе здравоохранения Республики Казахстан |
|
| 4.1. Порядок проведения научно-медицинской экспертизы проектов научно-технических программ и бюджетных заявок |
|
| 4.2.Порядок проведения научно-медицинской экспертизы проектов научно-технических программ и бюджетных заявок |
|
| ЗАКЛЮЧЕНИЕ …………………………………………………... |
|
| СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ ……………... |
|
| ПРИЛОЖЕНИЯ ………………………………………………….. |
Научно-медицинская экспертиза в системе обеспечения качества научных исследований в области здравоохранения
1.
Анализ отечественного опыта научно-технической экспертизы
Появления конкурентоспособных разработок отечественных ученых является необходимым условием на пути интеграции казахстанской медицинской науки в международное исследовательское пространство. В этой связи Министерством здравоохранения Республики Казахстан в качестве одной из важнейших и приоритетных задач стратегического развития отрасли определено повышение качества научных исследований в области здравоохранения.
Необходимость принятия действенных мер в сфере контроля качества прикладных научных исследований отмечена в Концепции реформирования медицинской науки Республики Казахстан на 2008-2012 годы, утвержденной приказом Министра здравоохранения Республики Казахстан № 79 от 19 февраля 2008 года. В рамках реализации Концепции в последние годы осуществляется постоянное обучение научных сотрудников методологии проведения научных исследований в соответствии с международными стандартами и требованиями, разработаны и внедрены эффективные инструменты оценки деятельности организаций науки – система индикаторов реализации Концепции и методология ранжирования организаций медицинской науки. Одним из ключевых мероприятий требующих дальнейшего внедрения в системе отечественной медицинской науки является проведение независимой научно-медицинской экспертизы.
Принятие в 2009 году Кодекса Республики Казахстан "О здоровье народа и системе здравоохранения" заложило правовые основы для введения научно-медицинской экспертизы в системе отечественного здравоохранения. При этом определен перечень объектов, подлежащих научно-медицинской экспертизе: проекты программ фундаментальных и прикладных научных исследований; республиканские целевые научно-медицинские программы; результаты завершенных научно-медицинских программ; научные работы, выдвигаемые на соискание государственных наград Республики Казахстан; научно-медицинские разработки, планируемые для внедрения в практику здравоохранения.
Порядок проведения научно-медицинской экспертизы определяется уполномоченным органом – Министерством здравоохранения РК и должен быть основан на международных критериях оценки качества научных исследований.
Отсутствие чёткого регламента и каких либо инструктивных документов в области научно-медицинской экспертизы в системе отечественного здравоохранения определяют высокую актуальность проведения исследований и разработок в данной области.
Безусловно, в основе механизмов отраслевой системы оценки качества научных исследований должны лежать общепринятые в научной сфере принципы экспертной оценки научных исследований и, в частности, принципы используемые при проведении государственной научно-технической экспертизы (ГНТЭ). ГНТЭ это система оценочных действий и выводов, организуемая центральным исполнительным органом, осуществляющим руководство в области науки и научно-технической деятельности – Министерством образования и науки Республики Казахстан – для получения независимой аналитической оценки объекта экспертизы – проектов и отчетов научно-технических программ [1].
В основе проведения ГНТЭ лежат такие принципы как независимость и объективность; компетентность и высокий профессиональный уровень лиц и организаций, проводящих экспертизу; ориентация на мировой уровень развития науки и техники, соблюдение норм и правил технологической и экологической безопасности, требований стандартов; системность организации экспертной работы и ее нормативного и научно-методического обеспечения; полнота и достоверность используемой и вырабатываемой информации; ответственность за достоверность, полноту и обоснованность экспертных рекомендаций и комплексность, заключающаяся в оценке научно-технических, экономических, экологических и социальных последствий реализации объекта экспертизы; общественная открытость [2].
ГНТЭ основана на экспертной оценке научного исследования по таким параметрам как общая актуальность для развития науки, соответствие полученных результатов поставленным задачам исследований, соответствие потребностям социально-экономического развития Республики Казахстан, новизна, научная и практическая значимость полученных результатов НИР, отличие исследований по данному проекту от ранее проведенных (проводимых) НИР в РК и странах зарубежья, уровень апробации полученных результатов (научные публикации, доклады на конференциях, предпатенты, патенты и др.) и их готовности к реализации, возможности экспорта и импортозамещения, конкурентоспособность полученной научно-технической продукции на внутреннем и внешнем рынках [2].
2. Анализ международного опыта оценки научно-исследовательских работ
Анализ международного опыта показывает наличие специализированных критериев, используемых для оценки научных исследований как на этапе планирования проекта, так и на этапе представления отчетов по завершенным исследованиям.
Совет по научным исследованиям Швеции
(
Swedish Research Council)
являющийся непосредственным правительственным агентством, отвечающим за обеспечение качества научных исследований в качестве ключевых критериев при оценке качества научных проектов заявляемых к финансированию со стороны государства использует следующие критерии [3]:
Критерий научного качества «Научное превосходство» (
Scientific
quality
"
Scientific
excellence
")
– показатель, характеризующий:
- разумность концепции и качество поставленных целей и задач,
- возможность продвинуться в достижении нового;
- качество и эффективность, выбранной методологии исследования и соответствие её плану исследования;
Критерий возможности внедрения проекта «Качество и эффективность внедрения и менеджмента» (
Project
implementation
"
Quality
and
efficiency
of
the
implementation
and
the
management
")
– показатель, характеризующий:
- уместность запланированных мероприятий,
- качество и опыт индивидуальных участников исследования,
- достаточность выделенных ресурсов (бюджет, штат, оборудование).
Критерий значимости «Потенциальная значимость развития, диссеминации и использования результатов проекта» (
Impact
“
Potential
impact
through
the
development
,
dissemination
and
use
of
project
results
”)
– показатель, отражающий:
- вклад проекта, как на национальном и европейском уровне;
- уместность мер для распространения и/или использования результатов проекта и управления интеллектуальной собственностью.
Каждый критерий оценивается по пятибальной шкале.
Оценка указывает каков уровень достижения каждого критерия в данном проекте:
0 - Заявка на проект не может быть оценена по данному критерию из-за отсутствия или недостаточности представленной информации
1 - Очень плохой. Критерий отражен в поверхностной и неудовлетворительной манере.
2 - Плохой. Есть серьезные неотъемлемые слабости относительно рассматриваемого критерия.
3 - Достаточный. Несмотря на то что заявка на проект раскрывает данный критерий достаточно широко, есть существенные слабости, которые нуждаются в исправлении.
4 - Хороший. Заявка на проект освещает данный критерию хорошо, хотя возможны определенные усовершенствования.
5 - Превосходный. Заявка на проект успешно освещает все соответствующие аспекты рассматриваемого критерия. Любые недостатки незначительны.
Заявки на проект представляются университетами, научно-исследовательскими институтами и другими общественными исследовательскими организациями в соответствии с установленными критериями преемственности.
При этом, эксперты оценивают каждый проект по соответствию критерию целиком, а не отдельным его подкритериям. Подкритерии - вопросы, которые эксперт должен рассмотреть в оценке данного критерия.
Процедура оценки включает следующие шаги:
1. Первый шаг включает самооценку преемственности каждой заявки. Каждая заявка должна удовлетворять соответствующим национальным критериям преемственности.
2. Второй шаг заключается в индивидуальной оценке заявки экспертами/представителями, назначенными Советом.
3. Третий шаг - коллегиальное рассмотрение заявок на основе индивидуальных оценок и принятие решения о выделении финансирования.
Эффективные инструменты оценки заявок на научные проекты используются Е
вропейской
комиссией, организующей конкурсы в рамках Седьмой рамочной программы
FP7
[4,5]. При этом независимые эксперты осуществляют оценку представленных проектов по трем основным критериям:
Критерий научной и технологической новизны (Science and technology criterion)
– включающий оценку:
- верности концепции и качества целей (Soundedness of concept and quality of objectives) – данный показатель оценивает собственно идею проекта
- новизны (Progress beyond state-of-the-art) – по данному показателю необходимо продемонстрировать знание того, что есть (данные литературного обзора), а затем просто и ясно сказать, что будет сделано нового;
- качества и эффективности предлагаемой научной/технологической методологии и плана работ – данный показатель отражает оценку разбивки целей на задачи и подзадачи, показывающую, что исследователь знает, как будет решать задачу, которую сам себе поставил.
Критерий возможности внедрения проекта (Implementation)
– включающий оценку:
- адекватности структуры и процедур менеджмента проекта;
- адекватности уровня и опыта каждого участника;
- качества консорциума как целого коллектива (взаимное дополнение и баланс областей компетентности участников);
- адекватности распределения ресурсов (людей, оборудования) и его обоснования.
Критерий значимости проекта (
Impact
),
включающий оценку:
- соответствия итога (contribution) ожидаемому импакту, указанному в рабочей программе проекта;
- адекватность мер, принятых для распространения (dissemination) результатов проекта, и учет вопросов интеллектуальной собственности.
Каждый критерий оценивается от 0 до 5 баллов с возможностью оценки отдельных подкритериев. Независимые эксперты проводят оценку заявок согласно рекомендациям Европейской Комиссии по единой схеме, исходя из установленных критериев. Для прохождения заявки по каждому из критериев должно быть набрано не менее 3 баллов из 5 возможных, а суммарная оценка должна быть не менее 10 баллов (максимальный балл - 15). По каждому из критериев возможна оценка с использованием половинных баллов (т.е. 3,5, 4,5 и т.п.). Рассмотрение заявки прекращается, если по одному из критериев набрано 2 и менее баллов. Оценка заявок проводится закрыто и дистанционно, подающий заявку узнает только о конечном решении экспертов.
Вместе с тем, специфика проведения исследований в области здравоохранения, включающая вопросы этического регулирования и возможности дальнейшего применения разработок в медицинской практике, а также необходимость соблюдения специализированных стандартов научных исследований в области здравоохранения (GLP, GCP, GCLP, QPBR и др.) требует включения в процесс экспертизы ряда специфических критериев и показателей.
3. Анализ международного опыта разработки критериев научно-медицинской экспертизы
Разработка эффективных критериев для проведения научно-медицинской экспертизы является важным условием для внедрения научно-обоснованных принципов принятия управленческих решений уполномоченными органами в области здравоохранения.
Изучение международного опыта свидетельствует о наличии специфических инструментов и определенного общепринятого перечня критериев оценки качества научных исследований в области здравоохранения.
К критериям оценки научных и исследовательских проектов финансируемых в рамках грантовых программ, организуемых Национальным институтом здоровья США (
National
Institute
of
Health
,
USA
) [5]
и его афилиированными центрами (Национальный институт рака и др.) относятся:
Критерий значимости (
Significance
),
основанный на оценке проекта со следующих позиций:
- насколько важную проблему планируется изучать;
- если цели достижимы, как это будет способствовать развитию научных знаний и клинической практики;
- как результаты изучения будут влиять на концепции, методы, технологии, способы лечения, услуги и профилактические мероприятия, используемые в данной области медицины.
Критерий оценки методологического подхода (
Approach
),
основанный на оценке проекта с позиций:
- насколько адекватно разработаны, интегрированы и мотивированы концептуальная и клиническая структура, дизайн, методы и анализ в отношении целей и задач проекта;
- насколько полноценно заявитель проекта распознал потенциальную проблемную область и рассмотрел все возможные альтернативы.
Критерий инновационности (
Innovation
) ,
основанный на оценке проекта с позиций:
- насколько проект оригинален и инновационен, т.е. например, насколько проект бросает вызов существующим парадигмам и клинической практике, направлена ли инновационная гипотеза на развитие определенной области.
- предполагает ли проект разработку новых концепций, подходов, методологий, инструментов и технологий в изучаемой области здравоохранения.
Критерий оценки кадрового потенциала (
Investigators
),
основанный на оценке проекта с позиций:
- насколько соответствующе подготовлены исследователи для выполнения данного исследования;
- насколько заявляемый проект соответствует уровню опыта исследователей, вовлекаемых в проект;
Критерий оценки среды проекта (Environment), основанный на оценке проекта с позиций:
- насколько научная среда вносит вклад в возможность достижения успешных результатов;
- какую извлекает пользу заявляемое исследование из научной среды проекта и вовлекаемой в проект популяции, или использует возможные пути сотрудничества;
- имеется ли подтверждение институциональной поддержки.
Согласно Инструкции «Оценка планируемых и завершенных научно-исследовательских и опытно-конструкторских разработок», разработанной Министерством здравоохранения Республики Беларусь (05 декабря 2006 года, Регистрационный № 175-1206) предложен ряд критериев оценки планируемых и завершенных научно-исследовательских и опытно-конструкторских работ (НТП) в системе Минздрава Республики Беларусь [6].
Планируемые НТП
оцениваются по трем направлениям: характеристика идеи темы НТП (критерий «новизна»), характеристика ожидаемого результата критерий «значимость для науки и практики»), характеристика исполнителей и вероятности положительного решения проблемы (критерий «объективность»).
Критерий «новизна»
отражает наличие в ожидаемых результатах научной деятельности новых научных знаний, которые могут характеризоваться в пределах от уже известного (новизна отсутствует, идея темы общеизвестна -- оценивается в «0» баллов) до высокой (исследование проводится впервые в мире, планируется получить конкурентоспособный научный результат, соответствующий мировой новизне -- оценивается в 7–10 баллов). Промежуточное значение занимают показатели критерия «относительно высокая научная новизна» – характеризует планируемые темы НТП, выполняемые впервые в стране (оцениваются в 4–6 баллов) и «недостаточно высокая научная новизна», характеризующая исследования, новизна которых будет на уровне учреждения-исполнителя (оценивается в 1–3 балла).
Критерий «значимость для науки и практики»
раскрывается через следующие показатели:
Показатель «степень воздействия ожидаемого результата на науку и практику»
, отражающий степень воздействия ожидаемого научного результата на науку, экономику, социальную сферу, практику здравоохранения, которое может быть: высоким – окажет кардинальное воздействие на дальнейшее развитие науки и практики (оценивается в 7–10 баллов), относительно высоким – окажет существенное воздействие на дальнейшее развитие науки и практики (оценивается в 4–6 баллов), недостаточно высоким (оценивается в 1–3 балла), значимость отсутствует – не будет иметь значения для развития науки и практики (оценивается в «0» баллов).
Показатель
«актуальность планируемой НТП»
, отражающий предполагаемую степень соответствия идеи планируемой НТП запросам науки и практического здравоохранения. Этот показатель может быть высоким, если имеет первостепенное значение для науки и практики (оценивается в 7–10 баллов), относительно высоким, если исследование имеет важное значение для дальнейшего развития науки и практики (оценивается от 4 до 6 баллов), недостаточно высоким, если исследование имеет определенное значение для науки и практики (оценивается в 1–3 балла) или неактуальным, если планируемое исследование не соответствует запросам и задачам науки и практики (оценивается в «0» баллов).
Показатель «оценка уровня ожидаемого эффекта от внедрения»
, выражающийся в лечебно-профилактическом, социальном, экономическом и научном эффектах.
Лечебно-профилактический эффект характеризуется улучшением методов профилактики, диагностики и лечения заболеваний и выражается в снижении заболеваемости, сокращении сроков лечения, снижении инвалидности, смертности и т.п.
Социальный эффект характеризуется степенью влияния научных разработок на общественное здоровье и выражается в увеличении продолжительности жизни, естественного прироста населения, укреплении здоровья, повышении качества жизни, улучшении условий труда, охраны окружающей среды и повышении качества медицинского обслуживания.
Экономический эффект отражает снижение затрат при оказании медицинской помощи и повышение производительности общественного труда, в том числе получение прямой экономии от освоения научных разработок в медицине и здравоохранении, выпуска более эффективных лекарственных средств и медицинской техники, увеличения импортозамещения и экспорта технологий и разработок.
Научный эффект характеризуется уровнем прироста новой научно-медицинской информации (знаний), полученной в ходе выполнения разработки.
Каждый из этих видов эффекта оценивается в пределах от 1 до 10 баллов в зависимости от предполагаемого уровня, значимости и масштаба внедрения. Отсутствие эффекта от внедрения, или указание, что он не планируется, оценивается в 0 баллов
При наличии нескольких видов эффекта в сумме эффект от предполагаемого внедрения не должен превышать 10 баллов. При этом для фундаментальных НИР показатель «оценка уровня ожидаемого эффекта от внедрения» может быть исключен из анализа и, соответственно, из суммы баллов.
Критерий «объективность»
раскрывается через следующие показатели:
Показатель «методический уровень и материально-техническая база планируемого исследования»,
характеризующийся степенью научной обоснованности ожидаемых результатов: оценку методического уровня предполагаемого исследования и материально-технической базы исполнителя (с градацией «высокий», «относительно высокий», «недостаточно высокий», «низкий», оцениваемых от 10 до 0 баллов).
Показатель «квалификация основных исполнителей»
дифференцирует исполнителей по теме исследования на соответствующих и не соответствующих уровню планируемого исследования (да, нет).
Показатель «наличие задела»
отражает наличие положительных результатов, подтверждающих правильность выбранного направления, наличие публикаций по теме исследования и т.д. и оценивается с градацией от 10 до 0 баллов.
Показатель «обоснованность сроков выполнения НТП»
отражает обоснованность сроков выполнения планируемой НТП (сроки занижены, обоснованы, завышены). Показатель оценивается качественно (да, нет) и, если возможно, с указанием % занижения или завышения.
Показатель «финансовая обоснованность НТП»
отражает степень финансовой обоснованности планируемой темы НТП (стоимость занижена, обоснована, завышена). Показатель оценивается качественно (да, нет) и, если возможно, с указанием % занижения или завышения.
Оценку планируемых НТП на первом этапе осуществляют Ученые советы организаций--исполнителей. После получения положительного заключения Ученого совета по месту исполнения планируемая НТП проходит экспертизу в одной из экспертных комиссий при Ученом медицинском совете МЗ РБ. Каждый эксперт экспертной комиссии выставляет балльные оценки на каждое из рассматриваемых НТП. После этого данные суммируются по каждому критерию и усредняются, что позволяет нивелировать субъективизм отдельных экспертов по тем или иным критериям. Рекомендуются к планированию темы НТП, набравшие высокую или удовлетворительную сумму баллов по всем оцениваемым критериям.
Оценка завершенных НТП
осуществляется в баллах по следующим критериям: критерий «новизна», критерий «значимость для науки и практики», критерий «доказательность и точность».
Критерий «новизна»
отражает наличие в полученных результатах новых научных знаний (новой научной информации), новизны технологий, которые могут характеризоваться по уровню новизны по следующим градациям: «высокая» – результаты исследования имеют мировую новизну, нет аналогов в мировой науке и практике, наличие изобретений и патентов (оцениваются в 7–10 баллов), «относительно высокая» – новизна на уровне республики, наличие рацпредложений (оценивается в 4–6 баллов), низкая – новизна соответствует уровню отдельного НИО (оценивается в 1–3 балла).
В темах НТП, не являющихся охраноспособными, вместо изобретений (патентов) и рацпредложений уровень новизны характеризуется такими результатами, как разработка нормативно-правовых, нормативно-технических и инструктивно-методических документов, утвержденных на уровне республики или отраслевого министерства.
Критерий «значимость для науки и практики»
раскрывается через следующие показатели:
Показатель «степень научной значимости».
Показатель отражает степень воздействия полученного научного результата на развитие науки, научных направлений и научных школ, которое может быть: «высокое» – кардинально влияющее на дальнейшее развитие науки в сфере исследования (оценивается в 7–10 баллов), «относительно высокое» – существенно влияющее на дальнейшее развитие науки в сфере темы исследований (оценивается в 4–6 баллов), «низкое» – оказывающее некоторое позитивное влияние на развитие науки в сфере исследования (оценивается в 1–3 балла). При оценке завершенных НТП по данному критерию принимают во внимание наличие публикаций в зарубежной печати, выступление на зарубежных научных форумах и т.д.
Показатель «значимость для практики».
Показатель отражает степень (масштаб) воздействия полученного научного результата на практику: здравоохранение, социальную сферу, экономику, которое может быть: «высокое» – кардинально влияющее на практику в сфере здравоохранения (оценивается в 7–10 баллов), «относительно высокое» – существенно влияющее на практику в сфере здравоохранения (оценивается в 4–6 баллов), «низкое» – оказывающее некоторое позитивное влияние на практику в сфере здравоохранения (оценивается в 1–3 балла).
Показатель «уровень и объемы внедрения».
Показатель отражает масштаб и уровень внедрения результатов НТП, наличие и величина экономического, социального, лечебно-профилактического эффекта в народном хозяйстве или в практике здравоохранения. Этот критерий может быть«высокий» – широкое внедрение в республике со значительным экономическим, социальным, лечебно-профилактическим эффектом (оценивается в 7–10 баллов), «относительно высоким» – внедрение в нескольких организациях с экономическим, социальным, лечебно-профилактическим эффектом (оценивается в 4–6 баллов), «низким» – внедрение в одной организации без значимого экономического, социального, лечебно-профилактического эффекта (оценивается в 1–3 балла). При оценке завершенных НТП по данному критерию принимают во внимание имеющиеся акты внедрения, участие в международных и республиканских выставках, серийный или экспериментальный выпуск лекарственных препаратов, приборов и изделий медицинского назначения, основанных на результатах проведенных исследований, и т.д.
Критерий «доказательность и точность».
Этот критерий раскрывается через следующие показатели:
Показатель «степень доказательности результатов».
Этот показатель характеризует научную обоснованность полученных результатов исследований: статистическую достоверность и воспроизводимость результатов исследований, достоверность и надежность использованных методов статистической обработки, наличие групп сравнения, адекватных контролей и рандомизации, методический уровень и документированность исследований, проведение клинических исследований в рамках доказательной медицины. Несмотря на то, что степень доказательности результатов может изменяться в пределах от неопределенности до воспроизведения и применения на практике, при оценке завершенной НТП по данному критерию оценка осуществляется только по качественному показателю «соответствует принятым стандартам» или «не соответствует принятым стандартам».
Показатель «соответствие плану НТП».
Показатель характеризует соответствие положений, включенных в отчет НТП и полученных результатов календарному плану и задачам плана НТП. Оценивается по двум параметрам: «соответствует плану НТП» или «не соответствует плану НТП».
Оценку завершенных (промежуточных) НТП по данной балльной шкале на первом этапе осуществляют Ученые советы организаций-исполнителей. После получения положительного заключения Ученого совета по месту выполнения работы каждая завершенная НТП проходит экспертизу в одной из экспертных комиссий при Ученом медицинском совете МЗ РБ. Эксперты выставляют балльные оценки на каждое из рассматриваемых НТП. После этого данные суммируются по каждому критерию и усредняются, что позволяет нивелировать субъективизм отдельных экспертов по тем или иным критериям. Подлежат принятию завершенные НТП, получившие в высокую и удовлетворительную сумму баллов по всем оцениваемым критериям, а также получившие положительные оценки по критерию «доказательность и точность проведенных исследований» и по критерию «соответствие плану НТП».
4.
Порядок проведения научно-медицинской экспертизы в системе здравоохранения Республики Казахстан
В объектам научно-медицинской экспертизы согласно Кодексу Республики Казахстан от 18.09.2009 N 193-4 "О здоровье народа и системе здравоохранения" относятся:
1) проекты программ фундаментальных и прикладных научных исследований;
2) республиканские целевые научно-медицинские программы;
3) результаты завершенных научно-медицинских программ;
4) научные работы, выдвигаемые на соискание государственных наград Республики Казахстан;
5) научно-медицинские разработки, планируемые для внедрения в практику здравоохранения.
Международный опыт проведения научной и научно-медицинской экспертизы указывает на необходимость использования следующих принципов при проведении оценки проектов и отчетов научно-технических программ – независимость, объективность; компетентность и высокий профессиональный уровень лиц и организаций, проводящих экспертизу [1-13].
Независимость проведения экспертизы и высокий уровень профессионализма экспертов должен обеспечиваться через создание базы независимых экспертов. Основными критериями при отборе независимых экспертов должны выступать уровень профессиональной и научной подготовки, опыт профессиональной, научной и экспертной деятельности, личные качества и вклад в науку.
Уровень профессиональной и научной подготовки может быть оценен по наличию высшего/послевузовского медицинского образования, наличию ученой/академической степени, наличию дополнительного образования (повышение квалификации, семинары, мастер-классы) в сфере менеджмента научно исследовательской деятельности.
Опыт профессиональной, научной и экспертной деятельности может быть оценен по наличию опыта работы в системе здравоохранения, наличию опыта участия в выполнении научно-технических программ по прикладным научным исследованиям в области здравоохранения, наличию опыта в проведении экспертной оценки и рецензирования научных работ и диссертационных исследований.
Личные качества и вклад в науку могут быть оценены по наличию научных достижений (звания, награды, стипендии, благодарности, почетные грамоты), наличию научных трудов (публикаций, патентов).
База независимых экспертов должна формироваться из числа ведущих ученых и специалистов организаций здравоохранения, соответствующих указанным критериям. Необходимо внедрение программ регулярного повышения квалификации и непрерывного профессионального развития независимых экспертов.
Непосредственное организационно-техническое сопровождение научно-медицинской экспертизы должен осуществлять рабочий орган. Учитывая специфику работы в качестве такового может выступать Институт развития здравоохранения.
При проведении научно-медицинской экспертизы необходимо использовать чёткий алгоритм оценки научной продукции, при этом должен использоваться селективный подход к различным объектам научно-медицинской экспертизы – проектам НТП и отчетам по результатам выполнения НИР.
4.1
Порядок проведения научно-медицинской экспертизы проектов научно-технических программ и бюджетных заявок
Планируемые НТП, т.е. проекты научно-технических программ, должны оценивать по трем критериям:
1.
Научное качество
(оценивается по следующим показателям - уровень научной новизны, качество сформулированного вопроса/ проблемы исследования, качество составления проекта НТП).
Уровень научной новизны
(
k
1.1
)
определяется степенью новизны формулирования и научного обоснования проблемы исследования, отсутствием исследований в указанном направлении ранее и степенью новизны предлагаемого пути решения проблемы исследования.
Качество сформулированного вопроса/ проблемы исследования
(
k
1.2
)
определяется качеством представленной концепции исследования, степенью того насколько полно название и цель проекта раскрывают научную новизну и актуальность планируемого исследования.
Качество составления проекта НТП (
k
1.3
)
определяется наличием и степенью полноты раскрытия следующих ключевых разделов проекта: актуальность, цель и задачи исследования, материалы и методы исследования, дизайн исследования, научная новизна и практическая значимость, ожидаемые конечные результаты, наличие задела, организационно-правовое обеспечение, включая кадровую и материально-техническая обеспеченность, критерии (индикаторы) выполнения программы, план реализации проекта, калькуляция расходов.
2.
Значимость для науки и практики
(
оценивается по следующим показателям - степень воздействия ожидаемого результата на науку и практику, актуальность планируемой НТП, оценка уровня ожидаемого эффекта от внедрения).
Степень воздействия ожидаемого результата на науку и практику
(
k
2.1
)
определяется уровнем и приоритетностью решаемых в ходе реализации проекта проблем и задач.
Актуальность планируемой НТП
(
k
2.2
)
определяется степенью соответствия поднимаемой в проекте проблемы запросам медицинской науки и практики, т.е. уровнем приоритетности для современной медицинской науки и практики
Оценка уровня ожидаемого эффекта от внедрения
(
k
2.3
)
осуществляется путём оценки характера (лечебно-профилактический, социальный, экономический, научный) и уровня (на уровне республики, нескольких организаций или одной организации здравоохранения) ожидаемого эффекта от внедрения результатов проекта.
3. Объективность
(оценивается по следующим показателям – степень доказательности результатов, квалификация основных исполнителей, наличие задела, обоснованность сроков выполнения НТП, финансовая обоснованность НТП).
Степень доказательности результатов (
k
3.1
)
представляет собой уровень обоснованности результата исследования: методического уровня проведенного исследования и материально-
технической базы исполнителя.
Квалификация основных исполнителей
(
k
3.2
)
оценивается как степень компетентности работы исполнителей проекта по теме исследования.
Наличие задела
(
k
3.3
)
оценивается как уровень готовности исполнителей к решению задач, поставленных в проекте, оцениваемый по результатам их предшествующей работы.
Обоснованность сроков выполнения НТП (
k
3.4
)
определяется как возможность выполнения этапов и мероприятий по реализации проекта, указанных разработчиком, планируемым срокам выполнения проекта.
Финансовая обоснованность НТП (
k
3.5
)
определяется как cоответствие сумм запрашиваемых разработчиком на реализацию проекта, указанному объёму мероприятий.
Каждый показатель оценивается по 10 бальной шкале с градацией по уровням (см. Приложение №1):
- «высокий» - 7-10 баллов,
- «относительно высокий» - 4-6 баллов,
- «недостаточно высокий» - 1-3 балла.
Выбор конкретного балла в рамках каждого уровня оценки осуществляется в соответствии с характером соответствия проекта применяемому критерию (Таблица 1).
| Уровень оценки
Принцип выбора балла
|
недостаточно высокий |
относительно высокий |
высокий |
| Выбор уровня оценки осуществлён с условным допуском (у эксперта есть сомнения, но к выбор более низкой оценки объективно не будет отражать соответствие проекта данной оценке)
|
1
|
4
|
7
|
| Выбор уровня оценки объективно отражает соответствие проекта конкретному критерию |
2
|
5
|
8
|
| Выбор уровня оценки не вызывает сомнения |
3
|
6
|
9-10
|
Таблица 1 – Принцип выбора балла внутри каждого уровня оценки
Основные этапы научно-медицинской экспертизы:
Оценку планируемых НТП на первом этапе должны осуществлять Ученые советы организаций--исполнителей. Каждый проект НТП на уровне организации-разработчика должен оцениваться несколькими независимыми экспертами без согласования их мнений. В качестве экспертов должны выступать хорошо известные специалисты – практики и исследователи, компетентные в той области, в которой представлен проект.
После получения положительного заключения Ученого совета по месту исполнения планируемая НТП направляется в уполномоченный орган – МЗ РК, который привлекает рабочий орган для организации проведения независимой экспертизы.
Рабочий орган привлекает к экспертизе проекта НТП компетентных в данной области специалистов из числа независимых экспертов – для рассмотрения каждого проекта формируется экспертная комиссия из 3-х экспертов.
Каждый эксперт экспертной комиссии выставляет балльные оценки на каждое из рассматриваемых НТП. После этого данные суммируются по каждому критерию и усредняются, что позволяет нивелировать субъективизм отдельных экспертов по тем или иным критериям.
По каждому проекту выставляется суммарная балльная оценка КƩ
k
(максимально возможный балл который может получить проект составляет 110) и процент (К%)
, который набрал проект от максимально возможного балла.
К%
= ((k1.1
+ k1.2
+ k1.3
+ k2.1
+ k2.2
+ k2.3
+ k3.1
+ k3.2
+ k3.3
+ k3.4
+ k3.5
) × 100) / 110
Кроме того, экспертная комиссия выносит конкретные замечания и предложения по рассматриваемому проекту НТП. При этом особое внимание должно уделяться научной стилистике изложения и полноте раскрытия отдельных элементов проекта, соответствию проекта установленным правилам и структуре написания проекта НТП.
Ключевыми аспектами при оценке проекта являются качество сформулированных проблемы / вопроса исследования и научной гипотезы, полнота раскрытия и валидность дизайна исследования, соответствие выборки задачам исследования, соблюдение этических норм и существующих стандартов надлежащей практики (GLP, GCP, GCLP, QPBR и др.), наличие чёткого плана мероприятий по реализации проекта и др.
По итогам научно-медицинской экспертизы проекта НТП экспертная комиссия принимает одно из следующих решений:
- Проект заслуживает безусловной поддержки (данное решение может быть принято если проект получил не менее 80% от максимальной возможного количества баллов и не имеет принципиальных замечаний);
- Проект заслуживает поддержки (данное решение может быть принято если проект получил не менее 60% от максимальной возможного количества баллов и/или имеет ряд замечаний, не умоляющих научную и практическую ценность проекта в целом);
- Проект может быть поддержан при условии при условии доработки указанных замечаний (данное решение может быть принято если проект получил не менее 40% от максимальной возможного количества баллов и имеет ряд замечаний касающихся качества составления проекта, его научной и практической ценности, при этом замечания могут быть устранены в ходе доработки проекта);
- Проект не заслуживает поддержки (данное решение может быть принято если проект получил менее 40% от максимальной возможного количества баллов и имеет ряд замечаний касающихся качества составления проекта, его научной и практической ценности, при этом объективно устранение замечаний в рамках представленного проекта не возможно и требуется переработка всей его концепции).
При проведении экспертизы учитывается наличие или отсутствие обстоятельств, затрудняющих объективную экспертизу. Это может быть связано с «конфликтом интересов».
Факт «конфликта интересов» может быть обусловлен несовпадением научных интересов эксперта и содержания проекта; нахождением эксперта в прошлом или настоящем в партнерских, финансовых, родственных отношениях с руководителем или исполнителями проекта; наличием отношений научного руководства с руководителем (или с одним из основных исполнителей проекта).
Экспертная оценка дается на основе анализа научного содержания проекта и научного потенциала автора (или авторского коллектива).
Результаты научно-медицинской экспертизы оформляются в виде заключения (Приложение №2) и представляются в курирующий департамент уполномоченного органа - Департамент науки и человеческих ресурсов МЗ РК.
К дальнейшему рассмотрению и утверждению в уполномоченном органе могут быть допущены проекты НТП, в отношении которых экспертная комиссия вынесла решение о поддержке, а также проекты, доработанные с учетом всех вынесенных экспертами замечаний.
4.2
Порядок проведения научно-медицинской экспертизы проектов научно-технических программ и бюджетных заявок
Завершенные НТП, т.е. промежуточные и заключительные отчеты по научно-техническим программам, должны оценивать по трем критериям:
1.
Научное качество
(оценивается по следующим показателям - уровень научной новизны, научный уровень полученных результатов, качество составления отчета НТП).
Уровень научной новизны
(
k
1.1
)
определяется степенью новизны предлагаемого пути решения проблемы исследования.
Научный уровень полученных результатов (
k
1.2
)
определяется степенью полноты решения поставленной проблемы / вопроса.
Качество составления отчета НТП (
k
1.3
)
определяется наличием и степенью полноты раскрытия ключевых разделов отчета (введение, материалы и методы, результаты исследования и их обсуждение, заключение и др.), определяемых существующими правилами и ГОСТами в области представления результатов научных исследований.
2.
З
начимость для науки и практики
(
оценивается по следующим показателям – степень научной значимости, значимость для практики, уровень и объемы внедрения).
Степень научной значимости (
k
2.1
)
определяется уровнем и приоритетностью решенных в ходе реализации НТП проблем и задач для медицинской науки.
Значимость для практики (
k
2.2
)
определяется степенью соответствия полученных результатов запросам современного практического здравоохранения.
Уровень и объемы внедрения (
k
2.3
)
осуществляется путём оценки характера (лечебно-профилактический, социальный, экономический, научный) и уровня (на уровне республики, нескольких организаций или одной организации здравоохранения) полученного и/или предполагаемого эффекта от внедрения результатов исследования.
3. Объективность
(
оценивается по следующим показателям – степень доказательности результатов, соответствие плану НТП).
Степень доказательности результатов (
k
3.1
)
представляет собой уровень обоснованности результатов исследования: заключения, выводов и рекомендаций.
Соответствие плану НТП (
k
3.2
)
определяется как степень выполнения заявленных задач проекта в ходе реализации программы в целом и её отдельных этапов.
Внедрение полученных результатов (
k
3.3
)
определяется уровнем трансферта полученных знаний и технологий в практическое здравоохранение и медицинскую науку.
Каждый показатель оценивается по 10 бальной шкале с градацией по уровням (Приложение №3):
- «высокий» 7-10 баллов,
- «относительно высокий» 4-6 баллов,
- «недостаточно высокий» 1-3 балла
Выбор конкретного балла в рамках каждого уровня оценки осуществляется в соответствии с характером соответствия отчета применяемому критерию (Таблица 1).
Основные этапы научно-медицинской экспертизы:
Оценку завершенных НТП на первом этапе осуществляют Ученые советы организаций-исполнителей. Каждый отчет НТП на уровне организации-исполнителя должен оцениваться несколькими независимыми экспертами без согласования их мнений. В качестве экспертов должны выступать хорошо известные специалисты – практики и исследователи, компетентные в той области, в которой представлен отчет НИР.
После получения положительного заключения Ученого совета по месту выполнения работы каждая завершенная НТП направляется в уполномоченный орган – МЗ РК, который привлекает рабочий орган для организации проведения независимой экспертизы.
Рабочий орган привлекает к экспертизе отчетов НТП компетентных в данной области специалистов из числа независимых экспертов – для рассмотрения каждого отчета формируется экспертная комиссия из 3-х экспертов.
Члены экспертной комиссии выставляет балльные оценки на каждому из рассматриваемых отчетов НТП. После этого данные суммируются по каждому критерию и усредняются, что позволяет нивелировать субъективизм отдельных экспертов по тем или иным критериям.
Каждому отчету выставляется суммарная балльная оценка КƩ
k
(максимально возможный балл который может получить отчет составляет 90) и процент (К%)
, который набрал проект от максимально возможного балла.
К%
= ((k1.1
+ k1.2
+ k1.3
+ k2.1
+ k2.2
+ k2.3
+ k3.1
+ k3.2
+ k3.3
) × 100) / 110
Наряду с бальной оценкой, экспертная комиссия выносит конкретные замечания и предложения по рассматриваемому проекту НТП. При этом особое внимание должно уделяться научной стилистике изложения и полноте решения поставленных целей и задач, соответствию отчета установленным правилам и структуре написания отчета НТП. Ключевыми аспектами при оценке отчета являются методология и дизайн исследования, соблюдение этических норм и существующих стандартов надлежащей практики (GLP, GCP, GCLP, QPBR и др.), степень достижения конечных результатов, качество представления и интерпретации результатов исследования и др.
Результаты научно-медицинской экспертизы оформляются в виде заключения (Приложение №4) и представляются в курирующий департамент уполномоченного органа - Департамент науки и человеческих ресурсов МЗ РК.
По итогам научно-медицинской экспертизы отчета НТП экспертная комиссия принимает одно из следующих решений:
- Результаты исследования заслуживают безусловного одобрения (данное решение может быть принято если отчет получил не менее 80% от максимальной возможного количества баллов и не имеет принципиальных замечаний);
- Результаты исследования заслуживают одобрения (данное решение может быть принято если отчет получил не менее 60% от максимальной возможного количества баллов и/или имеет ряд замечаний, не умоляющих научную и практическую ценность полученных результатов);
- Результаты исследования могут быть одобрены, при условии доработки указанных замечаний (данное решение может быть принято если отчет получил не менее 40% от максимальной возможного количества баллов и имеет ряд замечаний касающихся качества составления отчета, его научной и практической ценности, при этом замечания могут быть устранены в ходе доработки отчета);
- Результаты исследования не заслуживают одобрения (данное решение может быть принято если отчет получил менее 40% от максимальной возможного количества баллов и имеет ряд замечаний касающихся качества составления отчета, его научной и практической ценности, при этом объективно устранение замечаний в рамках представленного отчета не возможно и требуется переработка всего документа).
Заключение
Проблема разработки методологических подходов к оценке планируемых научно-исследовательских проектов и результатов деятельности организаций науки по выполнению НТП в области здравоохранения является актуальной и практически значимой в контексте принятия Кодекса Республики Казахстан «О здоровье народа и системе здравоохранения», закрепившего нормы о проведении научно-медицинской экспертизы, и нового Закона о науке РК, определившего механизмы проведения экспертизы в системе научных исследований. Потребность в системе оценивания научно-исследовательской деятельности связана с ростом затрат государства, поиском более эффективных механизмов финансирования по результатам деятельности, инструментов обратной связи между результатами и ресурсами, гибкого перераспределения ресурсов между государственными организациями науки в системе здравоохранения.
В этой связи, особую востребованность для отечественной медицинской науки носит разработка и внедрение эффективных механизмов экспертизы научной продукции. Независимая научно-медицинская экспертиза, основанная на четких и прозрачных принципах оценки, является важным инструментов в обеспечении качества научных исследований в области здравоохранения. Предложенная методология научно-медицинской экспертизы может быть использована в системе здравоохранения при оценке проектов и отчетов научно-технических программ, финансируемых как в рамках государственного заказа, так и за счёт внебюджетных средств.
СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ
1. Закон Республики Казахстан «О науке» от 18 февраля 2011 года
2. Правила организации и проведения государственной научно-технической экспертизы, утвержденные Постановлением Правительства Республики Казахстан
3. The Swedish Research Council for Environment. BIC - Guidelines for project evaluation – Criteria, 2010 // http://www.formas.se/formas templates/Page 3973.aspx
4. FP7 Rules of participation Funding schemes Evaluation criteria and submission of proposals, 2009 // www.spbcas.ru/russian/news/NISNEST/FP7.pdf
5. Методические рекомендации по формированию предложений для участия в 7 РП Европейского союза // http://www.psc.nas.gov.ua/worldwide/7p/ Documents/7P_recomendations.pdf
6. Enhancing Peer Review: The NIH Announces Enhanced Review Criteria for Evaluation of Research Applications Received for Potential FY2010 Funding, 2010 // http://grants.nih.gov/grants/guide/notice-files/NOT-OD-09-025.html
7. Инструкция по оценке планируемых и завершенных научно-исследовательских и опытно-конструкторских разработок, утвержденная Министерством здравоохранения Республики Беларусь от 5 декабря 2006 года, регистрационный № 175-1206
8. Левески, Д. Инновационный процесс и методы качества / Д. Левески, Д. Уокер // Стандарты и качество. – 2008. –№1 – С. 80-85.
9. Кипшакбаев Р.К. Метод. реком.: Анализ новых медицинских технологий на основании доказательной медицины и фармакоэкономических показателей, Алматы, -2009, -С.129.
10. Р.Флетчер, С.Флетчер, Э.Вагнер. Клиническая эпидемиология. Основы доказательной медицины // Пер. с англ. – М. Медиа Сфера, 3-е изд., Москва, 2004. – С.352.
11. Технология работы по составлению заявок на финансирование научных проектов // science.masu.ru/index.php/dok-publ/doc_download/200/Itemid,115/
12. Петровский А. Б., Тихонов И. П. Фундаментальные исследования, ориентированные на практический результат: подходы к оценке эффективности // Вестник РАН. - 2009. - Т. 79, № 11. - С. 1006–1011.
13. Оценка результативности научных проектов по многим критериям / А. Б. Петровский, Г. В. Ройзензон, И. П. Тихонов, А. В. Балышев // Теория и практика системного анализа. Труды I Всероссийской научной конференции молодых ученых. - Т. II. - Рыбинск: РГ
Приложение №1
Балльная шкала экспертной оценки планируемых тем НТП
| Наименование критерия / показателя
|
Характеристика критерия/ показателя
|
Оценка в баллах
|
| 1.
|
Степень (уровень) новизны предлагаемых подходов и путей решения проблемы
|
|
| 1.1. Уровень научной новизны
|
||
| Высокий |
Проблема исследования впервые сформулирована и научно обоснована, исследование в указанном направлении ранее не проводилось, предлагаемый путь решения проблемы исследования ранее не применялся |
7—10 |
| Относительно высокий |
В проекте предложены оригинальные подходы к решению проблемы исследования, позволяющие усовершенствовать существующие пути решения проблемы |
4––6 |
| Недостаточно высокий |
Предлагаемые подходы к решению проблемы исследования существенно не отличаются от имеющихся и не имеют явной новизны и оригинальности. |
1––3 |
| Отсутствует |
Новизна и оригинальность в в предлагаемых подходах к решению проблемы отсутствует |
0 |
| 1.2. Качество сформулированного вопроса/ проблемы исследования
|
Качество представленной концепции исследования
|
|
| Высокий |
Чёткая концепция исследования. Название и цель полностью раскрывают научную новизну и актуальность планируемого исследования |
7—10 |
| Относительно высокий |
Концепция исследования отражена достаточно пространно. Название и цель не в полной мере раскрывают научную новизну и актуальность планируемого исследования |
4––6 |
| Недостаточно высокий |
Слабая концепция исследования. Название или цель практически не раскрывают научную новизну и актуальность планируемого исследования |
1––3 |
| Отсутствует |
Отсутствует концепция исследования. И название и цель не раскрывают научную новизну и актуальность планируемого исследования |
0 |
| 1.3. Качество составления проекта НТП
|
Соответствие структуры и содержания проекта установленным требованиям
|
|
| Высокий |
В проекте полностью раскрыты необходимые разделы - актуальность, цель, задачи, дизайн исследования, и др.). Высокий научный стиль написания проекта. |
7—10 |
| Относительно высокий |
В проекте содержатся необходимые разделы, но они раскрыты в недостаточном объёме. Имеются небольшие замечания по научной стилистике написания проекта. |
4––6 |
| Недостаточно высокий |
В проекте содержатся необходимые разделы, но они практически не раскрыты. Имеются существенные замечания по научной стилистике написания проекта. |
1––3 |
| Отсутствует |
В проекте отсутствует ряд необходимых разделов, имеющиеся разделы практически не раскрыты. Имеются значительные стилистические и орфографические ошибки |
0 |
| 2.
|
Потенциально возможный уровень воздействия планируемого результата на дальнейшее развитие медицинской науки и практики здравоохранения
|
|
| 2.1.Степень воздействия ожидаемого результата на науку и практику
|
||
| Высокая |
Окажет кардинальное воздействие на дальнейшее развитие науки и практики, позволив решить одну из ключевых проблем в рамках одного из приоритетных направлений в отрасли здравоохранения |
7––10 |
| Относительно высокая |
Окажет существенное воздействие на дальнейшее развитие науки и практики, позволив существенно продвинуться в решении ключевой проблемы в рамках одного из приоритетных направлений в отрасли здравоохранения |
4––6 |
| Недостаточно высокая |
Окажет определенное воздействие на развитие науки и практики, позволив заложить основы для решения существующих проблем в отрасли здравоохранения |
1––3 |
| Отсутствует |
Не имеет значения для развития науки и практики |
0 |
| 2. 2. Актуальность планируемой НТП
|
Степень соответствия запросам науки и практики
|
|
| Высокая |
Решение поставленных в проекте проблем является первостепенной и приоритетной задачей для современной медицинской науки и практики |
7––10 |
| Относительно высокая |
Решение поставленных в проекте проблем является важной задачей для современной медицинской науки и практики |
4––6 |
| Недостаточно высокая |
Решение поставленных в проекте проблем является одной из локальных задач современной медицинской науки и практики |
1––3 |
| Не актуальна |
Не соответствует запросам и задачам науки и практики |
0 |
| 2.3.Оценка уровня ожидаемого эффекта от внедрения
|
Ожидаемый эффект от внедрения: -лечебно-профилактический, -социальный, -экономический, -научный |
При наличии нескольких видов эффекта в сумме эффект не должен превышать 10 баллов |
| Высокий |
Широкое внедрение в республике со значительным эффектом |
7––10 |
| Относительно высокий |
Внедрение в нескольких организациях со значительным эффектом |
4—6 |
| Недостаточно высокий |
Внедрение в одной организации без определения эффекта |
1––3 |
| Отсутствует |
Внедрение не планируется, Не выявляется |
0 |
| 3.
|
Оценка степени обоснованности результата исследования: методического уровня проведенного исследования и материально-
|
|
| 3.1.
|
||
| Высокий |
Использованы самые современные методы, оборудование, реактивы |
7––10 |
| Относительно высокий |
Уровень использованных методов, оборудования, реактивов достаточно высокий |
4––6 |
| Недостаточно высокий |
Уровень использованных реактивов, методов, оборудования не обеспечит высокого уровня результатов |
1––3 |
| Низкий |
Использованные методы, оборудование, реактивы не обеспечат достижения поставленной цели |
0 |
| 3.2. Квалификация основных исполнителей
|
Оценка степени квалификации основных исполнителей по теме исследования
|
|
| Высокая |
Достаточная для выполнения поставленных задач - для 70-100% исполнителей |
7––10 |
| Относительно высокая |
Достаточная для выполнения поставленных задач - для 40-69% исполнителей |
4––6 |
| Низкая |
Достаточная для выполнения поставленных задач - менее чем для 39% исполнителей |
1––3 |
| Отсутствует |
Недостаточная |
0 |
| 3.3. Наличие задела
|
Уровень готовности исполнителей к решению задач, поставленных в проекте, оцениваемый по результатам их предшествующей работы
|
|
| Значительный задел |
Наличие положительных результатов, подтверждающих правильность выбранного направления, наличие публикаций по теме исследования |
7––10 |
| Определенный задел |
Наличие первичного материала, подтверждающего правильность выбранного направления, освоены методы исследования |
4––6 |
| Минимальный задел |
Освоены методы исследования |
1––3 |
| Задел отсутствует |
По теме исследования отсутствует задел |
0 |
| 3.4. Обоснованность сроков выполнения НТП
|
Возможность выполнения этапов и мероприятий по реализации проекта, указанных разработчиком, планируемым срокам
|
|
| Высокая |
Соответствует планируемым срокам |
7––10 |
| Относительно высокая |
Сроки выполнения завышены от указанного срока или занижены по отношению к требуемому сроку не более чем на 50 % |
4––6 |
| Недостаточно высокая |
Сроки выполнения завышены от указанного срока или занижены по отношению к требуемому сроку более чем на 50 % |
1––3 |
| отсутствует |
Сроки выполнения не обоснованы |
0 |
| 3.5.Финансовая обоснованность НТП
|
Соответствие сумм запрашиваемых разработчиком на реализацию проекта, указанному объёму мероприятий
|
|
| Высокая |
Полностью соответствует объемам и задачам исследования |
7––10 |
| Относительно высокая |
Требуемое финансирование превышает стоимость планируемых объемов работ или недостаточно по отношению к потенциально необходимой сумме не более чем на 50 % |
4––6 |
| Недостаточно высокая |
Требуемое финансирование превышает стоимость планируемых объемов работ или недостаточно по отношению к потенциально необходимой сумме более чем на 50 % |
1––3 |
| отсутствует |
Отсутствует финансовое обоснование НТП |
0 |
Приложение №2
Заключение
научно-медицинской экспертизы по проекту научно-технической программы
Название научно-технической программы: _______________________________________ _______________________________________________________________________________
Организация заявитель: ________________________________________________________
Научный руководитель: ________________________________________________________
Сроки выполнения: ____________________________________________________________
Объем финансирования (грантовое, программно-целевое):_________________________
| Наименование критерия / показателя
|
Характеристика критерия/ показателя
|
Оценка в баллах
|
Результаты оценки
|
| 1.
|
Степень (уровень) новизны предлагаемых подходов и путей решения проблемы
|
||
| 1.1. Уровень научной новизны
|
|||
| Высокий |
Проблема исследования впервые сформулирована и научно обоснована, исследование в указанном направлении ранее не проводилось, предлагаемый путь решения проблемы исследования ранее не применялся |
7—10 |
|
| Относительно высокий |
В проекте предложены оригинальные подходы к решению проблемы исследования, позволяющие усовершенствовать существующие пути решения проблемы |
4––6 |
|
| Недостаточно высокий |
Предлагаемые подходы к решению проблемы исследования существенно не отличаются от имеющихся и не имеют явной новизны и оригинальности. |
1––3 |
|
| Отсутствует |
Новизна и оригинальность в в предлагаемых подходах к решению проблемы отсутствует |
0 |
|
| 1.2. Качество сформулированного вопроса/ проблемы исследования
|
Качество представленной концепции исследования
|
||
| Высокий |
Чёткая концепция исследования. Название и цель полностью раскрывают научную новизну и актуальность планируемого исследования |
7—10 |
|
| Относительно высокий |
Концепция исследования отражена достаточно пространно. Название и цель не в полной мере раскрывают научную новизну и актуальность планируемого исследования |
4––6 |
|
| Недостаточно высокий |
Слабая концепция исследования. Название или цель практически не раскрывают научную новизну и актуальность планируемого исследования |
1––3 |
|
| Отсутствует |
Отсутствует концепция исследования. И название и цель не раскрывают научную новизну и актуальность планируемого исследования |
0 |
|
| 1.3. Качество составления проекта НТП
|
Соответствие структуры и содержания проекта установленным требованиям
|
||
| Высокий |
В проекте полностью раскрыты необходимые разделы - актуальность, цель, задачи, дизайн исследования, и др.). Высокий научный стиль написания проекта. |
7—10 |
|
| Относительно высокий |
В проекте содержатся необходимые разделы, но они раскрыты в недостаточном объёме. Имеются небольшие замечания по научной стилистике написания проекта. |
4––6 |
|
| Недостаточно высокий |
В проекте содержатся необходимые разделы, но они практически не раскрыты. Имеются существенные замечания по научной стилистике написания проекта. |
1––3 |
|
| Отсутствует |
В проекте отсутствует ряд необходимых разделов, имеющиеся разделы практически не раскрыты. Имеются значительные стилистические и орфографические ошибки |
0 |
|
| 2.
|
Потенциально возможный уровень воздействия планируемого результата на дальнейшее развитие медицинской науки и практики здравоохранения
|
||
| 2.1.Степень воздействия ожидаемого результата на науку и практику
|
|||
| Высокая |
Окажет кардинальное воздействие на дальнейшее развитие науки и практики, позволив решить одну из ключевых проблем в рамках одного из приоритетных направлений в отрасли здравоохранения |
7––10 |
|
| Относительно высокая |
Окажет существенное воздействие на дальнейшее развитие науки и практики, позволив существенно продвинуться в решении ключевой проблемы в рамках одного из приоритетных направлений в отрасли здравоохранения |
4––6 |
|
| Недостаточно высокая |
Окажет определенное воздействие на развитие науки и практики, позволив заложить основы для решения существующих проблем в отрасли здравоохранения |
1––3 |
|
| Отсутствует |
Не имеет значения для развития науки и практики |
0 |
|
| 2. 2. Актуальность планируемой НТП
|
Степень соответствия запросам науки и практики
|
||
| Высокая |
Решение поставленных в проекте проблем является первостепенной и приоритетной задачей для современной медицинской науки и практики |
7––10 |
|
| Относительно высокая |
Решение поставленных в проекте проблем является важной задачей для современной медицинской науки и практики |
4––6 |
|
| Недостаточно высокая |
Решение поставленных в проекте проблем является одной из локальных задач современной медицинской науки и практики |
1––3 |
|
| Не актуальна |
Не соответствует запросам и задачам науки и практики |
0 |
|
| 2.3.Оценка уровня ожидаемого эффекта от внедрения
|
Ожидаемый эффект от внедрения: -лечебно-профилактический, -социальный, -экономический, -научный |
При наличии нескольких видов эффекта в сумме эффект не должен превышать 10 баллов |
|
| Высокий |
Широкое внедрение в республике со значительным эффектом |
7––10 |
|
| Относительно высокий |
Внедрение в нескольких организациях со значительным эффектом |
4—6 |
|
| Недостаточно высокий |
Внедрение в одной организации без определения эффекта |
1––3 |
|
| Отсутствует |
Внедрение не планируется, Не выявляется |
0 |
|
| 3.
|
Оценка степени обоснованности результата исследования: методического уровня проведенного исследования и материально-
|
||
| 3.1.Методический уровень и материально-техническая база планируемого исследования
|
|||
| Высокий |
Использованы самые современные методы, оборудование, реактивы |
7––10 |
|
| Относительно высокий |
Уровень использованных методов, оборудования, реактивов достаточно высокий |
4––6 |
|
| Недостаточно высокий |
Уровень использованных реактивов, методов, оборудования не обеспечит высокого уровня результатов |
1––3 |
|
| Низкий |
Использованные методы, оборудование, реактивы не обеспечат достижения поставленной цели |
0 |
|
| 3.2. Квалификация основных исполнителей
|
Оценка степени квалификации основных исполнителей по теме исследования
|
||
| Высокая |
Достаточная для выполнения поставленных задач - для 70-100% исполнителей |
7––10 |
|
| Относительно высокая |
Достаточная для выполнения поставленных задач - для 40-69% исполнителей |
4––6 |
|
| Низкая |
Достаточная для выполнения поставленных задач - менее чем для 39% исполнителей |
1––3 |
|
| Отсутствует |
Недостаточная |
0 |
|
| 3.3. Наличие задела
|
Уровень готовности исполнителей к решению задач, поставленных в проекте, оцениваемый по результатам их предшествующей работы
|
||
| Значительный задел |
Наличие положительных результатов, подтверждающих правильность выбранного направления, наличие публикаций по теме исследования |
7––10 |
|
| Определенный задел |
Наличие первичного материала, подтверждающего правильность выбранного направления, освоены методы исследования |
4––6 |
|
| Минимальный задел |
Освоены методы исследования |
1––3 |
|
| Задел отсутствует |
По теме исследования отсутствует задел |
0 |
|
| 3.4. Обоснованность сроков выполнения НТП
|
Возможность выполнения этапов и мероприятий по реализации проекта, указанных разработчиком, планируемым срокам
|
||
| Высокая |
Соответствует планируемым срокам |
7––10 |
|
| Относительно высокая |
Сроки выполнения завышены от указанного срока или занижены по отношению к требуемому сроку не более чем на 50 % |
4––6 |
|
| Недостаточно высокая |
Сроки выполнения завышены от указанного срока или занижены по отношению к требуемому сроку более чем на 50 % |
1––3 |
|
| отсутствует |
Сроки выполнения не обоснованы |
0 |
|
| 3.5.Финансовая обоснованность НТП
|
Соответствие сумм запрашиваемых разработчиком на реализацию проекта, указанному объёму мероприятий
|
||
| Высокая |
Полностью соответствует объемам и задачам исследования |
7––10 |
|
| Относительно высокая |
Требуемое финансирование превышает стоимость планируемых объемов работ или недостаточно по отношению к потенциально необходимой сумме не более чем на 50 % |
4––6 |
|
| Недостаточно высокая |
Требуемое финансирование превышает стоимость планируемых объемов работ или недостаточно по отношению к потенциально необходимой сумме более чем на 50 % |
1––3 |
|
| отсутствует |
Отсутствует финансовое обоснование НТП |
0 |
|
| ИТОГО
|
|||
Конкретные замечания по проекту:____________________________________________________
__________________________________________________________________________________
Наличие или отсутствие обстоятельств, затрудняющих объективную экспертизу _____________ __________________________________________________________________________________
Заключение________________________________________________________________________
Председатель экспертной группы
Состав экспертной комиссии
Секретарь
Приложение №3
Балльная шкала экспертной оценки завершенных НТП
| Наименование критерия / показателя
|
Характеристика критерия/ показателя
|
Оценка в баллах
|
| 1.
|
Степень (уровень) новизны предложенных подходов и путей решения проблемы
|
|
| 1.1. Уровень научной новизны
|
||
| Высокий |
Исследование в указанном направлении ранее не проводилось, использованный путь решения проблемы исследования ранее не применялся |
7—10 |
| Относительно высокий |
В отчете предложены оригинальные подходы к решению существующей проблемы, позволяющие усовершенствовать существующие пути решения проблемы |
4––6 |
| Недостаточно высокий |
Использованные подходы к решению проблемы исследования существенно не отличаются от имеющихся и не имеют явной новизны и оригинальности. |
1––3 |
| Отсутствует |
Новизна и оригинальность в предложенных подходах к решению проблемы отсутствует |
0 |
| 1.2. Научный уровень полученных результатов
|
Отражает степень решения поставленной проблемы / вопроса исследования
|
|
| Высокая |
Поставленная проблема / вопрос исследования полностью решены, полученные результаты превосходят уровень имеющихся решений |
7—10 |
| Относительно высокий |
Поставленная проблема / вопрос исследования решены частично, полученные результаты находятся на уровне имеющихся решений |
4––6 |
| Недостаточно высокий |
Поставленная проблема / вопрос исследования раскрыты слабо, полученные результаты уступают уровню имеющихся решений |
1––3 |
| Отсутствует |
Отсутствует решение поставленной проблемы / вопроса исследования |
0 |
| 1.3. Качество составления отчета НТП
|
Соответствие структуры и содержания отчета установленным требованиям
|
|
| Высокий |
В отчете полностью раскрыты необходимые разделы – введение, материалы и методы, результаты исследования и их обсуждение, заключение). Высокий научный стиль написания отчета |
7—10 |
| Относительно высокий |
В отчете содержатся необходимые разделы, но они раскрыты в недостаточном объёме. Имеются небольшие замечания по научной стилистике написания отчета. |
4––6 |
| Недостаточно высокий |
В отчете содержатся необходимые разделы, но они практически не раскрыты. Имеются существенные замечания по научной стилистике написания отчета. |
1––3 |
| Отсутствует |
В отчете отсутствует ряд необходимых разделов, имеющиеся разделы практически не раскрыты. Имеются значительные стилистические и орфографические ошибки |
0 |
| 2.
|
Степень (уровень) воздействия полученных результатов на дальнейшее развитие медицинской науки и практики здравоохранения
|
|
| 2.1.
|
||
| Высокая |
Имеет кардинальное воздействие на дальнейшее развитие науки и практики, позволяя решить одну из ключевых проблем в рамках одного из приоритетных направлений в отрасли здравоохранения |
7––10 |
| Относительно высокая |
Имеет существенное воздействие на дальнейшее развитие науки и практики, позволяя существенно продвинуться в решении ключевой проблемы в рамках одного из приоритетных направлений в отрасли здравоохранения |
4––6 |
| Недостаточно высокая |
Имеет определенное воздействие на развитие науки и практики, позволяя заложить основы для решения существующих проблем в отрасли здравоохранения |
1––3 |
| Отсутствует |
Не имеет значения для развития науки |
0 |
| 2. 2.
|
Степень соответствия запросам практического здравоохранения
|
|
| Высокая |
Полученные результаты имеют первостепенное и приоритетное значение для современного практического здравоохранения |
7––10 |
| Относительно высокая |
Полученные результаты имеют важное значение для современного практического здравоохранения |
4––6 |
| Недостаточно высокая |
Полученные результаты имеют определенное (локальное) значение для современного практического здравоохранения |
1––3 |
| Отсутствует |
Не имеет значения для развития практики |
0 |
| 2.3.
|
Полученный и/или ожидаемый эффект от внедрения:
-лечебно-профилактический,
-социальный,
-экономический,
-научный
|
При наличии нескольких видов эффекта в сумме эффект не должен превышать 10 баллов |
| Высокий |
Широкое внедрение в республике со значительным эффектом |
7––10 |
| Относительно высокий |
Внедрение в нескольких организациях со значительным эффектом |
4—6 |
| Недостаточно высокий |
Внедрение в одной организации без определения эффекта |
1––3 |
| Отсутствует |
Внедрение не планируется, не выявляется |
0 |
| 3.
|
Оценка степени обоснованности результатов исследования: заключения, выводов и рекомендаций
|
|
| 3.1.Степень доказательности результатов
|
||
| Высокий |
Результаты исследования получены с использованием самых современных методов, оборудования, реактивов |
7––10 |
| Относительно высокий |
Уровень использованных методов, оборудования, реактивов достаточно высокий и существенно не влияет на конечные результаты |
4––6 |
| Недостаточно высокий |
Результаты исследования имеют низкую доказательную базу вследствие низкого уровня использованных реактивов, методов, оборудования |
1––3 |
| Низкий |
Использованные методы, оборудование, реактивы не обеспечили достижения поставленной цели |
0 |
| 3.2. Соответствие плану НТП
|
Степень выполнения заявленных задач проекта
|
|
| Высокая |
Все мероприятия выполнены в срок |
7––10 |
| Относительно высокая |
Задачи выполнены частично, имеющееся отставание несущественно |
4––6 |
| Недостаточно высокая |
Задачи выполнены частично, имеется существенное отставание |
1––3 |
| отсутствует |
Поставленные мероприятия не выполнены |
0 |
| 3.3 Внедрение полученных результатов
|
Уровень трансферта полученных знаний и технологий в практическое здравоохранение и медицинскую науку
|
|
| Высокое |
Результаты исследования полностью внедрены и используются |
7––10 |
| Относительно высокое |
Результаты исследования уже частично используются |
4––6 |
| Недостаточно высокое |
Идет подготовка к использованию и/или коммерциализации результатов |
1––3 |
| Отсутствует |
Перспективы использования и/или коммерциализации результатов неясны |
0 |
Приложение №4
Заключение
научно-медицинской экспертизы отчета научно-технической программы
Название научно-технической программы: _______________________________________ _______________________________________________________________________________
Организация заявитель: ________________________________________________________
Научный руководитель: ________________________________________________________
Сроки выполнения: ____________________________________________________________
Объем финансирования (грантовое, программно-целевое):__________________________
| Наименование критерия / показателя
|
Характеристика критерия/ показателя
|
Оценка в баллах
|
Результаты оценки
|
| 1.
|
Степень (уровень) новизны предложенных подходов и путей решения проблемы
|
||
| 1.1. Уровень научной новизны
|
|||
| Высокий |
Исследование в указанном направлении ранее не проводилось, использованный путь решения проблемы исследования ранее не применялся |
7—10 |
|
| Относительно высокий |
В отчете предложены оригинальные подходы к решению существующей проблемы, позволяющие усовершенствовать существующие пути решения проблемы |
4––6 |
|
| Недостаточно высокий |
Использованные подходы к решению проблемы исследования существенно не отличаются от имеющихся и не имеют явной новизны и оригинальности. |
1––3 |
|
| Отсутствует |
Новизна и оригинальность в предложенных подходах к решению проблемы отсутствует |
0 |
|
| 1.2. Научный уровень полученных результатов
|
Отражает степень решения поставленной проблемы / вопроса исследования
|
||
| Высокая |
Поставленная проблема / вопрос исследования полностью решены, полученные результаты превосходят уровень имеющихся решений |
7—10 |
|
| Относительно высокий |
Поставленная проблема / вопрос исследования решены частично, полученные результаты находятся на уровне имеющихся решений |
4––6 |
|
| Недостаточно высокий |
Поставленная проблема / вопрос исследования раскрыты слабо, полученные результаты уступают уровню имеющихся решений |
1––3 |
|
| Отсутствует |
Отсутствует решение поставленной проблемы / вопроса исследования |
0 |
|
| 1.3. Качество составления отчета НТП
|
Соответствие структуры и содержания отчета установленным требованиям
|
||
| Высокий |
В отчете полностью раскрыты необходимые разделы – введение, материалы и методы, результаты исследования и их обсуждение, заключение). Высокий научный стиль написания отчета |
7—10 |
|
| Относительно высокий |
В отчете содержатся необходимые разделы, но они раскрыты в недостаточном объёме. Имеются небольшие замечания по научной стилистике написания отчета. |
4––6 |
|
| Недостаточно высокий |
В отчете содержатся необходимые разделы, но они практически не раскрыты. Имеются существенные замечания по научной стилистике написания отчета. |
1––3 |
|
| Отсутствует |
В отчете отсутствует ряд необходимых разделов, имеющиеся разделы практически не раскрыты. Имеются значительные стилистические и орфографические ошибки |
0 |
|
| 2.
|
Степень (уровень) воздействия полученных результатов на дальнейшее развитие медицинской науки и практики здравоохранения
|
||
| 2.1.
|
|||
| Высокая |
Имеет кардинальное воздействие на дальнейшее развитие науки и практики, позволяя решить одну из ключевых проблем в рамках одного из приоритетных направлений в отрасли здравоохранения |
7––10 |
|
| Относительно высокая |
Имеет существенное воздействие на дальнейшее развитие науки и практики, позволяя существенно продвинуться в решении ключевой проблемы в рамках одного из приоритетных направлений в отрасли здравоохранения |
4––6 |
|
| Недостаточно высокая |
Имеет определенное воздействие на развитие науки и практики, позволяя заложить основы для решения существующих проблем в отрасли здравоохранения |
1––3 |
|
| Отсутствует |
Не имеет значения для развития науки |
0 |
|
| 2. 2.
|
Степень соответствия запросам практического здравоохранения
|
||
| Высокая |
Полученные результаты имеют первостепенное и приоритетное значение для современного практического здравоохранения |
7––10 |
|
| Относительно высокая |
Полученные результаты имеют важное значение для современного практического здравоохранения |
4––6 |
|
| Недостаточно высокая |
Полученные результаты имеют определенное (локальное) значение для современного практического здравоохранения |
1––3 |
|
| Отсутствует |
Не имеет значения для развития практики |
0 |
|
| 2.3.
|
Полученный и/или ожидаемый эффект от внедрения:
-лечебно-профилактический,
-социальный,
-экономический,
-научный
|
При наличии нескольких видов эффекта в сумме эффект не должен превышать 10 баллов |
|
| Высокий |
Широкое внедрение в республике со значительным эффектом |
7––10 |
|
| Относительно высокий |
Внедрение в нескольких организациях со значительным эффектом |
4—6 |
|
| Недостаточно высокий |
Внедрение в одной организации без определения эффекта |
1––3 |
|
| Отсутствует |
Внедрение не планируется, не выявляется |
0 |
|
| 3.
|
Оценка степени обоснованности результатов исследования: заключения, выводов и рекомендаций
|
||
| 3.1.Степень доказательности результатов
|
|||
| Высокий |
Результаты исследования получены с использованием самых современных методов, оборудования, реактивов |
7––10 |
|
| Относительно высокий |
Уровень использованных методов, оборудования, реактивов достаточно высокий и существенно не влияет на конечные результаты |
4––6 |
|
| Недостаточно высокий |
Результаты исследования имеют низкую доказательную базу вследствие низкого уровня использованных реактивов, методов, оборудования |
1––3 |
|
| Низкий |
Использованные методы, оборудование, реактивы не обеспечили достижения поставленной цели |
0 |
|
| 3.2.
|
Степень выполнения заявленных задач проекта
|
||
| Высокая |
Все мероприятия выполнены в срок |
7––10 |
|
| Относительно высокая |
Задачи выполнены частично, имеющееся отставание несущественно |
4––6 |
|
| Недостаточно высокая |
Задачи выполнены частично, имеется существенное отставание |
1––3 |
|
| отсутствует |
Поставленные мероприятия не выполнены |
0 |
|
| 3.3 Внедрение полученных результатов
|
Уровень трансферта полученных знаний и технологий в практическое здравоохранение и медицинскую науку
|
||
| Высокое |
Результаты исследования полностью внедрены и используются |
7––10 |
|
| Относительно высокое |
Результаты исследования уже частично используются |
4––6 |
|
| Недостаточно высокое |
Идет подготовка к использованию и/или коммерциализации результатов |
1––3 |
|
| Отсутствует |
Перспективы использования и/или коммерциализации результатов неясны |
0 |
|
Конкретные замечания по отчету:_____________________________________________________
__________________________________________________________________________________
Наличие или отсутствие обстоятельств, затрудняющих объективную экспертизу _____________ __________________________________________________________________________________
Заключение________________________________________________________________________
Председатель экспертной группы
Состав экспертной комиссии
Секретарь