МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ
Государственное образовательное учреждение высшего профессионального образования
КАФЕДРА № 5
КУРСОВАЯ РАБОТА ЗАЩИЩЕНА С ОЦЕНКОЙ
РУКОВОДИТЕЛЬ
| Доц.,к.т.н | Иванова М.С | |
| должность, уч. степень, звание | подпись, дата | инициалы, фамилия |
| ПОЯСНИТЕЛЬНАЯ ЗАПИСКА К КУРСОВОЙ РАБОТЕ |
| Методы типа «Дельфи» |
| по дисциплине: Основы системного подхода |
РАБОТУ ВЫПОЛНИЛ(А)
| СТУДЕНТ(КА) ГР. | 5689 | Митяева А.М |
| подпись, дата | инициалы, фамилия |
Санкт-Петербург 2010
Оглавление
1.Введение………………………………………………………………..
2.Роль экспертных оценок в исследованиях систем управления……..
3. Метод «Дельфи»……………………………………………………….
4.Применение метода «Дельфи» для мониторинга наноиндустрии…..
Введение
Метод Дельфи— многоэтапный метод, предусматривающий первоначальное изолированное вынесение экспертами своих суждений и дальнейшую многократную их корректировку на базе ознакомления каждого эксперта с суждениями других экспертов до тех пор, пока величина разброса оценок не будет находиться в рамках заранее устанавливаемого желаемого интервала варьирования оценок.
Принцип этого метода заимствован из опыта деятельности оракулов языческого храма древне-греческого бога Аполлона в городе Дельфы. К Дельфийским оракулам со своими вопросами приходили как простые люди, так и официальные посланники, они получали ответы, которые потом разносили по стране. Оракулы накапливали большие объемы (базы) знаний о жизни и проблемах людей и способах их разрешения, что позволяло им удачно предсказывать исходы тех или иных ситуаций. А те, кто приходил к ним в храм, распространяли эти знания и предсказания, что в значительной мере способствовало расцвету эллинской цивилизации. Вклад в развитие древнегреческого общества одной из самых известных прорицательниц Пифии отмечал в своих трудах древнегреческий философ Сократ. Миссия Пифии заключалась в передаче в доступной форме божественной цели, чтобы в соответствии с ней сформировать грядущие события.
Как метод экспертного прогнозирования Дельфи был разработан в 1950-е годы в корпорации RAND (США) и впервые для широкого ознакомления опубликован в работе Т.Гордона и О.Хелмера в 1964 году. Первоначально метод предназначался для повышения согласованности мнений экспертов относительно обобщенной групповой оценки или суждения .Группу экспертов называли «жюри», последовательно проводимые опросы -«турами», опросные документы с дополнительно информацией и аргументацией оценок предыдущего тура – «анкетами». Проведенные Т.Гордоном и О.Хелмером экспериментальные исследования точности и надежности метода Дельфи и схожести его результатов при повторных опросах давали эмпирические рекомендации по числу туров от двух до четырех. Большее число туров существенно не улучшало согласованность
результатов, было психологически затруднительно для экспертов и затратно для организаторов опроса. По мере дальнейшего развития экспертного прогнозирования возможности Дельфи расширялись, становились более разнообразными, но сохранялся основной отличительный его признак – многотуровый характер опроса. Дельфи превратился из одно-
го метода в совокупность нескольких его модификаций.
Оценки, получаемые посредством методик носят статичный и одноразовый характер, в результате чего возникает необходимость повторного обращения к экспертам при составлении прогноза доли рынка на последующие периоды. Кроме того, метод внутреннего и внешнего экспертного прогнозирования характеризуется определенной степенью субъективности.
Надежность метода "Дельфи" считается высокой при прогнозировании на период как от 1 до 3 лет, так и на более отдаленный период времени. В зависимости от цели прогноза для получения экспертных оценок может привлекаться от 10 до 150 экспертов.
Качественный подход позволяет оценить специфику каждой конкретной ситуации. В некоторых случаях внимательное исследование различных специфических элементов, определяющих ситуацию, может быть более важным, чем проведение систематической количественной оценки. Большим недостатком этого метода является чрезмерная субъективность оценок. Старые стереотипы иностранного общества могут сыграть роковую роль при принятии решений. Дж. Саймон оценил этот подход как “спорадический, основанный на селективном, неконтролируемом восприятии или идеологических и личностных пристрастиях”.
Роль экспертных оценок в исследованиях систем управления
Методы экспертных оценок нашли широкое применение в прогнозировании и перспективном планировании, там, где отсутствуют достаточно достоверные статистические данные об изучаемом вопросе, где имеется несколько вариантов решений и необходим выбор наиболее предпочтительного из них. Также эти методы применяются при разработке новых программ в отраслях промышленности, подверженных сильному влиянию новых открытий в фундаментальных науках.
При анализе и прогнозировании экономической ситуации возникает ряд трудностей:
-невозможность точного предсказания последствий принимаемых решений;
-неповторяемость и невозможность экспериментальной проверки предполагаемого хода и результатов решения;
-наличие факторов, которые не поддаются контролю со стороны принимающего решения;
-наличие нескольких возможных путей решения и необходимость выбора одного из них;
-неполнота исходной информации, на основе которой приходится формировать проблему и принимать решение (часто исходная информация имеет качественный характер и не поддается количественному измерению).
Предпосылками использования экспертизы являются:
-недостаточность и недостоверность информации о состоянии тех или иных условий, в которых осуществляется создание и развитие продукции;
-стохастический (вероятностный) характер объекта информации;
-сложность и новизна проблем.
Процесс экспертных оценок осуществляется в несколько этапов :
1) обоснование целесообразности получения экспертных оценок;
2) разработку или выбор метода сбора и обработки экспертной информации;
3) формирование экспертной информации;
4) сбор экспертной информации;
5) обработку и анализ полученной информации.
Рассмотрим каждый из перечисленных этапов.
Обоснование целесообразности экспертных оценок осуществляет лицо принимающим решения в том случае, когда нет других формальных путей получения достоверных исходных данных для выработки решения. При этом формируется цель экспертизы, определяются пути и сроки получения экспертной информации, назначается руководитель экспертизы.
Разработка или выбор методов сбора и обработки экспертной информации или метода экспертных оценок осуществляется в соответствии со спецификой решаемой задачи, наличием достаточного количества компетентных экспертов и сроками получения экспертных оценок.
При формировании экспертной группы
необходимо решать задачи по качественному и количественному отбору экспертов. При отборе экспертов по качественному признаку учитываются такие требования к ним, как компетентность в исследуемой области, эрудированность в смежных областях, объективность, заинтересованность, деловитость, способность к выделению главного. Эксперт должен творчески решать задачи, метод решения которых неизвестен, видеть и создавать неочевидные проблемы, предсказывать будущее состояние объекта, противопоставлять массовому мнению свое собственное, видеть проблему с различных точек зрения . Состав экспертной группы должен соответствовать рассматриваемому вопросу, включать различных специалистов, по возможности не влиявших друг на друга.
В ходе определения количества экспертов учитывается, что при малом их числе появляется излишнее влияние оценки каждого эксперта, а при большом числе трудно вырабатывать единое мнение и снижается роль крайнего мнения, которое не всегда может быть ошибочным.
Сбор экспертной информации зависит от выбора метода экспертных оценок. Обычно для сбора экспертной информации составляют специальные документы, например анкеты, утверждаемые соответствующими руководителями и затем рассылаемые экспертам.
Обработка экспертной информации осуществляется с помощью выбранного метода, как правило, с использованием вычислительной техники. Полученные в результате обработки данные анализируют и используют для решения задач анализа и синтеза систем управления.
Экспертные оценки используются в случаях, когда необходим анализ прогнозирования следующих вариантов развития:
1) объектов, развитие которых либо полностью, либо частично не поддается предметному описанию или математической формализации;
2) в условиях отсутствия достаточно представительной и достоверной статистики по характеристикам объекта;
3) в условиях большой неопределенности среды функционирования объекта, рыночной среды;
4) при средне- и долгосрочном прогнозировании новых рынков, объектов новых областей промышленности, подверженных сильному влиянию открытий в фундаментальных науках, (например, микробиологическая промышленность, квантовая электроника, атомное машиностроение);
5) в случаях, когда или время, или средства, выделяемые на прогнозирование и принятие решений, не позволяют исследовать проблему с применением формальных моделей;
6) отсутствуют необходимые технические средства моделирования, например, вычислительная техника с соответствующими характеристиками;
7) в экстремальных ситуациях.
При формировании экспертной группы необходимо решать задачи по качественному и количественному отбору экспертов. При отборе экспертов по качественному признаку учитываются такие требования к ним, как:
компетентность в исследуемой области;
эрудированность в смежных областях;
объективность;
заинтересованность;
деловитость;
способность к выделению главного;
способность творчески решать задачи, метод решения которых неизвестен;
способность противопоставить массовому мнению свое мнение;
способность видеть проблему с различных точек зрения.
Организаторы проведения экспертизы выбирают процедуру осуществления экспертизы. Известны различные подходы к этому вопросу. Можно проводить
-индивидуальный или групповой опрос,
-очный или заочный;
-открытый или закрытый.
Индивидуальный опрос заключается в интервьюировании эксперта и позволяет максимально использовать способности и знания каждого эксперта.
Групповой – при этом методе эксперты могут обмениваться мнениями, могут учесть упущенный момент каждым из них, скорректировать свою оценку. Недостаток группового мнения заключается в сильном влиянии авторитетов на мнения большинства участников экспертизы, в трудности публичного отказа от своей точки зрения, психологической несовместимости некоторых участников экспертизы.
Из методов группового опроса используют: различные модификации метода Дельфи.[1],[2]
Метод Дельфи
Сущность метода Дельфи состоит в последовательном анкетировании экспертов различных областей науки и техники и формировании массива информации, отражающего индивидуальные оценки экспертов, основанные как на строго логическом анализе, так и на интуитивном опыте. Метод предполагает использование серии анкет, в каждой из которых содержатся информация и мнения, полученные из предыдущей анкеты. При этом соблюдается требование отсутствия личных контактов между экспертами и обеспечения их полной информацией по всем результатам оценок после каждого тура опроса с сохранением анонимности оценок, аргументации и критики. Таким образом, метод Дельфи позволяет исследователю получить на порядок более достоверные результаты исследования, нежели те, которые могли быть получены в ходе традиционной экспертной оценки.
Сбор и обработка индивидуальных мнений экспертов о прогнозах развития объекта производится исходя из следующих принципов:
1) вопросы в анкетах ставятся таким образом, чтобы можно было дать количественную характеристику ответам экспертов;
2) опрос экспертов проводится в несколько туров, в ходе которых вопросы и ответы все более уточняются;
3) все опрашиваемые эксперты знакомятся после каждого тура с результатами опроса;
4) эксперты обосновывают оценки и мнения, отклоняющиеся от мнения большинства;
5) статистическая обработка ответов производится последовательно от тура к туру с целью получения обобщающих характеристик.
Таким образом, с помощью метода Дельфи выявляется преобладающее суждение специалистов по какому-либо вопросу в обстановке, исключающей их прямые дебаты между собой, но позволяющей им, вместе с тем, периодически взвешивать свои суждения с учетом ответов и доводов коллег.
Пересмотр и возможность изменения своих прежних оценок на основе выяснения соображений каждого из экспертов и последующий анализ каждым участником совокупности причин, представленных экспертами, стимулируют опрашиваемых к учету факторов, которые они на первых порах склонны были опустить как незначительные.
При использовании метода Дельфи учитывают следующие факторы:
Группы экспертов должны быть стабильными и численность их должна удерживаться в благоразумных рамках.
Способ стабилизации экспертной группы заключается в следующем. На основе анализа литературы по прогнозируемой проблеме выбирается любой специалист, имеющий несколько публикаций в данной области. К нему обращаются с просьбой назвать 10 наиболее компетентных, по его мнению, специалистов по данной проблеме. Затем обращаются одновременно к каждому из десяти названных специалистов с просьбой указать 10 наиболее крупных из коллег-ученых. Из полученного списка специалистов вычеркивают 10 первоначальных, а остальным рассылаются письма, содержащие указанную выше просьбу. Данную процедуру повторяют до тех пор, пока ни один из вновь названных специалистов не сможет добавить новые фамилии к списку экспертов, т.е. пока не стабилизируется группа экспертов. Полученную группу экспертов можно считать генеральной совокупностью специалистов, компетентных в области прогнозируемой проблемы. Однако в силу ряда практических ограничений оказывается нецелесообразным привлекать всех специалистов к экспертизе. Поэтому необходимо сформировать репрезентативную выборку из генеральной совокупности экспертов.
Этот вопрос решается в рамках каждого конкретного метода экспертного прогнозирова
Время между турами опросов должно быть не более месяца.
Вопросы в анкетах должны быть тщательно продуманы и четко сформулированы.
Число туров должно быть достаточным, чтобы обеспечить всем участникам возможность ознакомиться с причиной той или иной оценки, а также и для критики этих причин. Ограничений по числу туров не существует, однако их оптимальное число — 2—3.
Необходимо иметь самооценку компетенции экспертов по рассматриваемым проблемам.
Метод Дельфи реализуется по следующему алгоритму
:
1) формирование репрезентативной экспертной группы;
2) подготовка экспертизы;
3) проведение экспертизы;
4) обработка полученных ответов;
5) анализ результатов;
6) разработка сценария и мероприятий по устранению выявленных недостатков;
7) подготовка и проведение повторных экспертиз;
8) подготовка рекомендаций по распределению ресурсов;
9) анализ результатов и принятие окончательного решения.
В первом туре, после того, как экспертам разъяснена цель экспертизы и представлены вопросы (персонально в виде анкеты или пояснительной записки), они представляют свои ответы без аргументации. Вся экспертная информация поступает в рабочую группу. Производится обработка и анализ полученной информации. Полученные результаты сообщаются экспертам и проводится второй тур опроса.
На втором туре опроса у тех экспертов, чьи оценки значительно отличались от общих, просят представить обоснованные аргументы в пользу своих суждений. Подобная информация в анонимном виде доводится до остальных экспертов. Это позволяет им учесть те обстоятельства, которые они по какой-то причине пропустили или пренебрегли. В результате эксперты могут пересмотреть свои суждения или откорректировать данные, которые они указали в предыдущем туре. Скорректированная информация вновь поступает в группу управления экспертизой, реализуя обратную связь.
После обработки результатов второго тура скорректированные групповое и «оригинальные» мнения, а также вся аргументация с сохранением анонимности сообщаются экспертам и проводится очередной тур.
В результате такой многотуровой процедуры опроса с последующей обработкой могут наблюдаться две ситуации. Во-первых, от тура к туру растет согласованность мнений экспертов. Во-вторых, от тура к туру растет размежевание мнений экспертов на подгруппы с высокой согласованностью внутри подгрупп. Последнее может объясняться либо наличием представителей различных научных школ, либо неодинаковой интерпретацией исходной информации специалистами различные профилей. В любом из этих случаев руководитель группы управления принимает решение либо на проведение дальнейшего опроса с целью подтверждения создавшегося положения, либо на окончание проведения экспертизы и составление отчета по ней. Однако часто имеет место сходимость оценок в многотуровой экспертизе.
Существует большое количество различных модификаций метода Дельфи. Ряд модификаций связан с ограничениями анонимности ответов. Это связано с тем, что в оригинале условие полной анонимности было введено для того, чтобы суждения экспертов основывались лишь на собственных предпочтениях и при этом другие мнения за и против не влияли на эксперта. Однако в практике нередко приходится выбирать между частичным исключением анонимности и полным отказом от использования метода Дельфи.
Другие модификации связаны с ограничением обратной связи. В этом случае обратная связь направлена только к так называемым «независимым» экспертам (на основании того, что они могли бы оказаться единственными специалистами, дающими правильный ответ), которых просят подтвердить свою точку зрения. Если с точки зрения группы управления суждение «независимого» эксперта подтверждается, то его оценка принимается за искомую. В противном случае за искомую принимается групповое мнение.
Для выявления экспертов, наиболее влияющих на согласованность мнений, в ряде модификаций используют прием последовательного исключения одного или нескольких участников экспертизы и вычисления коэффициента согласия .
Достоинством метода Дельфи является использование обратной связи в ходе опроса, что значительно повышает объективность экспертных оценок.
К основным недостаткам метода Дельфи можно отнести большие затраты времени на многотуровую экспертизу и полное исключение прямого столкновения мнений экспертов. Более того, в процессе длительного разнесенного по времени многотурового опроса может сложиться лишь видимость высокой согласованности индивидуальных мнений за счет стремления экспертов побыстрее отделаться от вопросов. Это приводит к поверхностному индивидуальному анализу проблемы и стремлению к «групповому» мнению. Длительность процедуры часто приводит к нестабильности состава экспертной группы.[3],[4]
Применение метода «Дельфи» для мониторинга наноиндустрии.
В связи с ключевой важностью наноиндустрии появились задачи организации, контроля и упорядочения деятельности в этом направлении, системного подхода, планирования и управления процессом развертывания нанотехнологий. В своей работе я хочу разобрать общий пример составления прогнозов экспертов применительно к задачам наноиндустрии.
Чтобы принимать решения в области наноиндустрии, необходимо иметь возможность получать информацию. Для этого есть только один путь – задать вопросы специалистам в этой области. Но несколькими вопросами не обойтись. Профессиональные вопросы группируются в списки, размещаются в анкетах, которые в процессе проведения работ дополняются и уточняются. Только в этом случае можно отработать качественные ответы экспертов и получать с их помощью достоверные знания в интересующей области.
Исследование в области наноиндустрии необходимо начать с определения задач, целей и исследуемых вопросов. Системный подход к построению экспертных панелей требует, чтобы в обязательном порядке был сформулирован главный вопрос. Главный вопрос – это вопрос, который задается всей программой исследования, подчас это единственный вопрос, на который отвечает все экспертное исследование. Так, можно задать главный вопрос «Как сократить отставание России от промышленно развитых стран в области нанотехнологий?». В этом вопросе содержится программная концепция необходимости довести уровень российской наноиндустрии до мирового уровня. Другая концепция содержится в главном вопросе "Является ли причиной нехватки специалистов по наноиндустрии низкий жизненный уровень инженерно-технических работников в России?". Нужно проверить гипотезу, заложенную в вопросе, но при этом следует предусмотреть в исследование и другие причины нехватки кадров.
Разработка анкет подбора экспертов
Достоверные данные, информацию высокого научного уровня для мониторинга наноиндустрии можно получить только при участии экспертов – специалистов в различных областях технических знаний, на пересечении которых создаются и функционируют нанотехнологии. Поэтому большое внимание следует уделить разработке и заполнению анкет, с помощью которых можно отобрать наиболее подходящих специалистов, владеющих информацией, необходимой для отслеживания ситуации и прогнозирования.
Анкетный вопрос – вопрос в той формулировке, в которой он непосредственно включается в анкету. Он должен быть четким, конкретным, недвусмысленным, понятным респонденту. Анкета, как правило, состоит из пяти частей: введение, реквизитная, информационная и классификационная части и заключение (табл.1).
Таблица 1 «Структура анкеты»
| № | Раздел анкеты | Содержание раздела |
| 1. | Введение | Во введении необходимо ознакомить опрашиваемых с целями анкетирования |
| 2. | Реквизитная часть | В реквизитной части приводятся сведения, касающиеся респондентов, указываются сроки проведения опроса, состав группы и/или организаций, проводящих анкетирование; могут быть приведены рекомендации по заполнению анкеты |
| 3. | Классификационная часть | Классификационная часть содержит социально-демографические и профессионально-квалификационные сведения |
| 4. | Информационная часть | Информационная часть состоит из содержательных вопросов, которые призваны дать весь массив необходимой информации |
| 5. | Заключение | В заключительной части составители анкеты должны высказать слова признательности и благодарности респондентам за участие в опросе |
Классификационная часть – содержит сведения о возрасте эксперта, месте его рождения и проживания, об образовании, о характере работы и стаже, о других подтверждениях его уровня как специалиста (публикации, изобретения, участие в выставках и конференциях, преподавательская деятельность и т.п.).
Помимо общих социально-демографических вопросов классификационная часть содержит вопросы-фильтры (или «отсекающие» вопросы). Они позволяют отобрать группу респондентов, которые могут (в силу своего административного статуса, опыта технической работы или организационной деятельности, заинтересованности или эрудиции) ответить на следующие в информационной части зависимые вопросы.
Пример 1
На основании таких анкет делается вывод о квалификации эксперта, целесообразности его участия в исследовании, а также о значимости его мнений. Данные, указанные экспертами, заверяются руководителем организации, в которой работает эксперт.
Разработка предметных анкет.
Для получения максимального объема требуемой информации структура предметной анкеты должна содержать блоки вопросов разного типа. Это обеспечивает разнообразие позиций изучения проблемы и рассмотрение множества аспектов ее разрешения.
В случае необходимости анкета может состоять из однотипных вопросов, соответствующих тому или иному модулю, но такие анкеты при большом числе вопросов очень однообразны и быстро утомляют респондента. Вследствие этого у человека, заполняющего такую анкету, снижается внимание и ухудшается качество и информативность ответов.
По структуре различные блоки (модули) анкеты, которые можно применить для мониторинга наноиндустрии можно классифицировать следующим образом (Рис.1).
Рис. 1. Классификация модулей вопросов, применяемых в структуре анкет.
Блоки вопросов могут быть сформулированы с учетом настоящего, прошедшего и будущего времени. Общее число вопросов должно быть от 50 до 150 в одной анкете, хотя встречаются анкеты, содержащие несколько сотен вопросов. Более сложные вопросы лучше располагать ближе к середине анкеты, а в ее начале должны стоять простые вопросы, ответы на которые не вызывают ни затруднений, ни негативных эмоций. Образцы вопросов по каждому из рассматриваемых модулей приведены в таблице 2.
Таблица. 2. Применение модулей вопросов для экспертных анкет
| № п.п | Тип модуля вопросов | Пример модуля вопросов |
| 1 | Модуль «Закрытые вопросы» | ПРИНИМАЕТЕ ЛИ ВЫ УЧАСТИЕ В ГОС. БЮДЖЕТНЫХ ТЕМАХ ПО НАНОИНДУСТРИИ? Да, принимаю
Нет, не принимаю
РЕГУЛЯРНО ЛИ ВЫ ЧИТАЕТЕ ЖУРНАЛЫ ПО НАНОИНДУСТРИИ? Да, читаю регулярно
Читаю, но не регулярно..............................
Нет, не читаю
|
| 2 | Модуль «Полузакрытые вопросы» | КАКИЕ МЕТОДЫ КОНТРОЛЯ НАИБОЛЕЕ ЦЕЛЕСООБРАЗНО ПРИМЕНЯТЬ ДЛЯ КОНТРОЛЯ НАНОСТРУКТУР? Сканирующая зондовая микроскопия………….01
Сканирующая туннельная микроскопия………02
Электронная микроскопия………………………03
Свой ответ………………………………………...04
|
| 3 | Модуль «Открытые вопросы» | Чем отличаются принципы проектирования наноэлементов от микроэлектронных компонентов? Дайте свой ответ
Как Вы считаете, какие ресурсы необходимо привлечь для комплексного решения проблемы наноиндустрии? Дайте свой ответ
|
| 4 | Модуль «Тестовые вопросы (вопросы-суждения)» | ДЛЯ УСКОРЕНИЯ ПРОЦЕССА ОСВОЕНИЯ СОВРЕМЕННЫХ НАНОТЕХНОЛОГИЙ НЕОБХОДИМО: массовое обучение специалистов по профилю наноиндустрии…………………………………………….
малочисленная усиленная подготовка
наноинженеров ……………………………………………
приглашение зарубежных специалистов в области наноиндустрии……………………………………………
(нужное подчеркните) |
Очень важным моментов в панельных исследованиях является выбор формы получения ответа. От этого зависит качество снимаемой информации и возможность оперативной и достоверной обработки массива анкетных ответов множества экспертов. В таблице 3 приведены примеры вопросов и кодировки ответов на них.
Табл. 3. Классификация модулей вопросов анкет и различные кодировки ответов.
Целесообразно использовать различные виды анкет. Для первого этапа мониторинга особенно важны анкеты с открытыми вопросами, позволяющие напрямую адресовать экспертам программные вопросы. [5],[6]
Заключение
Метод Дельфи имеет несомненные преимущества по сравнению с методами, основанными на обычной статистической обработке результатов индивидуальных опросов. Он позволяет уменьшить колебания по всей совокупности индивидуальных ответов, ограничивает колебания внутри групп. При этом, как показывают проводимые эксперименты, наличие малоквалифицированных экспертов оказывает менее сильное влияние на групповую оценку, чем простое усреднение результатов ответов, поскольку ситуация помогает им исправить ответы за счет получения новой информации от своей группы.
Список использованной литературы
1. Авдулов П.В., Гойзман Э.И., Кутузов В.А. и др. Экономико– математические методы и модели для руководителя. М.: Экономика 1998 г.
2. Агафонов В.А. Анализ стратегий и разработка комплексных программ. М.: Наука, 1997 г.
3. Математические методы в планировании отраслей и предприятий / Под ред. И.Г. Попова. М.: Экономика, 1997 г.
4. Л.П. Владимирова. Прогнозирование и планирование в условиях рынка., учебное пособие (второе издание). М.: 2001 г.
5. Электронный ресурс - http://www.rosnano.ru/
6. Электронный ресурс - www.nanometer.ru