Тема
«Процедура отбора экспертов при принятии коллективных решений»
СОДЕРЖАНИЕ
1. ПРОЦЕДУРА ОТБОРА ЭКСПЕРТОВ ПРИ ПРИНЯТИИ КОЛЛЕКТИВНЫХ РЕШЕНИЙ
2. ПРАКТИЧЕСКАЯ ЧАСТЬ
3. ЛАБОРАТОРНАЯ ЧАСТЬ
СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ
1. ПРОЦЕДУРА ОТРБОРА ЭКСПЕРТОВ ПРИ ПРИНЯТИИ КОЛЛЕКТИВНЫХ РЕШЕНИЙ
Бесспорно совершенно, что для принятия обоснованных решений необходимо опираться на опыт, знания и интуицию специалистов. После второй мировой войны в рамках теории управления (менеджмента) стала развиваться самостоятельная дисциплина - экспертные оценки.
Методы экспертных оценок - это методы организации работы со специалистами-экспертами и обработки мнений экспертов, выраженных в количественной и/или качественной форме с целью подготовки информации для принятия решений ЛПР. Для проведения работы по методу экспертных оценок создают Рабочую группу (сокращенно РГ), которая и организует по поручению ЛПР деятельность экспертов, объединенных (формально или по существу) в экспертную комиссию (ЭК).
Существует масса методов получения экспертных оценок. В одних с каждым экспертом работают отдельно, он даже не знает, кто еще является экспертом, а потому высказывает свое мнение независимо от авторитетов. В других экспертов собирают вместе для подготовки материалов для ЛПР, при этом эксперты обсуждают проблему друг с другом, учатся друг у друга, и неверные мнения отбрасываются. В одних методах число экспертов фиксировано и таково, чтобы статистические методы проверки согласованности мнений и затем их усреднения позволяли принимать обоснованные решения. В других - число экспертов растет в процессе проведения экспертизы, например, при использовании метода "снежного кома".
Не меньше существует и методов обработки ответов экспертов, в том числе весьма математизированных и компьютеризированных. Многие из них основаны на достижениях статистики объектов нечисловой природы и других современных методах прикладной статистики.
Проблема подбора экспертов является одной из наиболее сложных. Очевидно, в качестве экспертов необходимо использовать тех людей, чьи суждения наиболее помогут принятию адекватного решения. Но как выделить, найти, подобрать таких людей? Надо прямо сказать, что нет методов подбора экспертов, наверняка обеспечивающих успех экспертизы. Сейчас мы не будем возвращаться к обсуждению проблемы существования различных "партий" среди экспертов и обратим внимание на различные иные стороны процедур подбора экспертов.
Часто предлагают использовать методы взаимооценки и самооценки компетентности экспертов. С одной стороны, кто лучше может знать возможности эксперта, чем он сам? С другой стороны, при самооценке компетентности скорее оценивается степень самоуверенности эксперта, чем его реальная компетентность. Тем более, что само понятие "компетентность" строго не определено. Можно его уточнять, выделяя составляющие, но при этом усложняется предварительная часть деятельности экспертной комиссии.
При использовании метода взаимооценки, помимо возможности проявления личностных и групповых симпатий и антипатий, играет роль неосведомленность экспертов о возможностях друг друга. В современных условиях достаточно хорошее знакомство с работами и возможностями друг друга может быть лишь у специалистов, много лет работающих совместно. Однако привлечение таких пар специалистов не очень-то целесообразно, поскольку они слишком похожи друг на друга.
Использование формальных показателей (должность, ученые степень и звание, стаж, число публикаций...), очевидно, может носить вспомогательный характер. Успешность участия в предыдущих экспертизах - хороший критерий для деятельности дегустатора, врача, судьи в спортивных соревнованиях, т.е. таких экспертов, которые участвуют в длинных сериях однотипных экспертиз. Однако, увы, наиболее интересны и важны уникальные экспертизы больших проектов, не имеющих аналогов.
В случае, если процедура экспертного опроса предполагает совместную работу экспертов, большое значение имеют их личностные качества. Один "говорун" может парализовать деятельность всей комиссии. В подобных случаях важно соблюдение регламента работы, разработанного РГ.
Есть полезный метод "снежного кома", при котором от каждого специалиста, привлекаемого в качестве эксперта, получают несколько фамилий тех, кто может быть экспертом по рассматриваемой тематике. Очевидно, некоторые из этих фамилий встречались ранее в деятельности РГ, а некоторые - новые. Процесс расширения списка останавливается, когда новые фамилии перестают встречаться. В результате получается достаточно обширный список возможных экспертов. Ясно, что если на первом этапе все эксперты были из одного "клана", то и метод "снежного кома" даст, скорее всего, лиц из этого "клана", мнения и аргументы других "кланов" будут упущены. Необходимо подчеркнуть, что подбор экспертов в конечном счете функция Рабочей группы, и никакие методики подбора не снимают с нее ответственности. Другими словами, именно на Рабочей группе лежит ответственность за компетентность экспертов, за их принципиальную способность решить поставленную задачу. Важным является требование к ЛПР об утверждении списка экспертов.
Существует ряд нормативных документов, регулирующих деятельность экспертных комиссий в тех или иных областях. Примером является Закон Российской Федерации "Об экологической экспертизе" от 23 ноября 1995 г. , в котором регламентируется процедура экспертизы "намечаемой хозяйственной или иной деятельности" с целью выявления возможного вреда, который может нанести рассматриваемая деятельность окружающей природной среде.
2. ПРАКТИЧЕСКАЯ ЧАСТЬ
Задача на принятие решений в условиях риска
Компания рассматривает три альтернативы закупки оборудования: А, В, С. Условия выплаты для каждой альтернативы зависят от экономических условий в течение будущего года. Рассматриваются три возможных экономических ситуации: медленный рост, нормальный рост, быстрый рост.
Проведенный экономический прогноз оценивает следующие вероятности: медленный рост - 30%, нормальный рост - 40%, быстрый - 30%. Условия выплат по каждой альтернативе в зависимости от различных условий показаны ниже в таблице. Какое оборудование необходимо закупить?
| Экономические условия | |||
| Альтернативы | Медленный рост | Нормальный рост | Быстрый рост |
| А | - 200 000 | 150 000 | 200 000 |
| В | - 40 000 | 100 000 | 80 000 |
| С | - 100 000 | 50 000 | 150 000 |
Решение:
Рассчитаем возможные выплаты по оборудованию в условиях различных экономических условий:
- оборудование А:
-200 000 * 0,3 + 150 000 * 0,4 + 200 000 * 0,3 = 60 000
- оборудование В:
-40 000 * 0,3 + 100 000 * 0,4 + 80 000 * 0,3 = 52 000
- оборудование С:
-100 000 * 0,3 + 50 000 * 0,4 + 150 000 * 0,3 = 35 000
Необходимо закупить оборудование А, так как выплаты будут максимальными.
Задача на принятие решений в условиях неопределенности
Компания по производству компьютеров рассматривает три альтернативных вида компьютера для производства. Прибыль от реализации компьютеров зависит от изменения величины доходов населения в течение будущего года, Условия выплат по каждой альтернативе приведены в таблице. Требуется выбрать один из вариантов производства.
| Альтернатива | Доходы населения в следующем году | ||
| Уменьшаются | Без изменений | Увеличиваются | |
| Элитный компьютер | - 200 000 | 150 000 | 200 000 |
| Домашний компьютер | - 40 000 | 100 000 | 80 000 |
| Офисный компьютер | - 100 000 | 50 000 | 150 000 |
Решение:
В условиях полной неопределенности выплаты составят:
- элитный компьютер
(- 200 000 + 150 000 + 200 000) * 0,333 = 49 950
- домашний компьютер
(- 40 000 + 100 000 + 80 000) * 0,333 = 46 620
- офисный компьютер
(-100 000 + 50 000 + 150 000) * 0,333 = 33 300
Следовательно, в условиях полной неопределенности необходимо выбрать элитный компьютер.
В условиях пессимистического настроя необходимо выбрать компьютер домашний компьютер (по принципу максимина).
В условиях оптимистического настроя необходимо выбрать элитный компьютер (по принципу максимакса).
3. ЛАБОРАТОРНАЯ ЧАСТЬ
Задача 1
У компании имеется 5 вариантов инвестирования. Финансовых ресурсов компании хватает для инвестирования только одного предприятия. На основе оценки экспертов руководству компании известно, какой будет прибыль (убыток) в зависимости от выбранного предприятия и сложившейся экономической ситуации. Кроме того, известны вероятности наступления той или иной экономической ситуации. Необходимо выбрать инвестируемое предприятие.
Альтернативы. Экономическая ситуация в стране, вероятность ее наступления
| Альтернативы | Экономическая ситуация в стране, вероятность ее наступления | ||||
| р =0,2 | р = 0,1 | р = 0,3 | р = 0,2 | р = 0,2 | |
| Аэрофлот | 42352 | 7651 | -8762 | 9873 | -3454 |
| Газпром | 76544 | 9800 | -7053 | 98212 | -56751 |
| Далькомбанк | -45606 | 87649 | 76234 | -90871 | 61291 |
| ВАЗ | 9,0 | 54388 | 8755 | -3240 | 76421 |
| Хабэнерго | 82916 | 76907 | -100766 | 67439 | -81766 |
PROGRAM: Decision Making Under Risk
***** INPUT DATA ENTERED*****
------------------------------------------------------------
Events
-----------------------------------------
1 2 3 4 5
Alternative p = 0.20 p = 0.10 p = 0.30 p = 0.20 p = 0.20
-----------------------------------------------------------
1 42352.00 7651.00 -8762.00 9873.00 -3454.00
2 76544.00 9800.00 -7053.00 98212.00 -56751.00
3 -45606.00 87649.00 76234.00 -90871.00 61291.00
4 9.00 54388.00 8755.00 -3240.00 76421.00
5 82916.00 76907.00% - 100766.00 67439.00-81766.00
---------------------------------------------------------
***** PROGRAM OUTPUT*****
---------------------------------------------------------
Alternative Expected Value
--------------------------------------------------------
1 7890.70
2 22465.10
3 16597.90
4 22703.30*
5 -8821.30
-------------------------------------------------------
* indicatesoptimalsolution
Вывод: выбираем альтернативу 4 (ВАЗ), т.к. выплата по данной альтернативе максимальная и составит 22703,3.
Задача 2
Рассчитать, какую альтернативу необходимо выбрать для получения максимум при следующих условиях:
| Альтернативы | |||||
| р =0,1 | р = 0,2 | р = 0,4 | р = 0,1 | р = 0,2 | |
| А | 4235 | 765 | -876 | 987 | -345 |
| Б | 7654 | 980 | -705 | 9821 | -6751 |
| В | -4560 | 8764 | 7623 | -9087 | 1291 |
| Г | 9,0 | 5438 | 875 | -324 | 6421 |
| Д | 8921 | 7690 | -10076 | 6743 | 1766 |
| Е | 90543 | -6543290 | 765432 | -543287 | 43298 |
PROGRAM: Decision Making Under Risk
***** INPUT DATA ENTERED*****
------------------------------------------------------------
Events
-----------------------------------------
1 23 45
Alternative p = 0.10 p = 0.20 p = 0.40 p = 0.10 p = 0.20
-----------------------------------------------------------
1 4235.00 765.00 -876.00 987.00 -345.00
2 7654.00 980.00 -705.00 9821.00 -6751.00
3 -4560.00 8764.00 7623.00 -9087.00 1291.00
4 9.00 5438.00 875.00 -324.00 6421.00
5 9821.00 7690.00-10076.00 6743.00 1766.00
6 90543.00%-6543290.00765432.00%-543287.0043298.00
---------------------------------------------------------
***** PROGRAM OUTPUT*****
---------------------------------------------------------
Alternative Expected Value
--------------------------------------------------------
1 255.80
2 311.30
3 2 690,2
4 2690.30*
5 -572.80
6 %-1039100.00
-------------------------------------------------------
* indicatesoptimalsolution
Вывод: выбираем альтернативу 4, т.к. выплата по данной альтернативе максимальная и составит 2690,3.
Задача 3
Молодая компания вступает на рынок ценных бумаг. По имеющимся у нее капиталам, она способна закупить акции одной из представленных ниже компаний. В стране ожидаются политические изменения – предстоят президентские выборы. Аналитики предсказали, как изменятся курсы акций и шансы на президентский пост каждого кандидата. Требуется предложить вариант покупки акций, обосновав его.
| Акции предприятий | Кандидаты на пост президента | ||||||
| Путин | Зюганов | Явлинский | Чубайс | Немцов | Ишаев | Кириенко | |
| Р = 0,4 | Р = 0,2 | Р = 0,1 | Р = 0 | Р = 0,1 | Р = 0,1 | Р = 0,1 | |
| РАО ЕЭС | 24 | -375 | -278 | 657 | 54 | 0 | -122 |
| Внешторгбанк | 12 | -412 | 0 | 0 | 310 | 412 | 0 |
| Аэрофлот | 234 | 782 | 100 | -56 | 25 | 44 | 38 |
| Чайна-таун | 0 | 150 | -38 | -42 | 210 | -361 | 98 |
| Кристалл | 120 | 0 | -360 | 22 | 9 | 79 | -26 |
| Хабэнерго | -63 | -45 | 122 | -324 | -28 | 520 | 0 |
PROGRAM: Decision Making Under Risk
***** INPUT DATA ENTERED*****
------------------------------------------------------------
Events
-----------------------------------------
1 234 567
Alternative p = 0.40 p = 0.20 p = 0.10 p = 0.00 p = 0.10 p = 0.10 p = 0.10
-----------------------------
1 24.00 -375.00 -278.00 657.00 54.00 0.00 -122.00
2 12.00 -412.00 0.00 0.00 310.00 412.00 0.00
3 234.00 782.00 100.00 -56.00 25.00 44.00 38.00
4 0.00 150.00 -38.00 -42.00 210.00 -361.00 98.00
5 120.00 0.00 -360.00 22.00 9.00 79.00 -26.00
6 -63.00 -45.00 122.00 -324.00 -28.00 520.00 0.00
---------------------------------------------------------
***** PROGRAM OUTPUT*****
---------------------------------------------------------
Alternative Expected Value
--------------------------------------------------------
1 -100.00
2 -5.40
3 270.70*
4 19,90
5 18.20
6 27.20
-------------------------------------------------------
* indicatesoptimalsolution
Вывод: выбираем альтернативу 3 (Аэрофлот), т.к. этот вариант покупки акций наиболее выгодный и составляет 270,70.
Задачи на принятие решений в условиях неопределенности
Задача 1
Фирма занимается продажей компьютерных процессоров. Известно, что в зависимости от курса доллара цены на процессоры будут изменяться (как расти, так и падать). Поскольку фирма может приобрести лицензию на торговлю одним видом процессоров, требуется предложить директору фирмы несколько вариантов выбора лицензии, обосновав каждый.
| Альтернативы | Изменение курса доллара | ||||
| Курс резко падает | Курс медленно падает | Курс не изменяется | Курс медленно растет | Курс резко растет | |
| AMDK6 | 4235 | 765 | -876 | 987 | -345 |
| Celeron | 7654 | 980 | -705 | 9821 | -6751 |
| Pentium III | -4560 | 8764 | 7623 | -9087 | 1291 |
| Pentium II | 9,0 | 5438 | 875 | -324 | 6421 |
PROGRAM: Decisoin Making Under Uncertainty
*****INPUT DATA ENTERED*****
----------------------------------------------------------------------
Events
--------------------------------------
Alternative 1 23 4 5
---------------------------------------------------------------------
14235.00 765.00 -876.00 987.00 -345.00
2 7654.00980.00 -705.00 9821.00 -6751.00
3 4560.008764.00 7623.00 9087.00 1291.00
4 9.005438.00 875.00 324.00 6421.00
--------------------------------------------------------------------
Coefficient of optimism: .2
*****PROGRAM OUTPUT*****
Laplace
-------------------------------------------------------------------
Alternatives Expected Value
------------------------------------------------------------------
1 953.20
2 2199.80
3 806.20
4 2483.80*
-----------------------------------------------------------------
Maximin
-----------------------------------------------------------------
Alternatives Maximin Payoff
------------------------------------------------------------------
1 –876.00
2 –6751.00
3 –9087.00
4 –324.00*
-----------------------------------------------------------------
Maximax
----------------------------------------------------------------
Alternatives Maximax Payoff
------------------------------------------------------------------
1 4235.00
2 9821.00*
3 8764.00
4 6421.00
-----------------------------------------------------------------
Hurwicz
--------------------------------------------------------------
Alternatives Hurwicz Payoff
------------------------------------------------------------------
1 146.20
2 –3436.00
3 –5516.80
4 1025.00*
-------------------------------------------------------------
Minimax
------------------------------------------------------------
Alternatives Maximum Regret
------------------------------------------------------------------
1 8834.00*
2 13172.00
3 18908.00
4 10145.00
-------------------------------------------------------------------
* indicates the best solution
----------------------------------------------------------------
Decision Criterios Optimum Alternative
-----------------------------------------------------------------
Laplace 4
Maximin 4
Maximax 2
Hirwicz (alpha=.2) 4
Minimax1
---------------------------------------------------------------
Вывод: В условиях полной неопределенности компании следует воспользоваться 4 альтернативой (приобрести лицензию на торговлю процессорами Pentium 2). Если мы считаем, что прогноз будет пессимистический, то мы также воспользуемся 4 вариантом. При оптимистическом взгляде в будущее нам желательно воспользоваться вариантом 2. По критерию Гурвица и при коэффициенте оптимизма 2 мы приобретем лицензию на торговлю процессором Pentium 2. Если мы пытаемся застраховать наше предприятие от возможных потерь, то приобретем лицензию на торговлю процессором AMDK6.
Задача 2
Молодая компания вступает на рынок ценных бумаг. По имеющимся у нее капиталам она способна закупить акции одной из представленных ниже компаний. В стране ожидаются политические изменения – предстоят президентские выборы. Аналитики предсказали, как изменятся курсы акций, но никто не может сказать, какой из кандидатов станет президентом. Требуется предложить несколько вариантов покупки акций, обосновав каждый.
Акции предприятий |
Кандидаты на пост президента | ||||||
| Путин | Зюганов | Явлинский | Чубайс | Немцов | Ишаев | Кириенко | |
| РАО ЕЭС | 24 | -375 | -278 | 657 | 54 | 0 | -122 |
| Внешторгбанк | 12 | -412 | 0 | 0 | 310 | 412 | 0 |
| Аэрофлот | 234 | 782 | 100 | -56 | 25 | 44 | 38 |
| Чайна-таун | 0 | 150 | -38 | -42 | 210 | -361 | 98 |
| Кристалл | 120 | 0 | -360 | 22 | 9 | 79 | -26 |
| Хабэнерго | -63 | -45 | 122 | -324 | -28 | 520 | 0 |
PROGRAM: Decisoin Making Under Uncertainty
*****INPUT DATA ENTERED*****
----------------------------------------------------------------------
Events
--------------------------------------
Alternative 1 2 3 4 5 6 7
---------------------------------------------------------------------
1 24.00 -375.00 -278.00 657.00 54.00 0.00 -122.00
2 12.00 -412.00 0.00 0.00 310.00 412.00 0.00
3 234.00 782.00 100.00 -56.00 25.00 44.00 38.00
4 0.00 150.00 -38.00 -42.00 210.00 -361.00 98.00
5 120.00 0.00 -360.00 22.00 9.00 79.00 -26.00
6 -63.00 -45.00 122.00 -324.00 -28.00 520.00 0.00
--------------------------------------------------------------------
Coefficient of optimism: .2
*****PROGRAM OUTPUT*****
Laplace
-------------------------------------------------------------------
Alternatives Expected Value
------------------------------------------------------------------
1 -5.71
2 46.00
3 166.71*
4 2.43
5 -22,29
6 26.00
-----------------------------------------------------------------
Maximin
-----------------------------------------------------------------
Alternatives Maximin Payoff
------------------------------------------------------------------
1 -375.00
2 -412.00
3 -56.00*
4 -361.00
5 -360.00
6 -324.00
-----------------------------------------------------------------
Maximax
----------------------------------------------------------------
Alternatives Maximax Payoff
------------------------------------------------------------------
1 657.00
2 412.00
3 782.00*
4 210.00
5 120.00
6 520.00
-----------------------------------------------------------------
Hurwicz
--------------------------------------------------------------
Alternatives Hurwicz Payoff
------------------------------------------------------------------
1 -168.60
2 -247.20
3 111.60*
4 -246.80
5 -264.00
6 -155.20
-------------------------------------------------------------
Minimax
------------------------------------------------------------
Alternatives Maximum Regret
------------------------------------------------------------------
1 1157.00
2 1194.00
3 713.00*
4 881.00
5 782.00
6 981.00
-------------------------------------------------------------------
* indicates the best solution
----------------------------------------------------------------
Decision Criterios Optimum Alternative
-----------------------------------------------------------------
Laplace 3
Maximin 3
Maximax 3
Hirwicz (alpha=.2) 3
Minimax 3
---------------------------------------------------------------
Вывод: Третья альтернатива является наиболее оптимальной, т.к. при любом результате выборов выплаты по акциям окажутся максимальными.
Задача 3
Фирма по продаже и аренде недвижимости построила здание в Хабаровске. Фирме поступило предложение продать здание городской администрации, кроме этого, есть возможность сдать здание в аренду на срок 50 лет крупной японской корпорации либо ежегодно сдавать площадь под офисы мелким компаниям. Какой вариант следует выбрать и почему? Ниже даны прогнозы аналитиков о потерях и прибылях фирмы в связи с выбором того или иного варианта действий.
| Варианты действий | Цены на недвижимость в этом районе | ||
| Упадут | Не изменятся | Вырастут | |
| Продажа здания | 700 тыс. $ | 28 тыс. $ | -250 тыс. $ |
| Долгосрочная аренда одной фирмой | 9 тыс. $ | 650 тыс. $ | -176 тыс. $ |
| Краткосрочная аренда под офисы | -372 тыс. $ | 33 тыс. $ | 800 тыс. $ |
PROGRAM: Decisoin Making Under Uncertainty
*****INPUT DATA ENTERED*****
----------------------------------------------------------------------
Events
--------------------------------------
Events
--------------------------------------
Alternative 1 2 3
---------------------------------------------------------------------
1 700.00 28.00 250.00
2 9.00 650.00 176.00
3 -372.00 33.00 800.00
Alternative 1 2 3
---------------------------------------------------------------------
1 700.00 28.00 -250.00
2 9.00 650.00 -176.00
3 -372.00 33.00 800.00
--------------------------------------------------------------------
Coefficient of optimism: .2
*****PROGRAM OUTPUT*****
Laplace
-------------------------------------------------------------------
Alternatives Expected Value
------------------------------------------------------------------
1 159.33
2 161,00*
3 153.67
-----------------------------------------------------------------
Maximin
-----------------------------------------------------------------
Alternatives Maximin Payoff
------------------------------------------------------------------
1 -250.00
2 -176.00*
3 -372.00
-----------------------------------------------------------------
Maximax
----------------------------------------------------------------
Alternatives Maximax Payoff
------------------------------------------------------------------
1 700.00
2 650.00
3 800.00*
-----------------------------------------------------------------
Hurwicz
--------------------------------------------------------------
Alternatives Hurwicz Payoff
------------------------------------------------------------------
1 -60.00
2 -10.80*
3 -137.60
-------------------------------------------------------------
Minimax
------------------------------------------------------------
Alternatives Maximum Regret
------------------------------------------------------------------
1 1050.00
2 976.00*
3 1072.00
-------------------------------------------------------------------
* indicates the best solution
----------------------------------------------------------------
Decision Criterios Optimum Alternative
-----------------------------------------------------------------
Laplace 2
Maximin 2
Maximax 3
Hirwicz (alpha=.2) 2
Minimax 2
---------------------------------------------------------------
Вывод: В условиях полной неопределенности компании следует воспользоваться 2 альтернативой (долгосрочную аренду одной фирмой). Если мы считаем, что прогноз будет пессимистичный, то мы также воспользуемся 2 вариантом. При оптимистическом взгляде в будущее нам желательно воспользоваться вариантом 3 (краткосрочная аренда од офисы). По критерию Гурвица и при коэффициенте оптимизма 2 мы выберем долгосрочную аренду одной фирмой. Если мы пытаемся застраховать наше предприятие от возможных потерь, т воспользуемся долгосрочной арендой одной фирмой.
СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ
1. Большой экономический словарь / Под ред. А. Н. Азрилияна. - М.: "Институт новой экономики", 1999.
2. Виханский О.С., Наумов А. И. Менеджмент. – М.: Гардарики, 2002.
3. Основы менеджмента / Под ред. Д. Д. Вачугова. – М.: Высшая школа, 2002.
4. Румянцева З.П., Соломатин Н.А. Менеджмент организации. - М.: ИНФРА-М, 2004.
5. Румянцева З. П. Общее управление организацией. Теория и практика. – М.: ИНФРА-М, 2004.
6. Семенов А. К. Набоков В. И. Основы менеджмента. – М.: ИНФРА-М, 2003.
7. Ходеев Ф. П. Менеджмент. – Ростов н/Д: Издательство «Феникс», 2002.