РЕФЕРАТ
Структура современной эконометрики
Структура современной эконометрики
Эконометрика – это наука, изучающая конкретные количественные и качественные взаимосвязи экономических объектов и процессов с помощью математических и статистических методов и моделей (Энциклопедический Словарь). Эконометрические методы - это прежде всего методы статистического анализа конкретных экономических данных, естественно, с помощью компьютеров. В нашей стране они пока сравнительно мало известны, хотя именно у нас наиболее мощная научная школа в области основы эконометрики – теории вероятностей. В настоящей главе дается общее представление о структуре и возможностях эконометрики, включая ее последние достижения.
Что дает эконометрика для формирования мышления менеджера и экономиста? Почему необходимо учить будущих экономистов и менеджеров эконометрике? Эти вопросы - центральные для нашего обсуждения.
1.1.
Эконометрика сегодня
Статистические (эконометрические) методы используются в зарубежных и отечественных экономических и технико-экономических исследованиях, работах по управлению (менеджменту). Применение прикладной статистики и других статистических методов дает заметный экономический эффект. Например, в США - не менее 20 миллиардов долларов ежегодно только в области статистического контроля качества. В 1988 г. затраты на статистический анализ данных в нашей стране оценивались в 2 миллиарда рублей ежегодно [1]. Согласно расчетам сравнительной стоимости валют на основе потребительских паритетов (см. главу 7), эту величину можно сопоставить с 2 миллиардами долларов США. Следовательно, объем отечественного "рынка статистических и эконометрических услуг" был на порядок меньше, чем в США, что совпадает с оценками и по другим показателям, например, по числу специалистов.
Публикации по новым статистическим методам, по их применениям в технико-экономических исследованиях, в инженерном деле постоянно появляются, например, в журнале "Заводская лаборатория", в секции "Математические методы исследования". Надо назвать также журналы "Автоматика и телемеханика" (издается Институтом проблем управления Российской академии наук), "Экономика и математические методы" (издается Центральным экономико-математическим институтом РАН).
Однако необходимо констатировать, что для большинства менеджеров, экономистов и инженеров эконометрика является экзотикой. Это объясняется тем, что в вузах современным статистическим методам почти не учат. Во всяком случае, по состоянию на 2001 г. каждый квалифицированный специалист в этой области - самоучка.
Этому выводу не мешает то, что в вузовских программах обычно есть два курса, связанных со статистическими методами. Один из них - "Теория вероятностей и математическая статистика". Этот небольшой курс читают специалисты с математических кафедр и успевают дать лишь общее представление об основных понятиях математической статистики. Кроме того, внимание математиков обычно сосредоточено на внутриматематических проблемах, их больше интересует доказательства теорем, а не применение современных статистических методов в задачах экономики и менеджмента. Другой курс - "Статистика" или "Общая теория статистики", входящий в стандартный блок экономических дисциплин. Его читают экономисты, не всегда хорошо подкованные в математике. Фактически он является введением в прикладную статистику и содержит первые начала эконометрических методов (по состоянию на 1900 г.). Учебники по "Общей теории статистики" являются неисчерпаемой копилкой математико-статистических ошибок, они порождают поток публикаций, разоблачающих эти ошибки (см., например, [2]). Ничего удивительного в этом нет - такие учебники писали и пишут высококвалифицированные в своей области экономисты, однако они, как правило, плохо знают математику.
Эконометрика (как учебный предмет) призвана, опираясь на два названных вводных курса, вооружить экономиста, менеджера, инженера современным эконометрическим инструментарием, разработанным за последние 50-70 лет. Не владея эконометрикой, отечественный специалист - менеджер и инженер - оказывается неконкурентоспособным по сравнению с зарубежным. Во многих странах мира - Японии и США, Франции и Швейцарии, Перу и Ботсване и др. - статистическим методам обучают в средней школе, ЮНЕСКО постоянно проводят конференции по вопросам такого обучения [3] . В СССР и СЭВ, а теперь - по плохой традиции - и в России игнорируют этот предмет в средней школе и лишь слегка затрагивают его в высшей. Результат на рынке труда очевиден - снижение конкурентоспособности специалистов.
Обсудим сложившуюся ситуацию, уделив основное внимание статистическим методам в экономических и технико-экономических исследованиях, т.е. эконометрике.
1.2.
Эконометрика = экономика + метрика
Сначала необходимо выяснить, что обычно понимают под эконометрикой. Затем обсудим современное состояние эконометрики как научно-практической дисциплины.
Во вводных монографиях по экономической теории, как правило, выделяют в качестве ее разделов макроэкономику, микроэкономику и эконометрику. При этом о макроэкономике и микроэкономике обычно подробно рассказывается в тех же монографиях или в дальнейших учебных пособиях, в то время как об эконометрике узнать что-либо самостоятельно российскому студенту почти невозможно. Лишь в последнее время появились отдельные курсы в нескольких московских экономических вузах и соответствующие учебники, увы, трактующие ее крайне узко.
В одном из наиболее распространенных в России вводном курсе западной экономической теории сказано: "Статистический анализ экономических данных называется эконометрикой, что буквально означает: наука об экономических измерениях" [4, с.25]. Действительно, термин "эконометрика" состоит из двух частей: "эконо-" - от "экономика" и "-метрика" - от "измерение". Эконометрика (в другом русско- и англоязычном варианте названия этой дисциплины - эконометрия) входит в обширное семейство дисциплин, посвященных измерениям и применению статистических методов в различных областях науки и практики. К этому семейству относятся, в частности, биометрика (или биометрия), технометрика, наукометрия, психометрика, хемометрика (наука об измерениях и применении статистических методов в химии). Особняком стоит социометрия - этот термин закрепился за статистическими методами анализа взаимоотношений в малых группах, т.е. за небольшой частью такой дисциплины, как статистический анализ в социологии. Эконометрика, как и другие "метрики", посвящена развитию и применению статистических методов в конкретной области науки и практики - в экономике, прежде всего в теории и практике менеджмента.
В мировой науке эконометрика занимает достойное место. Нобелевские премии по экономике получили эконометрики Ян Тильберген, Рагнар Фриш, Лоуренс Клейн, Трюгве Хаавельмо. В 2000 г. к ним добавились еще двое - Джеймс Хекман и Дэниель Мак-Фадден. Выпускается ряд научных журналов, полностью посвященных эконометрике, в том числе:
Journal of Econometrics (Швеция),
Econometric Reviews (США),
Econometrica (США),
Sankhya. Indian Journal of Statistics. Ser.D. Quantitative Economics (Индия),
Publications Econometriques (Франция).
Однако в нашей стране по ряду причин эконометрика не была сформирована как самостоятельное направление научной и практической деятельности, в отличие, например, от Польши, которая стараниями О.Ланге и его коллег покрыта сетью эконометрических "институтов" (в российской терминологии - кафедр вузов). В настоящее время в России начинают развертываться эконометрические исследования, в частности, начинается широкое преподавание этой дисциплины.
Кратко рассмотрим в настоящей главе современную структуру эконометрики. Знакомство с ней необходимо для обоснованных суждений о возможностях применения эконометрических методов и моделей в экономических и технико-экономических исследованиях.
1.3. Структура эконометрики
В эконометрике, как дисциплине на стыке экономики (включая менеджмент) и статистического анализа, естественно выделить три вида научной и прикладной деятельности (по степени специфичности методов, сопряженной с погруженностью в конкретные проблемы):
а) разработка и исследование эконометрических методов (методов прикладной статистики) с учетом специфики экономических данных;
б) разработка и исследование эконометрических моделей в соответствии с конкретными потребностями экономической науки и практики;
в) применение эконометрических методов и моделей для статистического анализа конкретных экономических данных.
Кратко рассмотрим три только что выделенных вида научной и прикладной деятельности. По мере движения от а) к в) сужается широта области применения конкретного эконометрического метода, но при этом повышается его значение для анализа конкретной экономической ситуации. Если работам вида а) соответствуют научные результаты, значимость которых оценивается по общеэконометрическим критериям, то для работ вида в) основное - успешное решение задач конкретной области экономики. Работы вида б) занимают промежуточное положение, поскольку, с одной стороны, теоретическое изучение эконометрических моделей может быть весьма сложным и математизированным (см., например, монографию [5]), с другой - результаты представляют интерес не для всей экономической науки, а лишь для некоторого направления в ней.
Прикладная статистика - другая область знаний, чем математическая статистика. Это четко проявляется и при преподавании. Курс математической статистики состоит в основном из доказательств теорем, как и соответствующие учебные пособия. В курсах прикладной статистики и эконометрики основное - методология анализа данных и алгоритмы расчетов, а теоремы приводятся как обоснования этих алгоритмов, доказательства же, как правило, опускаются (их можно найти в научной литературе). Внутренняя структура статистики как науки была выявлена и обоснована при создании в 1990 г. Всесоюзной статистической ассоциации (см., например, статью [6]). Прикладная статистика - методическая дисциплина, являющаяся центром статистики. При применении к конкретным областям знаний и отраслям народного хозяйства получаем научно-практические дисциплины типа "статистика в промышленности", "статистика в медицине" и др. С этой точки зрения эконометрика - это "статистические методы в экономике". Математическая статистика играет роль математического фундамента для прикладной статистики. К настоящему времени очевидно четко выраженное размежевание этих двух научных направлений. Математическая статистика исходит из сформулированных в 1930-50 гг. постановок математических задач, происхождение которых связано с анализом статистических данных. В настоящее время исследования по математической статистике посвящены обобщению и дальнейшему математическому изучению этих задач. Поток новых математических результатов (теорем) не ослабевает, но новые практические рекомендации по обработке статистических данных при этом не появляются. Можно сказать, что математическая статистика как научное направление замкнулась внутри себя. Сам термин "прикладная статистика", используемый с 1960-х годов, возник как реакция на описанную выше тенденцию. Прикладная статистика нацелена на решение реальных задач. Поэтому в ней возникают новые постановки математических задач анализа статистических данных, развиваются и обосновываются новые методы. Обоснование часто проводится математическими методами, т.е. путем доказательства теорем. Большую роль играет методологическая составляющая - как именно ставить задачи, какие предположения принять с целью дальнейшего математического изучения. Велика роль современных информационных технологий, в частности, компьютерного эксперимента.
Рассматриваемое соотношение математической и прикладной статистик отнюдь не являются исключением. Как правило, математические дисциплины проходят в своем развитии ряд этапов. Вначале в какой-либо прикладной области возникает необходимость в применении математических методов и накапливаются соответствующие эмпирические приемы (для геометрии это - "измерение земли" в т.н. Древнем Египте). Затем возникает математическая дисциплина со своей аксиоматикой (для геометрии это - время Евклида). Затем идет внутриматематическое развитие и преподавание (считается, что большинство результатов элементарной геометрии получено учителями гимназий в XIX в.). При этом на запросы исходной прикладной области перестают обращать внимание, и та порождает новые научные дисциплины (сейчас "измерением земли" занимается не геометрия, а геодезия и картография). Затем научный интерес к исходной дисциплине иссякает, но преподавание по традиции продолжается (элементарная геометрия до сих пор изучается в средней школе, хотя трудно понять, в каких практических задачах может понадобиться, например, теорема о том, что высоты треугольника пересекаются в одной точке). Следующий этап - окончательное вытеснение дисциплины из реальной жизни в историю науки (объем преподавания элементарной геометрии в настоящее время постепенно сокращается, в частности, ей все меньше уделяется внимания на вступительных экзаменах в вузах). К интеллектуальным дисциплинам, закончившим свой жизненный путь, относится средневековая схоластика. Как отмечает проф. МГУ им. М.В. Ломоносова В.Н.Тутубалин [7], теория вероятностей и математическая статистика успешно двигаются по ее пути - вслед за элементарной геометрией.
Подведем итог. Хотя статистические данные собираются и анализируются с незапамятных времен (см., например, Книгу Чисел в Ветхом Завете), современная математическая статистика как наука была создана, по общему мнению специалистов, сравнительно недавно - в первой половине ХХ в. Именно тогда были разработаны основные идеи и получены результаты, излагаемые ныне в учебных курсах математической статистики. После чего специалисты по математической статистике занялись внутриматематическими проблемами, а для теоретического обслуживания проблем практического анализа статистических данных стала формироваться новая дисциплина - прикладная статистика. (Ее центральным печатным органом в нашей стране является упомянутая выше секция "Математические методы исследования" журнала "Заводская лаборатория", где за последние 30 лет опубликовано более 1000 статей по прикладной статистике.)
В настоящее время статистическая обработка данных проводится, как правило, с помощью соответствующих программных продуктов. Разрыв между математической и прикладной статистикой проявляется, в частности, в том, что большинство методов, включенных в статистические пакеты программ (например, в заслуженные Statgraphics и SPSS или в более новую систему Statistica), даже не упоминается в учебниках по математической статистике. В результате специалист по математической статистике оказывается зачастую беспомощным при обработке реальных данных, а пакеты программ применяют (что еще хуже - и разрабатывают) лица, не имеющие необходимой теоретической подготовки. Естественно, что они допускают разнообразные ошибки (напомним, анализ типовых ошибок при применении критериев согласия Колмогорова и омега-квадрат дан в [2]), в том числе в таких ответственных документах, как государственные стандарты по статистическим методам (ниже подробнее рассказано об удручающих результатах анализа этих стандартов; итоги суммированы в статье [8]).
Ситуация с внедрением современных статистических (эконометрических) методов на предприятиях и в организациях различных отраслей народного хозяйства противоречива. К сожалению, при развале отечественной промышленности в 1990-е годы больше всего пострадали структуры, наиболее нуждающиеся в эконометрических методах - службы качества, надежности, центральные заводские лаборатории и др. Однако толчок к развитию получили службы маркетинга и сбыта, сертификации, прогнозирования, инноваций и инвестиций, которым также полезны различные эконометрические методы, в частности, методы экспертных оценок.
1.4.
Специфика экономических данных
Для анализа экономических данных могут применяться все разделы прикладной статистики, а именно:
статистика случайных величин;
многомерный статистический анализ;
статистика временных рядов и случайных процессов;
статистика объектов нечисловой природы, в том числе статистика интервальных данных.
Перечисленные четыре области выделены на основе математической природы элементов выборки: в первой из них это - числа, во второй - вектора, в третьей - функции, в четвертой - объекты нечисловой природы, т.е. элементы пространств, в которых нет операций сложения и умножения на число. Примерами объектов нечисловой природы являются значения качественных признаков, бинарные отношения (ранжировки, разбиения, толерантности), последовательности из 0 и 1, множества, нечеткие множества, интервалы, тексты (см. главы 8 и 9 ниже)..
Как и для применений статистических методов в иных областях, в эконометрике решаются задачи описания данных (в том числе усреднения), оценивания, проверки гипотез, восстановления зависимостей, классификации объектов и признаков, прогнозирования, принятия статистических решений и др.
Однако в некоторых отношениях экономические данные отличаются от технических или астрономических, и эти отличия необходимо учитывать при выборе методов анализа конкретных экономических данных.
Многие экономические показатели неотрицательны. Значит, их надо описывать неотрицательными случайными величинами. А вот нормальные распределения принципиально не подходят, поскольку для них вероятность отрицательных значений всегда положительна.
Экономические процессы развиваются во времени, поэтому большое место в эконометрике занимают вопросы анализа и прогнозирования временных рядов, в том числе многомерных. При этом в одних задачах больше внимания уделяют изучению трендов (средних значений, математических ожиданий), например, при анализе динамики цен. В других же - важны отклонения от средней тенденции, например, при применении контрольных карт (карт Шухарта, кумулятивных сумм и др.). Однако в целом спектральный анализ и выделение различных периодов, циклов и типов волн менее распространены, чем, скажем, в биометрике и медицине.
В экономике доля нечисловых данных существенно выше, чем в технике и технологии, соответственно больше применений для статистики объектов нечисловой природы (ниже разберем это утверждение подробнее).
Количество изучаемых объектов в экономическом исследовании часто ограничено в принципе, поэтому обоснование вероятностных моделей в ряде случаев затруднено. Уникальные объекты, например, город Москва, трудно рассматривать как элемент выборки из генеральной совокупности с каким-то определенным распределением, поскольку подобное рассмотрение противоречит здравому смыслу. Вспоминается давняя обложка журнала "Крокодил", на которой изображены два хозяйственника с монетой в руках: "Если упадет орлом, будем строить завод, если решкой - не будем". Подобная рандомизация решений выглядит бессмысленной при принятии ровно одного решения, однако при контроле качества в массовом производстве такой подход оправдан.
Поэтому в эконометрике часто применяются детерминированные методы анализа данных, в отличие от, например, технических наук, в которых обычным является использование вероятностных моделей. Неопределенность приходится описывать не в терминах вероятностно-статистических моделей, а иными способами, например, в терминах теории нечеткости (fuzzy sets theory) или математики и статистики интервальных данных.
Есть два принципиально различных подхода к изучению поведения организаций и людей. Согласно первому из них вполне допустимо описывать действия человека в вероятностных терминах, например, считать его ответ на заданный вопрос случайной величиной. Сторонники второго подхода полагают, что поведение человека или организации является детерминированным, определяется теми или иными причинами, а случайность при анализе выборки возникает лишь из-за случайности при отборе лиц для опроса или предприятий для изучения. Если ответ на вопрос имеет вид "да" - "нет", то число ответов "да" при первом подходе, как известно, имеет биномиальное распределение, а при втором - гипергеометрическое. К счастью для эконометриков, при увеличении объема генеральной совокупности эти два распределения сближаются (если доля выборки в генеральной совокупности мала, например, меньше 10%, то вместо гипергеометрического распределения можно использовать биномиальное), так что при обоих подходах можно применять одни и те же эконометрические методы, не тратя сил на решение философского вопроса о детерминированности или случайности поведения экономического агента- человека или организации.
Итак, специфика эконометрики проявляется не в перечне применяемых для анализа конкретных экономических данных статистических методов, а в частоте использования тех или иных методов.
1.5. Нечисловые экономические величины
В теоретических и практических задачах экономики и менеджмента постоянно используются различные величины, обычно рассматриваемые как числовые. Например, рыночная цена товара, прибыль предприятия, индекс инфляции, валовой внутренний продукт, чистая приведенная величина для потока платежей и т.д. При более тщательном анализе оказывается, что подобные величины не имеют определенного численного значения, они размыты, имеют нечисловой характер, и описывать их следует с помощью нечисловых математических понятий, относящихся к тем или иным классам объектов нечисловой природы, таким, как нечеткие множества, интервалы, распределения вероятностей и др.
Действительно, можно ли считать, что существует рыночная цена на некоторый товар, выраженная числом? Рассмотрим всем привычный товар - хлеб. Для определенности рассмотрим стандартный батон белого хлеба, который стоил 25 копеек в 1990 г. В настоящее время (июнь 2001 г.) в различных торговых точках Москвы его можно купить по ценам от 6 руб. 50 коп. до 7 руб. 30 коп. Сотрудники Института высоких статистических технологий и эконометрики в течение нескольких лет собирала информацию о ценах на 35 продовольственных товаров в 11 "точках" Москвы и Подмосковья (итоги подведены в статье [9]), и максимальная из отмеченных цен превышала минимальную, как правило, на 30-50%. Можно говорить о цене товара при конкретном акте купли-продажи, при покупке в конкретном магазине, но нельзя говорить о конкретном числовом значении рыночной цены товара. Так, говорить о "рыночной цене" конкретной квартиры (не в новостройке) бессмысленно. Цена выявится только в результате соглашения продавца и покупателе при совершении акта купли-продажи. С другой стороны, полностью отказываться от этого укоренившегося в литературе понятия нецелесообразно. Мы предлагаем принять, что рыночная цена - объект нечисловой природы, и описывать ее для стандартного батона белого хлеба, например, в виде интервала [6,50; 7,30] руб.
Анализируя реальные данные, убеждаемся, что интервальный характер имеют рыночные цены на двигатели, черный и цветной металл, сплавы, электроэнергию, нефть, бензин, автоприборы и автомобили, трактора, различные виды приводной техники и другие промышленные товары, точно так же как и на разнообразные услуги. Цены зависят от конкретного договора между поставщиком и потребителем. Часто появляется дополнительный мешающий фактор - инфляция. Так, с сентября 1995 г. по январь 1996 г. доллар США подешевел в нашей стране почти в 2 раза (если сравнивать по покупательной способности в области продовольственных товаров).
Нечисловой характер имеют не только цены. При обсуждении понятия "прибыль предприятия" начнем с очевидной бессмысленности выражения "максимизация прибыли" без указания интервала времени, за который прибыль максимизируется. Только задав интервал времени, можно принять оптимальные решения и рассчитать ожидаемую прибыль. Ясно, что оптимальные решения зависят от интервала планирования. Известная в экономической теории проблема "горизонта планирования" состоит в том, что оптимальное поведение зависит от того, на какое время вперед планируют, а выбор этого горизонта не имеет рационального обоснования. В монографии [5] рассмотрен ряд примеров указанной зависимости и предложено использовать асимптотически оптимальные планы. Дополнительная сложность состоит в том, что будущая прибыль не может быть определена точно, а потому сама должна описываться как объект нечисловой природы. Итак, задача "максимизации прибыли" может приобрести точный смысл, например, лишь как максимизация нечеткой прибыли на нечетком интервале времени. Оптимизация в случае нечетких переменных рассматривалась в литературе (см., например, [10]), однако пока не получила широкого практического внедрения.
Для приведения экономических величин к одному моменту времени (к сопоставимым ценам) используются индексы инфляции, в другой терминологии, дефляторы. Рассчитывают их с помощью тех или иных потребительских корзин. При этом на нечеткость "рыночных цен" товаров накладывается произвол в выборе состава потребительской корзины и объемов потребления. Теоретический анализ этой ситуации привел нобелевского лауреата по экономике В.В.Леонтьева к выводу о принципиальной невозможности сравнения экономических величин, относящихся к различным моментам времени [11]. Возможный выход состоит в задании индекса инфляции в интервальном виде. Так, расчеты по собранным Институтом высоких статистических технологий и эконометрики данным о ценах показывают, что для Москвы индекс инфляции с марта 1991 г. по апрель 1999 г. описывается интервалом [21,5; 24,0] (при использовании деноминированных рублей).
Еще более размыты обобщенные макроэкономические показатели типа "валового внутреннего продукта" (ВВП), особенно при их сравнении по годам и странам. По мнению известного экономиста О.Моргенштерна [12] подобные макроэкономические показатели могут быть определены лишь с точностью 5-10%. Однако, если пользоваться одной и той же методикой расчета, то можно заметить и изменения в 0,1 %. Проблема в том, что сама методика может вызывать сомнения. Например, по применяемой Госкомстатом РФ "системе национальных счетов" банковские услуги составляют 13% ВВП. С точки зрения здравого смысла это - абсурдно высокая величина. Она объясняется тем, что, например, выдача кредита в 1 миллион рублей рассматривается как услуга стоимостью в 1 миллион рублей, эквивалентная выпечке и продаже 150 000 батонов хлеба. При всей высокой оценке тяжкого труда банковских боссов, клерков и охранников трудозатраты крестьян, мукомолов, пекарей, транспортников и продавцов 150 000 батонов хлеба, очевидно, несоизмеримо выше.
Нечеткость в неявной форме присутствует и в натуральных показателях. Пусть, например, выпущена партия из 1000 автомашин определенной марки. Нечеткость, связанная с этой партией, состоит в неопределенности реального срока службы автомашин, полезных и вредных эффектов от их эксплуатации. Для снятия этих неопределенностей необходимо, в частности, экономически оценить потери от гибели людей в автокатастрофах. Сколько стоит жизнь человека? При всем уважении к оценкам страховых компаний сама постановка этого вопроса вызывает неловкость. Многие этические и религиозные учения исходят из бесценности человеческой жизни. Из-за принципиальной недопустимости выражения стоимости человеческой жизни в денежных единицах не получили распространения, в частности, методы статистического контроля качества, основанные на учете народнохозяйственного ущерба от пропуска дефектных изделий при контроле.
Более подробно рассмотрим проблемы управления инвестиционными процессами. Одна из них - проблема сравнения инвестиционных проектов. С чисто финансовой точки зрения такой проект - это финансовый поток (cashflow), другими словами, поток платежей и поступлений, т.е. последовательность моментов времени, каждому из которых соответствует некоторая величина платежей (для определенности учитываем их со знаком "минус") или поступлений (учитываем со знаком "плюс"). Как оценивать такие потоки в целом, как их сравнивать? Из многих характеристик потоков платежей рассмотрим здесь две - чистую приведенную величину, называемую в отечественных публикациях также чистой текущей стоимостью или чистым дисконтированным доходом (есть и иные названия) и обозначаемую NPV (Net Present Value), и внутреннюю норму доходности, или прибыли IRR (Internal Rate of Return).
При определении NPV, как известно, для приведения величин платежей и поступлений к одному моменту времени используется постоянный дисконт-фактор. В реальности дисконт-фактор не является заранее известной функцией от времени и зависит от динамики как макроэкономических показателей - ставки рефинансирования Центрального банка РФ и индекса инфляции, так и микроэкономических - финансового положения инвестора, кредитной и депозитной ставок конкретного банка и др.. Кроме того, размеры и моменты осуществления платежей и поступлений также могут быть известны лишь с некоторой точностью. Следовательно, как функция от неопределенных (размытых) величин такая характеристика инвестиционного проекта, как NPV, сама является неопределенной. Лишь частично эту неопределенность можно снять, рассматривая NPV как функцию одной независимой переменной - дисконт-фактора. Если все перечисленные нео
Внутренняя норма доходности IRR - это значение постоянного дисконт-фактора q, при котором NPV как функция q обращается в 0. К сожалению, как хорошо известно, при "неудачном" распределении поступлений и платежей уравнение NPV(q) = 0 может иметь не одно, а много решений. В литературе указывают и некоторые иные причины, по которым IRR нецелесообразно использовать для сравнения потоков платежей. Кроме того, в случае IRR имеются те же источники неопределенности, что и для NPV - размытость дисконт-фактора, моментов и величин поступлений и платежей. Эта размытость приводит к необходимости рассматривать IRR как интервал, а при непустоте пересечения интервалов, соответствующих двум инвестиционным проектам, сравнение этих проектов сводится к утверждению об их равноценности.
Итак, рассмотренные характеристики инвестиционных проектов NPV и IRR, как и любые иные, имеют неустранимые неопределенности. Игнорировать это объективное обстоятельство, завышать точность экономических расчетов - это значит обманываться самому либо вводить в заблуждение заказчиков расчетов.
Как же поступать при анализе инвестиционных проектов? Рассмотрим два корректных подхода к такому анализу. Во-первых, можно постараться явным образом учесть имеющиеся неопределенности (в том числе перечисленные выше) и применить те или иные способы анализа неопределенных величин, в частности, разработанные в теории нечеткости и в статистике объектов нечисловой природы (см., например, монографии [5,10]). Другими словами, требуется более тщательный экономико-математический анализ ситуации, предполагающий построение соответствующих эконометрических моделей, разработку и/или применение необходимого программного обеспечения. А для этого нужны обученные кадры, время и деньги.
Во-вторых, вместо расчетов можно обратиться к интуиции специалистов, применив современные методы экспертных оценок (см. ниже главу 12), в частности, основанные на сборе оценок экспертами нечисловых экономических величин и их анализе методами статистики объектов нечисловой природы. Для практического использования представляется перспективным оценивание в виде интервалов (частный случай применения теории нечетких множеств) и соответственно их анализ методами статистики интервальных данных. Применение комбинированных подходов, предполагающих использование систем, интегрирующих как эконометрические и экономико-математические модели, так и методы экспертных оценок - пока дело будущего.
1.6.
Статистика интервальных данных - научное направление на стыке метрологии и математической статистики
В статистике интервальных данных (СИД) элементами выборки являются не числа, а интервалы, в частности, порожденные наложением ошибок измерения на значения случайных величин. Подробнее этот сравнительно новый, но весьма перспективный раздел эконометрики рассмотрим в главе 9. Здесь дадим лишь общее представление о статистике интервальных данных в сравнении с классической математической статистикой. Прежде всего отметим, что СИД входит в теорию устойчивости (робастности) статистических процедур и примыкает к интервальной математике. В СИД изучены практически все задачи классической прикладной математической статистики, в частности, задачи регрессионного анализа, планирования эксперимента, сравнения альтернатив и принятия решений в условиях интервальной неопределенности и др. Основная идея СИД является общеинженерной - каждая величина должна приводиться вместе с погрешностью ее определения. К сожалению, эта идея еще не стала общеэкономической.
Рассмотрим развитие в течение последних 15 лет асимптотических методов статистического анализа интервальных данных при больших объемах выборок и малых погрешностях измерений. В отличие от классической математической статистики, сначала устремляется к бесконечности объем выборки и только потом - уменьшаются до нуля погрешности. Разработана общая схема исследования, включающая расчет двух основных характеристик - нотны (максимально возможного отклонения статистики, вызванного интервальностью исходных данных) и рационального объема выборки (превышение которого не дает существенного повышения точности оценивания и статистических выводов, связанных с проверкой гипотез). Она применена к оцениванию математического ожидания и дисперсии, медианы и коэффициента вариации, параметров гамма-распределения в ГОСТ 11.011-83 и характеристик аддитивных статистик, для проверки гипотез о параметрах нормального распределения, в т.ч. с помощью критерия Стьюдента, а также гипотезы однородности двух выборок по критерию Смирнова, и т.д.. Разработаны подходы к учету интервальной неопределенности в основных постановках регрессионного, дискриминантного и кластерного анализов.
Многие утверждения СИД отличаются от аналогов из классической математической статистики. В частности, не существует состоятельных оценок: средний квадрат ошибки оценки, как правило, асимптотически равен сумме дисперсии этой оценки, рассчитанной согласно классической теории, и квадрата нотны. Метод моментов иногда оказывается точнее метода максимального правдоподобия (см. ГОСТ 11.011-83). Нецелесообразно с целью повышения точности выводов увеличивать объем выборки сверх некоторого предела. В СИД классические доверительные интервалы должны быть расширены вправо и влево на величину нотны, и длина их не стремится к 0 при росте объема выборки.
СИД позволяет снять некоторые противоречия между метрологией и классической математической статистикой. Например, вторая из названных дисциплин утверждает, что путем увеличения числа измерений можно сколь угодно точно оценить параметр, а первая вполне справедливо оспаривает это утверждение. Результаты СИД уточняют интуитивные представления метрологов (которые сосредотачивались, впрочем, вокруг весьма частного с точки зрения эконометрики вопроса - оценивания математического ожидания) и развенчивают "гордыню" математической статистики.
1.7.
Эконометрические модели
Статистические и математические модели экономических явлений и процессов определяются спецификой той или иной области экономических исследований. Так, в экономике качества модели, на которых основаны статистические методы сертификации и управления качеством - модели статистического приемочного контроля, статистического контроля (статистического регулирования) технологических процессов (обычно с помощью контрольных карт Шухарта или кумулятивных контрольных карт), планирования экспериментов, оценки и контроля надежности и другие - используют как технические, так и экономические характеристики, а потому относятся к эконометрике, равно как и многие модели теории массового обслуживания (теории очередей). Экономический эффект только от использования статистического контроля в промышленности США оценивается как 0,8% валового национального продукта (20 миллиардов долларов в год), что существенно больше, чем от любого иного экономико-математического или эконометрического метода.
К эконометрике качества относятся многие публикации научно-технического журнал "Заводская лаборатория (диагностика материалов)". Этот журнал посвящен аналитической химии, физическим, математическим и механическим методам исследования, а также сертификации материалов. Он создан в 1932 г. и адресован специалистам черной и цветной металлургии, химической промышленности и др. Кроме сотрудников центральных заводских лабораторий, служб качества, надежности и других заводских подразделений, он ориентирован в основном на работников прикладных научно-исследовательских организаций. Сейчас журнал базируется в Институте металлургии им.А.А.Байкова Российской академии наук. С 60-х годов в нем действует секция редколлегии "Математические методы исследования", отвечающая за публикацию статей по статистическим методам в промышленности, в частности, в метрологии, диагностике материалов, стандартизации, управлении качеством и сертификации. Технические и экономические вопросы обычно рассматриваются в неразрывном единстве. С рассматриваемой тематикой должен быть знаком каждый специалист по эконометрике, а также по экономике и организации производства.
Ввиду важности статистических методов в стандартизации и управления качеством в СССР с начала 70-х годов разрабатывались государственные стандарты по статистическим методам в рассматриваемой области. По мнению ряда специалистов, из-за неграмотности разработчиков государственные стандарты содержали многочисленные ошибки. Для анализа ситуации в 1985 г. была организована т.н. Рабочая группа по упорядочению системы стандартов по прикладной статистике и другим статистическим методам. В этот научный коллектив входили 66 научных работников и специалистов из различных отраслей народного хозяйства и вузов, в том числе более 20 докторов наук. Оказалось, что существенная часть стандартов по статистическим методам действительно содержала грубые ошибки. Основная часть ошибочных стандартов была отменена, некоторые действуют до сих пор. Затем с целью исправления положения был организован Всесоюзный центр по статистическим методам и информатике (ныне - Институт высоких статистических технологий и эконометрики МГТУ им. Н.Э. Баумана), который разработал около 30 компьютерных систем по современным статистическим методам управления качеством. Наибольшее распространение получила система НАДИС (НАДежность и ИСпытания), созданная под руководством проф. О.И.Тескина (МГТУ им. Н.Э.Баумана). Итоги описанного направления работ подведены в журнале "Заводская лаборатория" в статье [8].
Работы по эконометрическим моделям статистического контроля постоянно публикуются в "Заводской лаборатории". Эти модели мы рассмотрим в главе 13. Рассмотрим здесь только одну конкретную рекомендацию, основанную на сравнении по экономическим показателям различных схем организации контроля и технического обслуживания. Этот подход приводит к принципиальному изменению технико-экономической политики при контроле качества. Он позволяет "снять" парадокс классической теории статистического контроля - чем выше достигнутый уровень качества, тем больше необходимый объем контроля. Предлагаемый выход состоит в переходе к расширению возможностей менеджера при выборе технической политики на основе учета экономических рисков. "Перекладывание" контроля на потребителя может быть экономически выгодно, если производитель организовал защиту от риска методом пополнения партий (путем включение запасных изделий) или путем развития технического обслуживания, позволяющего быстро заменять дефектное изделие.
Другой важный раздел эконометрики - теория и практика экспертных оценок. Экспертные оценки используют для решения ряда экономических задач, например, выбора оптимального направления инвестиций, или наилучшего образца определенного вида продукции для организации массового выпуска, или при прогнозировании развития экономической ситуации, или при распределении финансирования... Следовательно, используемые в теории экспертных оценок модели [ являются эконометрическими. Они рассматриваются в главе 12.
Менее полезными практически (с точки зрения достигаемого экономического эффекта), но более известными в теоретических и учебных публикациях являются различные эконометрические модели, предназначенные для прогнозирования макроэкономических показателей. Это обычно модели весьма частного вида, имеющие целью прогнозирование многомерного временного ряда. Они представляют собой систему линейных зависимостей между прошлыми и настоящими значениями переменных. В таких задачах оценивают как структуру модели, т.е. вид зависимости между значениями известных координат вектора в прежние моменты времени и их значениями в прогнозируемый момент (т.е. проводят т.н. идентификацию модели), так и коэффициенты, входящие в эту зависимость. Структура такой модели - объект нечисловой природы, что и объясняет сложность соответствующей теории.
Каждой области экономических исследований, связанной с анализом эмпирических данных, как правило, соответствуют свои эконометрические модели. Например, для моделирования процессов налогообложения с целью оценки результатов применения управляющих воздействий (например, изменения ставок налогов) на процессы налогообложения должен быть разработан комплекс соответствующих эконометрических моделей. Кроме системы уравнений, описывающей динамику системы налогообложения под влиянием общей экономической ситуации, управляющих воздействий и случайных отклонений, необходим блок экспертных оценок. Полезен блок статистического контроля, включающий как методы выборочного контроля правильности уплаты налогов (налогового аудита), так и блок выявления резких отклонений параметров, описывающих работу налоговых служб. Подходам к проблеме математического моделирования процессов налогообложения посвящена монография [13], содержащая также информацию о современных статистических (эконометрических) методах и экономико-математических моделях, в том числе имитационных.
С помощью эконометрических методов следует оценивать различные величины и зависимости, используемые при построении имитационных моделей процессов налогообложения, в частности, функции распределения предприятий по различным параметрам налоговой базы. При анализе потоков платежей необходимо использовать эконометрические модели инфляционных процессов, поскольку без оценки индекса инфляции невозможно вычислить дисконт-функцию, а потому нельзя установить реальное соотношение авансовых и "итоговых" платежей. Прогнозирование сбора налогов может осуществляться с помощью системы временных рядов - на первом этапе по каждому одномерному параметру отдельно, а затем - с помощью некоторой линейной эконометрической системы уравнений, дающей возможность прогнозировать векторный параметр с учетом связей между координатами и лагов, т.е. влияния значений переменных в определенные прошлые моменты времени. Возможно, более полезными окажутся имитационные модели более общего вида, основанные на интенсивном использовании современной вычислительной техники.
1.8.
Применения эконометрических методов
Эконометрика не так сильно оторвалась от реальных задач, как математическая статистика, специалисты в области которой зачастую ограничиваются доказательством теорем, не утруждая себя вопросом о том, для решения каких практических задач эти теоремы могут быть нужны. Поэтому эконометрические модели обычно доводятся "до числа", т.е. применяются для обработки конкретных эмпирических данных. Так, эконометрические методы нужны для оценки параметров экономико-математических моделей, например, моделей логистики (в частности, управления запасами [5]).
Приведение к сопоставимым ценам - составная часть любого экономического расчета, связанного более чем с одним моментом времени. Как показали наши наблюдения над ценами, использование публикуемых Госкомстатом РФ значений индексов инфляции приводит к систематическим ошибкам. Так, по нашим данным цены за 5 лет (с декабря 1990 г. по декабрь 1995 г.) выросли в среднем в 9989 раз, а по данным Госкомстата РФ - в 4700 раз. Различие - в 2 раза! Оно сохраняется и в настоящее время. Сказанное определяет актуальность использования независимой информации о ценах и индексах инфляции при анализе экономического положения российских предприятий и граждан России.
В частности, инфляцию необходимо учитывать при анализе результатов финансовой деятельности предприятий и их подразделений за год или более длительные интервалы времени. Постепенно эта простая мысль становится все более близкой специалистам в указанной области, хотя до сих пор в большинстве случаев оперируют номинальными значениями, как будто инфляция полностью отсутствует.
Эконометрические методы следует использовать как составную часть научного инструментария практически любого технико-экономического исследования. Оценка точности и стабильности технологических процессов, разработка адекватных методов статистического приемочного контроля и статистического контроля технологических процессов, оптимизация выхода полезного продукта методами планирования экстремального эксперимента в химико-технологических системах, повышение качества и надежности изделий, сертификация продукции, диагностика материалов, изучение предпочтений потребителей в маркетинговых исследованиях, применение современных методов экспертных оценок в задачах принятия решений, в частности, в стратегическом, инновационном, инвестиционном менеджменте, при прогнозировании - везде полезна эконометрика.
Бесспорно совершенно, что практически любая область экономики и менеджмента имеет дело со статистическим анализом эмпирических данных, а потому имеет те или иные эконометрические методы в своем инструментарии. Например, перспективно применение этих методов для анализа научного потенциала России, при изучении рисков инновационных исследований, в задачах контроллинга [14], при проведении маркетинговых опросов, сравнении инвестиционных проектов, эколого-экономических исследований в области химической безопасности биосферы и уничтожения химического оружия, в задачах страхования, в том числе экологического, при разработке стратегии производства и продажи специальной техники и во многих других областях.
1.9.
Эконометрика как область научно-практической деятельности
Подводя итоги сказанному выше, обратимся к вопросам подготовки кадров в области эконометрики. В настоящее время в классификаторах специальностей научных работников и специальностей, по которым идет подготовка студентов, эконометрика не представлена вообще, а статистика - двумя отдельными позициями: в специальности "теория вероятностей и математическая статистика" как часть математики и как одна из экономических специальностей. Такие практически важные области, как статистические методы в промышленности, в частности, статистические методы управления качеством и надежностью (т.е. обеспечения, повышения качества промышленной продукции) , технической диагностики, планирования эксперимента, а также статистические методы в менеджменте, в экологии, в химии, в геологии, в медицине и т.д., и т.п. вообще не представлены в рассматриваемых классификаторах. Можно сказать, что они существуют нелегально, потому что, например, научным работникам при защите диссертаций приходится "маскироваться" под другие специальности.
Поскольку кадры по статистическим методам и эконометрике не готовятся, то каждый специалист - самоучка, то общее их число на порядок меньше, чем в Великобритании. США и других странах, в которых науки "эконометрика" и "статистика" рассматривается в одном ряду с такими общепризнанными науками, как математикой, физикой, химией, биологией и др.
Разрыв между математической статистикой и статистикой как экономической дисциплиной обернулся тем, что математики "замкнулись в себе", доказывая теоремы на основе постановок 30-50 гг. и почти ничего не давая для анализа реальных данных, а экономисты, хотя и помещают математико-статистические методы в свои книги, но, не зная математики, дают непрекращающийся поток ошибок в учебниках.
Давно стало ясно, что положение в области статистических методов и эконометрики надо менять. В 1985-90 гг. была проведена большая работа по анализу положения дел в области теории и практики статистики и эконометрики в нашей стране. В итоге в октябре 1990 г. создана Всесоюзная статистическая ассоциация (ВСА). Как единое целое ВСА после развала СССР перестала действовать, хотя де-юре продолжает существовать, поскольку решение о роспуске ВСА в соответствии с ее Уставом может принять только съезд ВСА. Такого съезда не было.
В соответствии с реальной структурой статистики ВСА делилась на четыре секции, а именно: 1) практической статистики, 2) статистических методов и их применений, 3) статистики надежности (состояла из работников оборонной промышленности), 4) социально-экономической статистики. Названия секций, зафиксированные в документах ВСА, не вполне соответствуют действительности. Первая секция состояла из работников Госкомстата, большинство членов второй и третьей занимаются научной и практической деятельностью, в том числе в социально-экономической области (в частности, ведут научные и практические работы по эконометрике), а четвертая состояла из преподавателей статистических дисциплин в рамках экономического образования. Вторая секция (во взаимодействии с третьей) "породила" в 1992 г. Российскую ассоциацию статистических методов, а в 1996 г. - Российскую академию статистических методов. В настоящее время эти структуры занимаются в основном поддержкой проведения научных исследований и публикацией их результатов.
По ряду исторических причин отечественная статистика расколота на кланы, практически не взаимодействующие друг с другом. Создание ВСА преследовало, в частности, цель налаживания контактов между секциями 1 и 4, с одной стороны, и секциями 2 и 3, с другой. К сожалению, в обстановке, наступившей с 1992 г., было не до перестройки теории статистики, ее применений и преподавания.
Однако необходимость налаживания контактов не отпала. Так, вряд ли можно считать допустимой ситуацию, когда практически в каждом учебнике по "общей теории статистики" даются абсолютно неверные рекомендации по применению критерия Колмогорова, используемого для проверки согласия эмпирического распределения с теоретическим [2]. Очевидно, необходимы постоянные контакты между специалистами по социально-экономическим применениям статистических методов, с одной стороны, и математической статистике, с другой стороны. Эконометрика находится именно на этом стыке.
1.10. Эконометрические методы в практической и учебной деятельности
Компьютер на рабочем месте менеджера, экономиста, инженера - уже реальность. Практическое применение эконометрических методов обычно осуществляется с помощью диалоговых систем, соответствующих решаемым экономическим и технико-экономическим задачам. Для конкретных наборов задач таких систем разработано уже много, некоторые перечислены в статье [8]. Создание подобных систем должны быть продолжено. Так, для налоговых служб должны быть подготовлены соответствующие оригинальные системы на базе действующих автоматизированных информационных систем (АИС).
Однако для того, чтобы грамотно применять компьютерную систему, надо иметь некоторые предварительные знания по эконометрике. В отсутствии подобных знаний у подавляющего большинства российских экономистов и инженеров, в том числе у менеджеров - директоров предприятий, государственных служащих, а также, например, у работников налоговых органов, - основная проблема. Лицо, ничего не знающее об эконометрике, не в состоянии понять, что эта научно-практическая дисциплина может помочь решить проблемы его организации, а потому ему и в голову не приходит пригласить бригаду эконометриков к сотрудничеству.
Эта проблема наглядно выявилась в ходе работ Всесоюзного центра статистических методов и информатики (ныне - Институт высоких статистических технологий и эконометрики МГТУ им. Н.Э. Баумана). Центром был разработан широкий спектр программных систем по эконометрике. Однако число их продаж было явно неадекватно проведенным оценкам емкости рынка, т.е. числу предприятий, которым были бы полезны эти системы. Это объяснялось попросту отсутствием на подавляющем числе предприятий специалистов, знакомых с эконометрическими методами хотя бы на том элементарном уровне, который позволяет понять, что им такие системы нужны. Например, нужны для того, чтобы обоснованно анализировать и выбирать планы статистического приемочного контроля, что необходимо делать практически на любом предприятии, независимо от отрасли и форм собственности. В любом договоре на поставку есть раздел "Правила приемки и методы контроля", и подготовлен он обычно отнюдь не на современном уровне. Если же на предприятии были квалифицированные специалисты, то они стремились расширить свой инструментарий за счет программных систем по эконометрике Всесоюзного центра статистических методов и информатики.
Поэтому надо широко преподавать эконометрику. Без этого разработанные для нужд организаций и предприятий имитационные компьютерные модели на основе эконометрических методов останутся омертвленным капиталом, не будут грамотно использоваться.
Но не следует сосредотачиваться лишь на подготовке специалистов по разработке эконометрических методов, умеющих доказывать теоремы и писать программы. Прежде всего нужны пользователи, понимающие, для решения каких задач годится тот или иной эконометрический метод, какая нужна исходная информация, как интерпретировать выдаваемые компьютером результаты.
Современное обучение эконометрическим методам возможно лишь при использовании компьютерных систем статистического анализа, включающих, в частности, методы статистики объектов нечисловой природы и другие идеи последних десятилетий. Большой интерес у студентов вызывает использование конкретных эконометрических данных, например, таких: на июнь 2001 г. индекс инфляции составил, по нашим данным, более 42,5 (по сравнению с декабрем 1990 г.), следовательно, средняя начисленная зарплата по стране (2260 руб. в месяц) в ценах декабря 1990 г. равна 2260/42,5 = 53 руб.18 коп., т.е. за 10,5 лет уменьшилась в 5,6 раз (в декабре 1990 г. средняя зарплата составляла 297 руб.). Прежняя минимальная зарплата в 70 руб. (декабрь 1990 г.) при индексации соответствует примерно 3000 руб., т.е. заметно больше средней зарплаты июня 2001 г. Эконометрическому анализу инфляции посвящена глава 7 ниже.
Эконометрические методы - эффективный инструмент в работе менеджера и инженера, занимающегося конкретными проблемами, и задача высшей школы - дать его в руки выпускников экономических и технических специальностей. Кроме теоретических знаний, менеджеры и инженеры должны иметь практические инструменты - сделанные на основе современных достижений эконометрической науки компьютерные системы, предназначенные для анализа статистических данных и построения эконометрических моделей конкретных экономических и технико-экономических явлений и процессов.
Подведем некоторые итоги. В настоящей главе продемонстрирована необходимость обучения эконометрическим методам будущих менеджеров, экономистов, инженеров. Рассмотрено место курса эконометрики в системе высшего технического образования: опираясь на курсы "Теория вероятностей и математическая статистика" и "Статистика", он призван довести знания студентов до уровня современности. Указаны связи курса эконометрики со многими иными учебными предметами - менеджментом, маркетингом, экологией, стандартизацией, метрологией и управлением качеством, инвестиционной, инновационной, контрольной и контроллинговой деятельностью, оценкой финансового состояния предприятия, прогнозированием и технико-экономическим планированием, экономико-математическим моделированием производственных систем и др.
Эконометрика - эффективный инструмент научного анализа и моделирования в руках квалифицированного менеджера, экономиста, инженера.
Цитированная литература
1. Комаров Д.М., Орлов А.И. Роль методологических исследований в разработке методоориентированных экспертных систем (на примере оптимизационных и статистических методов). - В сб.: Вопросы применения экспертных систем. - Минск: Центросистем, 1988. С.151-160.
2. Орлов А.И. Распространенная ошибка при использовании критериев Колмогорова и омега-квадрат. - Журнал " Заводская лаборатория". 1985. Т.51. №1. С.60-62.
3. The teaching of statistics / Studies in mathematical education, vol.7. - Paris, UNESCO, 1991. - 258 pp.
4. Долан Э.Дж., Линдсей Д.Е. Рынок: микроэкономическая модель. - СПб: СП "Автокомп", 1992. - 496 с.
5. Орлов А.И. Устойчивость в социально-экономических моделях. - М.: Наука, 1979. - 296 с.
6. Орлов А.И. О перестройке статистической науки и её применений. - Журнал "Вестник статистики". 1990. No.1. С.65 - 71.
7. Тутубалин В.Н. Границы применимости (вероятностно-статистические методы и их возможности). - М.: Знание, 1977. - 64 с.
8. Орлов А.И. Сертификация и статистические методы. - Журнал "Заводская лаборатория". 1997. Т.63. № 3. С.55-62.
9. Орлов А.И., Жихарев В.Н., Цупин В.А., Балашов В.В. Как оценивать уровень жизни? (На примере московского региона). – Журнал «Обозреватель-Observer». 1999. No.5 (112). С. 80-83.
10. Орлов А.И. Задачи оптимизации и нечеткие переменные. - М.: Знание, 1980. -64 с.
11. Леонтьев В. Экономические эссе. Теория, исследования, факты и политика: Пер. с англ. - М.: Политиздат, 1990. - 415 с.
12. Моргенштерн О. О точности экономико-статистических наблюдений. - М.: Статистика, 1968. - 324 с.
13. Математическое моделирование процессов налогообложения (подходы к проблеме) / Коллективная монография под ред. Н.Ю.Ивановой, А.И.Орлова и др. - М.: ЦЭО Минобразования РФ, 1997. - 232 с.
14. Карминский А.М., Оленев Н.И., Примак А.Г., Фалько С.Г. Контроллинг в бизнесе. Методологические и практические основы построения контроллинга в организациях. - М.: Финансы и статистика, 1998. - 256 с.