Все большее число предприятий и, к счастью, не только на Западе, но и в России начинают понимать, что технологии и особенно стоящая за ними интеллектуальная собственность представляют собой важную часть корпоративных активов, которыми можно и следует управлять аналогично управлению финансами, оборудованием, персоналом.
Значительную роль в управлении технологией (технологическом менеджменте) играют прогнозирование и стратегическое планирование бизнеса. Уже на начальной стадии инновационного проекта ожидаемые параметры разработки следует сопоставить с прогнозируемым развитием соответствующих технологий и продуктов. Результаты подобного прогнозирования имеют общестратегическое значение при разработке долгосрочных программ и формулирования концепций развития ключевых технологий фирмы. К сожалению, методы и инструменты технологического планирования и прогнозирования являются недостаточно известными среди менеджеров.
Технологическое прогнозирование определяют как “предсказание будущих характеристик используемых машин, технологий или методов”. При этом акцент делается на практических приложениях технологий, на конкретных характеристиках, параметрах, достигаемых возможностях. В другом определении технологическое прогнозирование представляет собой усилия по “проецированию технологических возможностей [на нужный отрезок времени] с целью предсказания возможных открытий и инноваций”. Действительно, в узком смысле прогнозирование означает предсказание, однако в более широком смысле прогноз подразумевает некое описание ожиданий и оценку необходимых условий их реализации.
В нижеприведенном рассмотрении прогноз технологий, или технологическое прогнозирование, подразумевает процесс создания описаний будущего. Это описание выражают словами или цифрами, относящимися к параметрам и области использования машин, процессов и прикладных наук.
Оценки технологии, проводимые с целью выявления коммерческого потенциала разработки, невозможны без понимания эволюции соответствующих продуктов или технологий во времени и прогнозирования их новых параметров качества. Поскольку цель любой новой технологии или инновационного проекта - усиление конкурентоспособности, а осуществление технологической разработки часто занимает годы, важно, чтобы к моменту его завершения цель проекта (достижение каких-то определенных конкурентных преимуществ) оставалась по-прежнему актуальной, а достигнутые параметры сохраняли превосходство по отношению к возможным конкурентам.
Итак, задачи, которые решает аналитик при прогнозировании успеха новой технологии, обычно включают:
проведение сравнительного анализа (определение технического уровня) планируемой разработки
анализ внешних тенденций в процессе выполнения разработки, которая должна сохранить свою конкурентоспособность и к моменту ее завершения, а также
экспертные суждения о возможных последствиях проводимой разработки или продуктов для компании и экономики в целом.
1 Определение сравнительного уровня разработки
Определение сравнительного уровня разработки всегда было неотъемлемой частью технико-экономического обоснования постановки НИОКР в план бюджетного финансирования советских и российских исследовательских организаций. Условность такого сравнительного анализа заключалась в том, что при этом, как правило, не учитывались возможное развитие конкурентных продуктов или их заменителей, а также эволюция технологий в конкурирующих организациях и/или странах.
Определение сравнительного уровня разработки на любой стадии коммерциализации, связанной с вовлечением новых ресурсов, требует выполнения следующих шагов:
Выявление всего набора критических параметров технологии или продукта, определяющих их конкурентоспособность
Формализованное описание этих параметров (в виде так называемых Check-list или Fact Sheet - см. Приложение 1)
Сопоставление этих параметров с соответствующими характеристиками, достигнутыми основными конкурентами
Определение возможного развития или эволюции технологии или продукта по сравнению с описанными в Check-list’е за время предполагаемого осуществления разработки.
Помимо технических параметров, категории оценки “перспективности” проекта должны содержать такие характеристики как
Оценки необходимых затрат
Доказанная “рыночность проекта” (ситуация на рынке, подтвержденный интерес потребителей к данной области технологий, продукту, области применения; полезность для общества)
Соотношение рисков и ожидаемых выгод
Техническая осуществимость управления проектом (график осуществления и имеющиеся ресурсы)
2 Основные особенности и области применения прогнозирования технологий
Описание результатов технологического прогноза содержит четыре обязательных элемента:
Оговоренный период времени (пять, семь, десять лет)
Прогноз общей ситуации в конкретной области технологий
Прогнозируемые характеристики качества технологии или продукта - по возможности в виде количественных параметров
Вероятность указанных изменений к оговоренному времени.
В практической деятельности руководителей фирм, разработчиков планов технологической стратегии (см. тему 6) и аналитиков критическим является относительная точность используемых методов прогнозирования. Многие из возникающих вопросов связаны и с тем, что инструменты и общая методология стратегического управления технологией как корпоративным ресурсом или основным активом малой компании еще не вошла “в плоть и кровь” как, например, инструменты финансового управления.
Специалисты в области прогнозирования технологий следующим образом обобщают свой практический опыт:
Ни один специалист в области прогнозирования или аналитик не полагается на какой-то один из методов. В зависимости от предмета, цели анализа и имеющихся ресурсов, следует использовать одновременно несколько различных методов.
Различия в результатах применяемых методов и приемов, как и использовании полученных выводов, чаще связаны с предметом анализа и корпоративной культурой, чем совершенством соответствующего метода.
Существует растущий зазор между аналитиком, поставляющим необходимую информацию в достаточно сложном и часто неоднозначном виде, и менеджером, принимающим решения, которому нужна входная информация в виде, пусть приблизительных, но быстрых ответов на критические вопросы.
Существует более 20 различных методов прогнозирования, отличающихся конкретными преимуществами и недостатками, которые в целях последующего рассмотрения удобно объединить в три большие группы:
Анализ тенденций
Экспертные оценки
Многовариантные методы анализа.
Общие замечания о наблюдаемой практике использования методов прогнозирования в целом сводятся к следующему:
Цели прогнозирования должны быть сформулированы до выбора соответствующего метода их достижения. Для правильного выбора метода и применения полученных результатов сначала надо задаться вопросом: “В чем вопрос?”, и затем “Что мы намереваемся делать с ответом?”.
Следует использовать сочетание методов, поскольку ни один метод не может ответить на все вопросы. Конкретный набор методов анализа тенденций, экспертных оценок и многовариантного анализа в большой степени зависит от квалификаций аналитика и менеджера, а также корпоративного климата.
На технологии в широком смысле этого слова и особенно их конечные продукты существенно влияют факторы нетехнического характера (общая среда бизнеса, экономика, политика, общественная ситуация и законодательство, социальные предпочтения и др.), поэтому методы технологического прогнозирования должны также включать соответствующие элементы экономического прогнозирования, анализа политической ситуации и маркетинговых исследований.
В идеальном случае прогноз развития технологий и стратегический анализ выполняют три задачи: предоставляют прогноз будущей технологической среды, предлагают менеджерам альтернативные варианты технологических стратегий, а также оценивают эти стратегии с точки зрения возможности получения желаемых результатов.
Почти все методы технологического прогнозирования и стратегического анализа (кроме анализа патентных тенденций и S-кривых) могут также использоваться для целей прогнозирования других тенденций.
3 Анализ тенденций
Анализ тенденций остается наиболее распространенным подходом к прогнозированию технологий. Его базовые предпосылки просты: надо собрать уместные исторические данные и затем графически или в численной форме спроецировать соответствующие изменения на будущее. Несмотря на различия конкретных методик, все конкретные приемы анализа тенденций имеют ряд общих допущений и особенностей, а именно:
Будущее представляется непрерывным продолжением недавнего прошлого (и, следовательно, на него распространяются установленные ранее закономерности).
Существует только один вариант будущего, и он предсказуем, если правильно понять законы происходящих изменений, выявленных при анализе тенденций.
Оба допущения достаточно уязвимы для критики, но в целом любой анализ тенденций может привести к неправильным результатам, если не учитывает причинно-следственные связи.
К методам анализа тенденций относятся:
экстраполяция тенденций
периодические повторяющиеся во времени сериальные оценки
регрессионный анализ
построение эконометрических моделей
динамика систем
S-кривые
исторические аналогии
матрицы входа-выхода
анализ патентных тенденций
анализ научно-технической литературы
3.1 Экстраполяция тенденций
Метод основан на экстраполяции изменения искомой переменной (или нескольких переменных) во времени на нужный период времени.
Экстраполяцию тенденций используют для прогнозирования параметров эффективности технологий, уровня продаж данного продукта, длительности разработки конкретной технологии. На практике почти каждая (и не только западная) компания во всех отраслях промышленности собирает информацию об исторических тенденциях изменений важных переменных, используя ее в качестве стартовой точки неких стратегических решений. Простые экстраполяционные графики служат для многих компаний полезными “квалифицированными подсказками”.
При наличии необходимых данных экстраполяция тенденций - достаточно недорогой и быстрый метод. С учетом простоты обработки данных этот метод используют как первую ступень технологического прогнозирования, получения некоего первого приближения.
В данном случае вряд ли эта экстраполяция будет справедлива и во все последующие годы, поэтому надо предположить, что действительные значения будут ниже.
Основным недостатком метода анализа тенденций является то, что любые экстраполяции справедливы только на малые отрезки времени. Поскольку характер влияния внешних обстоятельств на рассматриваемые переменные непостоянен во времени, постольку наилучшие результаты могут быть получены при использовании данного метода в близких прогнозах (несколько кварталов, один год).
3.2 Сериальные оценки
Метод основан на использовании однотипных данных, полученных в разные отрезки времени, и переносит метод экстраполяции тенденций на одну ступень дальше, позволяя с помощью статистических методов отличить систематические изменения от случайных. Полученные систематические изменения проецируются на будущее, где время принимается в качестве некоторой искусственной меры всех факторов, влияющих на прогнозируемую переменную.
В последнее время разработано достаточно большое количество статистических методов, позволяющих “экстрагировать” систематические линейные, логарифмические или экспоненциальные изменения на фоне квартальных, сезонных, разовых и других несистематических изменений.
Пример таких сериальных оценок в течение длительного времени приведен на рис.1.
Видна общая тенденция к увеличению на фоне больших и меньших циклов сезонных и других изменений. Существующие программные средства “смещения среднего”, экспоненциального сглаживания, многофакторного регрессионного анализа и др. позволяют получить сглаженную кривую, в частности, для прогнозирования в приведенном примере изменения потребления газет и за пределы 1980 года.
Основной недостаток этого метода, как и метода экстраполяции тенденций, определяющий ограниченное его использование только для краткосрочных прогнозов, - невозможность получения каких-либо причинно-следственных связей для объяснения полученных результатов. Он несколько более трудоемок, чем предыдущий, однако быстрое развитие компьютерных средств и простота получения первичных оценок обусловливают его несомненную эффективность и растущее использование в качестве первой ступени прогноза.
3.3 Регрессионный анализ
Регрессионный анализ можно считать обобщенной формой сериальных оценок, однако, регрессионные выражения позволяют прогнозировать изменение прогнозируемой переменной в виде функции (одной и более) других переменных, то есть в ситуации, когда прогнозируемая переменная находится в какой-то зависимости от другой переменной. Основной задачей регрессионного анализа является выявление этой зависимости.
Многочисленные пакеты программ статистической обработки и регрессионного анализа делают использование этого метода простым и недорогим.
Основой применения методов регрессионного анализа является наличие рядов (как правило, временных) значений переменных, взаимозависимость между которыми исследуется в ходе анализа. При этом выявляется лишь математическая форма данной зависимости, в которой, как правило, не отражается действительная причинно-следственная связь между рассматриваемыми переменными.
Получение качественного прогноза на основе регрессионного анализа зависит от правильного выбора независимых переменных, а также знания их возможных значений.
Регрессионный анализ непригоден для прогнозирования в тех случаях, когда неизвестны будущие значения независимых переменных. Таким образом, регрессионный анализ, в частности, не очень полезен для определения времени выведения нового продукта на рынок или предсказания того, какие новые технологические процессы возникнут через пять лет.
При наличии необходимых данных и некоторых дополнительных усилий по обработке данных регрессионный анализ дает более качественные прогнозы, чем метод экстраполяции тенденций и сериальные оценки, позволяя осуществлять средне- и долгосрочный прогноз.
3.4 Эконометрика
Этот метод позволяет группировать несколько полученных регрессионных выражений в некую модель более широких взаимосвязей. Например, необходимо узнать, сколько, по-видимому, будет весить портативный персональный компьютер в следующем году или через три года. Базовое уравнение для получения прогноза позволяет рассматривать вес компьютера в виде функции веса источника питания, диска, экрана, числа и веса дисководов. В свою очередь, вес источника питания может быть прогнозирован, по крайней мере, отчасти, в функции темпа технического прогресса натриево-серных батарей и, например, повышения температуры сверхпроводимости (стремясь к достижению сверхпроводимости при комнатной температуре). В третьем уравнении можно связать динамику параметров технического прогресса и весовые характеристики плоского экрана. В четвертом уравнении можно, например, описать скорость развития новых сверхпроводящих материалов. Необходимый прогноз относительно будущего веса портативного компьютера требует одновременного решения всех этих уравнений.
Эконометрика позволяет построить обобщенную причинно-следственную модель, использующую многие переменные и набор многофакторных регрессий.
Методы эконометрики наиболее эффективны, если 1)возможно выявление причинно-следственных связей между рассматриваемыми параметрами исследуемого объекта 2)возможно предсказать направление изменений этих “причинных” переменных. 3) можно описать факторы, влияющие на значения причинных переменных.
Построение такой модели более трудоемко и дорого, чем использование предыдущих методов, однако важным преимуществом эконометрических подходов является то, что характер выявленных взаимосвязей не меняется со временем, и полученная выверенная модель может быть использована для следующих или предыдущих по времени циклов (в пределах правомерности предсказаний изменений независимых переменных и отсутствия влияния не учитываемых параметров: например, политико-экономической ситуации).
4 Моделирование динамики объектов прогноза
Соответствующие решения основаны на кибернетических теориях и методах анализа систем, предполагающих, что большинство событий взаимосвязаны. В соответствие с этим факторы и влияющие переменные моделей динамики системы и соответствующие связи и взаимодействия рассматриваются в виде группы петель обратной связи.
Известны компьютерные модели роста мировой динамики, динамики развития производственного предприятия, социально-экономического развития страны или группы стран. Модели, полученные с использованием динамики систем, полезны для понимания характера взаимодействия различных факторов и стратегического анализа объекта прогнозирования.
Динамические закономерности могут моделироваться как аналитически, так и на качественном уровне в форме исторических аналогий, экспертных суждений и пр.
4.1 S-кривые
Анализ, получивший название S-кривых, основан на известных закономерностях, по которым технология, выводимая на рынок, имеет определенный цикл жизни, в рамках которого доля соответствующего рынка растет сначала медленно, потом быстро, а затем перестает расти и/или начинает уменьшаться.
Во многих работах показано, что эти закономерности не всегда применимы, а в тех случаях, когда применимы, их нельзя воспринимать слишком буквально. И в то же время прогнозы на основании S-кривых помогли некоторым компаниям в конкурентной борьбе, а игнорирование этих закономерностей нанесло ущерб другим.
Модель S-кривой может быть применена не только к проникновению на рынок новых продуктов, но и к скорости распространения использования новой технологии как одного из видов продуктов или к параметрам новой технологии.
На рис.2 представлено семейство кривых для отдельных технологий, характеризующих развитие средств перемещения, где скорость движения оценивается в долях от скорости света. Обобщенная кривая дает картину изменения скорости перемещения, асимптотически приближающейся со временем к скорости света. Во многих моделях прогнозирования технологий существуют такие физические или естественные ограничения, как, например, доля рынка, которая не может быть более 100%.
Ключом к эффективному прогнозированию с помощью S-кривых является наличие предыдущего опыта использования аналогичных технологий. Например, для прогнозирования развития скорости нового сверхзвукового самолета, использующего в качестве топлива метанол, полезно изучить историю первого турбинного самолета, относящуюся к 1936 году, убедиться, что первое реальное использование этого самолета относится к 1940-му году, а затем еще десять лет ушло на увеличение мощности турбины и совершенствование конструкции самолета, в течение которых постепенно увеличивалась скорость полета. Далее можно предположить, что освоение и развитие сверхзвукового самолета потребует столько же лет на коммерциализацию и последующее совершенствование.
В этом примере виден и основной недостаток метода - неопределенность в том, насколько прежняя технология сопоставима с принципиально новым претендентом на рынке.
Несмотря на редкость использования S-кривых непосредственно для целей технологического прогнозирования, полезно рассмотрение таких кривых для решений в области НИОКР и прогнозирования непредвиденных случаев.
Наиболее значимой пользой этого метода является напоминание о том, что скорости проникновения на рынок, диффузии технологий или увеличения технологических параметров не могут расти бесконечно.
4.2 Исторические аналогии
Известное на Западе выражение гласит: ”Те, кто не помнит прошлого, обречены его повторять”. В этой связи широко принятой практикой обучения менеджменту является изучение исторических аналогий на примере широко публикуемых на Западе Case Studies (исследований конкретных ситуаций). Большое число конкретных ситуаций для 1700 компаний в различных отраслях промышленности обобщено, в частности, в виде (правда, очень элитарной и дорогой) базы данных PIMS (Profit Impact of Market Strategy), которая называется “Воздействие рыночной стратегии на прибыль”.
Работа с подобными базами данных или конкретными ситуациями не является прогнозом в точном смысле слова, однако, она может позволить выбрать одно или несколько решений, принятых другими фирмами в аналогичных ситуациях, показав (предсказав) полученный отклик.
Необходимый уровень квалификации для осуществления подобного поиска невелик, однако его эффективность и возможный охват лимитируется наличием соответствующих данных. Бурное развитие баз данных и, в том числе, возможное создание более дешевых и способных конкурировать с PIMS, будет способствовать большему распространению этого метода анализа тенденций.
5. Методы анализа технологической среды
5.1 Анализ патентных тенденций
Этот метод наиболее полезен для мониторинга изменений в области конкретных технологий. Компании отсылают патентные заявки на технологические инновации, чтобы защитить их правовым образом от копирования конкурентами. Часто они отправляют свои заявки одновременно в США, Западную Европу и Японию, чтобы защитить свою интеллектуальную собственность в мировом масштабе. Патенты представляют собой некие публично доступные описания технологий. Следовательно, анализ патентов предоставляет информацию о технологических тенденциях и основных участниках разработки новых и улучшенных продуктов и процессов.
Большая часть профессиональных компаний придерживается определенной схемы патентного исследования, которая включает шесть шагов[1]
:
Определение объектов исследования. Определяют предмет поиска, исходя из конкретных задач управления заданной технологией (например, повышение чувствительности линейных измерений). Затем в зависимости от вопросов, ответы на которые ищет аналитик и, учитывая возможное использование информации, формулируют фокус на одной или нескольких технологиях.
Формулирование проблемы и установление сферы поиска. Для формирования рамок анализа необходимо понять ключевые технические вопросы или проблемы, характерные для данной технологии. Для более детального и результативного анализа необходимо выбрать классы рассматриваемых далее патентов и разработать схему, описывающую последовательность их изучения. Часто оказывается полезным начать анализ патентов с обзора источников, не патентных по данному вопросу, включая технические журналы, научно-технические отчеты, каталоги. Такой предварительный обзор может выполнять несколько важных функций. Во-первых, он может в дальнейшем помочь в поиске нужных патентов и формулировании их класса. Полученные данные могут также выявить мало известные компании или их подразделения, вовлеченные в интересующую область разработок. Кроме того, непатентные источники дополняют и углубляют понимание всех аспектов данной проблемы.
Поиск необходимых патентов. Существует определенная стратегия идентификации нужных патентов с использование патентных баз данных.
Важно иметь необходимые данные за возможно большее число лет. Поскольку срок действия патента по конкретному техническому решению в США - 17, а в России - 20 лет, желательно, чтобы глубина поиска (если, конечно, само технологическое направление не возникло в более недавнее время) составляла не менее 17-20 лет.
Критическое значение для качества полученной оценки тенденций имеют тщательность поиска, полнота и уместность выбранных для анализа патентов.
Загрузка патентов в программу для обработки. Здесь важна классификация полученных данных по таким категориям как тип технологии, тип материала, метод производства, процесс или продукт, характер организации. Можно также классифицировать характер и число патентов по времени их подачи, что может дать информацию об активности в конкретной сфере в определенный период времени.
Компьютерная обработка. На этой стадии обобщаются конкретные показатели патентных тенденций.
Интерпретация результатов патентного анализа. Список некоторых важных показателей, которые могут быть получены при патентном анализе, включает:
Анализ активности разработок в данном направлении. Последняя характеризуется числом патентов по данному типу технологии по отдельным годам и соответственно ростом или падением интереса к данной области технологий во времени, что находится в прямой корреляции с затратами на соответствующие НИР и ОКР.
Доминирование конкретного разработчика или производителя. Этот показатель может быть определенен численно по взаимному цитированию различных групп исследователей, работающих в близкой патентной области. Наиболее часто цитируемые компании, как правило, являются обладателями наиболее прочной патентной позиции.
Характеристики индивидуальной патентной активности компаний. В эти характеристики могут входить не просто число патентов, но и общее число авторов изобретений, средний возраст патента или изобретателя и т.д.
Анализ портфеля патентов. Результаты такого анализа содержат суммарную сводку патентов, права на которые имеет данная компания, а также их опубликованные патентные описания.
Анализ патентных тенденций используется во всем мире во все увеличивающемся объеме. Сотни компаний предоставляют услуги по проведению патентного анализа. Использование баз патентных данных становится главным источником международной конкурентной разведки в области технологий. В крупных компаниях до 10 человек занято исключительно проведением патентного анализа. В последние годы патентные базы становятся более обширными и более легкими для поиска.
На основании указанных в патентах целей фирмы по совершенствованию своей продукции, а также используемых ею средств для достижения этих целей, определяют направления проводимых конкурентами научно-технических разработок. Кроме того, патентное описание можно рассматривать в качестве анкеты, в которой изобретатель отвечает на вопрос, какую потребность он хочет удовлетворить своим изобретением. Статистический анализ описаний изобретений и полезных моделей позволяет не только выявить исчерпывающий список требований, предъявляемых к данной продукции, но и проранжировать их по степени значимости (весомости), то есть составить так называемый профиль потребностей для данного вида продуктов.
К недостаткам патентного анализа относится его сравнительная дороговизна, определяемая преимущественно необходимыми затратами времени высоко оплачиваемых сотрудников, а также тот факт, что не все изобретения патентуются и кроме того, существует, по крайней мере, 18-месячное (иногда до 36 месяцев) запаздывание между временем осуществления исследования и временем появления соответствующей заявки в патентной базе данных. Для обеспечения необходимой полноты сведений следует обновлять или повторять патентный поиск каждые 6-12 месяцев.
Несмотря на эти недостатки, данный метод является наиболее многообещающим способом получения информации о конкурентах в области НИОКР, новых потенциальных продуктах и технологических процессах. Анализ патентов позволяет предсказать новые разработки на рынке за 6-18 месяцев до их появления и является в настоящее время одним из лучших способов отслеживания технологических изменений по всему миру, позволяя также выявить потенциальных кандидатов для покупки или лицензирования разрабатываемой технологии.
Гармонизация формы патентов разных стран, увеличение мощности компьютерной обработки, а также увеличение доступности патентных баз обусловливают растущее значение данного метода анализа технологических тенденций.
5.2 Анализ научной литературы
Анализ научной литературы является дополняющим по отношению к анализу патентных тенденций. Сам процесс имеет много схожих признаков, с той важной особенностью, что данные научных публикаций содержат преимущественно описания деятельности, лежащей в основе изобретений.
Соответствующий подход содержит те же ключевые шаги и может позволить получить весьма сходную информацию. Преимуществом метода анализа научно-технической литературы является дополнительный взгляд на технологии, разработанные в исследовательских лабораториях, выявление компаний, работающих в определенной области, ключевых авторов, предсказание новых фирм, которые намереваются вскоре войти в новую технологическую область. Важно, что во многих случаях статьи пишутся и публикуются намного раньше, чем патенты, охватывая область будущего изобретения, так что база данных научной литературы дает в большей степени “текущий” анализ. В то же время специальные исследования показывают, что в целом публикуется не более одной трети исследований, завершающихся изобретениями, так что анализ научной литературы является не таким исчерпывающим, как патентный. Полагают, что анализ научной литературы позволяет сделать прогноз не более чем на 3-4 года, поэтому его надо повторять регулярно, желательно ежегодно.
Несмотря на привлекательность данного метода, настоящее увеличение его использования будет возможно при увеличении конкуренции и числа (пока крайне ограниченного) фирм, предлагающих свои услуги в области анализа научно-технической литературы (по данным 1991 года одно такое полное исследование в США стоило от 50 до 150 тысяч долларов), а также развития более мощных компьютерных программ.
6 Методы экспертных оценок
С тех времен, когда люди стали задумываться о будущем, не было метода, на который бы полагались в большей степени, чем оценки экспертов. Этими “экспертами” в течение тысяч
В строгом определении экспертные оценки представляют собой суждения, или изложение выводов, которые базируются на информации, логических рассуждениях, доказательствах или обоснованных ожиданиях будущего, представляемых людьми, отличающимися выдающимся знанием рассматриваемой области.
В той или иной степени все методы прогнозирования включают экспертные оценки, где в качестве экспертов может выступать отдельная личность или группа людей, а прогноз может выражаться словами или цифрами.
Из всех методов прогнозирования высшее руководство корпораций признает и практикует в наибольшей степени именно метод экспертных оценок и особенно, если этими экспертами выступают они сами. На самом деле много деловых людей обоснованно доверяют своей интуиции, которая, по-видимому, во многих случаях срабатывала достаточно эффективно, иначе они не были бы столь успешны. С другой стороны, доверяя собственной интуиции, эти менеджеры достаточно скептичны по отношению к экспертным оценкам других людей, требуя от них и особенно, если это касается прогнозирования в области технологии, скорее, убеждающей информации и логики, чем вдохновенных догадок, которые когда-то помогли им самим.
Перечень характерных обстоятельств, в которых обращаются к оценкам экспертов, включает:
Отсутствуют строгие необходимые для экстраполяции тенденций “исторические” данные, поэтому экспертная оценка (память эксперта) используется в качестве их заменителя
Влияние внешних изменяющихся факторов опровергает результаты экстраполяции тенденций, основанных на исторических данных
Этические и моральные (либо политические) факторы представляются более важными, чем технические и экономические
Имеющихся данных очень мало или их трудно и дорого обрабатывать с помощью доступных средств
Имеющиеся данные получены в форме, непригодной для другой обработки, кроме как путем оценки экспертами и специалистами (например, недоступны в электронном или даже печатном виде)
Взаимодействие многих факторов и их сложные причинно-следственнные связи очень важны и могут изменить выделенное проецирование какого-то одного фактора
Мнение “эксперта” как такового может воздействовать на результат прогнозирования: например, когда экспертом выступает потребитель, выражающий готовность или нежелание приобретать продукт с конкретными характеристиками.
Существует несколько (по крайней мере, три) различных метода получения экспертных оценок при технологическом прогнозировании и стратегическом анализе. Их используют наиболее часто на ранних стадиях НИОКР, когда все другие подходы и статистические данные менее надежны. Как правило, экспертные оценки для прогнозирования развития новых продуктов и технологий используют совместно с другими методами прогнозирования.
6.1 Интервью
Интервьюирование является хорошо известным и широко практикуемым способом сбора информации. Большинство исследователей время от времени интервьюируется своими коллегами. Некоторые интервью формальны и структурированы, другие проводятся в форме свободного потока мыслей
Цель интервью - получение глубоких суждений эксперта относительно предмета прогнозирования. Интервью позволяет получить письменное заключение эксперта в более сжатой и структурированной форме, чем это можно было бы сделать на основании литературного поиска. Если бы существовал один такой эксперт, оценке которого доверяли бы как окончательной, было бы достаточно одного интервью. Во всех других случаях, учитывая ограниченность каких-то знаний и человеческие пристрастия (“убеждения”) отдельных экспертов, необходимо провести и синтезировать результаты ряда (иногда многочисленных) интервью.
При проведении интервью полезно следовать нескольким простым советам:
Интервью экспертов должно быть тщательно спланировано. Сначала идентифицируют тип необходимой информации, на основании которого определяют список уместных экспертов. Число опрашиваемых экспертов определяется ресурсами времени и денег, а также важностью ожидаемой информации для всего прогноза в целом. Вопросы интервью должны быть заранее четко сформулированы в письменной форме.
Интервью проводят лично или по телефону в виде обмена устными вопросами и ответами (письменные ответы собираются при анкетировании). Более длинные опросы предпочтительно проводить при личной встрече. Преимущества личных интервью могут быть связаны с более свободным характером ответов и незапланированными отклонениями от темы, которые могут заслуживать внимания.
Полезно подготовить интервьюируемого предварительным письмом с указанием целей интервью и, возможно, некоторыми ориентировочными вопросами
Процесс интервью должен быть, как в самом строгом эксперименте, беспристрастным сбором информации, не искаженной влиянием интервьюера.
Практически все корпорации и аналитики при подготовке прогноза пользуются интервью для сбора информации. Преимущественно, интервью играют роль “входа” для других качественных методов прогнозирования, например, анализа сценариев, анализа тенденций и др.
Особенно привержены методу интервьюирования японцы. Они разыскивают техническую и бизнес-информацию по множеству источников, отдавая, тем не менее, предпочтение личным дискуссиям, а не объективным обзорам. Считают, что американские компании, напротив, в большей степени, чем японцы, предпочитают анкетирование и статистический анализ.
6.2 Анкетирование
Анкетирование, по сути, представляет собой те же интервью, проводимые в виде письменных ответов на поставленные вопросы в отсутствие интервьюера, и является хорошим способом беспристрастного анализа мнений многих людей Основной недостаток анкетирования заключается в том, что структурирование вопросов и ответов часто мешает людям выразить то, что они думают.
Обширная литература, содержащая рекомендации по проведению анкетирования позволяет ограничиться краткими рекомендациями:
Желательно разработать лист рассылки, исходя из тщательного анализа известных индивидуальных экспертов, а также групп, организаций, ассоциаций, с максимально равномерным представительством различных профессионалов в данной области.
Структура анкеты должна быть строго сфокусирована на целях опроса, чтобы быть максимально короткой.
При сборе ответов на “закрытые” вопросы типа “да” или “нет” или использовании вариантов подготовленных ответов нужно оставлять место для высказывания экспертом каких-то комментариев, а часть вопросов должна позволять развернутые наброски соображений.
Основные преимущества и применимость результатов анкетирования в целях прогнозирования - возможность обработки структурированных ответов от большого числа (теоретически - сотен) людей, что внушает аналитикам большее чувство уверенности в значимости подготовленного прогноза.
Основной недостаток анкетирования - существенные затраты времени и денег на их сбор и обработку, а также возможная нечеткость вопросов, которая может ввести отвечающих в заблуждение. В этой связи полезно предварительное “испытание” анкеты на небольшой группе опрашиваемых.
Анкетирование особенно популярно при маркетинговых исследованиях, когда соответствующие анкеты - преимущественно относительно продуктов массового потребления и развлечение - представляют собой по существу голосование по таким вопросам, как “Вы бы купили такой продукт, если...”, “Сколько вы были бы готовы за него заплатить?”, “Нравится ли вам его цвет?”. Именно как инструмент маркетинга, а не технологического прогнозирования, анкетирование интенсивно используется на промежуточных и завершающих стадиях НИОКР и должно быть включено в набор методов, используемых для прогнозирования продуктов.
Что касается их точности, анкеты достаточно хорошо прогнозируют ситуацию в тех случаях, когда сами опрашиваемые оказывают влияние на предмет прогноза (опять-таки, это наиболее справедливо при опросе потребителей и их суждениях о вероятностях успеха конкретного продукта или технологии на рынке).
Анкетирование используется достаточно широко также и для целей технологического прогнозирования, когда необходимо установить вероятность и возможные сроки достижения тех или иных технических параметров и возможных сроков их достижения. Эти вероятности можно рассматривать как гипотетические, однако, они выражают мнения экспертов в соответствующей области, которые надо принимать во внимание.
Являясь скорее мерой ожиданий, намерений и отношений, результаты анкетирования, как и устные интервью, следует рассматривать скорее как входную информацию для других методов прогнозирования, чем собственно прогноз.
6.3 Групповая динамика
В качестве альтернативы интервью и анкетированию, можно собрать группу экспертов в одном месте, чтобы они выражали свою точку зрения в коллективе. При этом часто наблюдается их полезный творческий синергизм, не достижимый при индивидуальных ответах. Однако для достижения успеха таких групповых опросов требуется наличие специальных навыков.
Метод Дельфи. Концепция этого метода прогнозирования подразумевает, что итерационные опросы экспертов обеспечат консенсус и точность прогноза в отсутствие прямой информации, необходимой для анализа тенденций и строгого прогнозирования. Сотни, если не тысячи примеров использования этого метода за последние сорок лет подтвердили справедливость первого утверждения концепции (возможности достижения консенсуса), но не обязательно - второго (точности).
Основные шаги реализации метода Дельфи перечислены ниже.
Организаторы опроса определяют цели исследования и соответственно структурируют анкеты.
Определяется общий список экспертов, которым рассылают анкеты. Как правило, экспертов не собирают вместе, хотя в принципе это можно делать, если позволяют обстоятельства. Число респондентов колеблется от десятков до тысяч, хотя разумный предел - несколько сотен. На этой стадии эксперты не знают о других респондентах.
Получают и обобщают в виде некоторых таблиц полученные ответы, и эти обобщенные результаты снова отсылают респондентам вместе со списком участников. Метод Дельфи заключатся именно в итерационности процесса сбора экспертных суждений. Ответы, полученные в первом раунде, и имена участников, безусловно, влияют на суждения, высказываемые при втором опросе, так что наблюдается некоторая их сходимость. Чем больше итераций могут себе позволить организаторы опроса (обычно три-четыре), тем выше сходимость полученных суждений.
Результатом метода Дельфи является общий, согласованный прогноз. Этот метод интенсивно используется в задачах технологического прогнозирования для:
Идентификации применений существующих и возникающих технологий
Определения времени реализации технологии
Достижения определенных параметров продукта
Готовности конкретного продукта к рынку.
Поскольку консенсус экспертов не обязательно означает точности их выводов, имеется определенная полемика относительно оправданности достаточно высоких затрат на реализацию этого метода применительно к технологическим прогнозам. Большое влияние на качество результатов оказывает структура анкет, исключающая возможность какой-то выраженной предвзятости организаторов анализа.
Полагают, что при все жестких установках (и соответствующих затратах) метод Дельфи, который более широко используется в Европе и Японии, чем в США, страдает теми же недостатками, как все методы экспертных оценок: склонностью к излишнему оптимизму или пессимизму, неполнотой информации, отсутствием синтеза выявленных тенденций, что мешает достижению всестороннего видения будущего, а также недостаточным воображением, чтобы учесть возможные структурные изменения, которые могут радикально изменить наблюдаемые тенденции.
Генерация идей. Цели метода очень близки к используемым рядом компаний методам маркетинговых исследований - “фокус-групп” и “творческих заседаниям”: собрать вместе небольшую группу экспертов, стимулируя их размышления относительно конкретного вопроса в рамках поставленных целей таких встреч.
Возможные применения очень близки к сфере использования метода Дельфи:
Идентификация новых применений существующей технологии или продукта
Идентификация перспективных технологий или продуктов для решения текущих потребностей
Идентификация параметров и факторов, которые следует включить в общий подход к технологическому прогнозированию
Идентификация конкретного использования и возможных стратегий применения результатов прогнозирования как части процесса стратегического планирования.
Генерация идей по типу “мозговых штурмов”, в которых участвует 8-12 ведущих экспертов, сама по себе не является инструментом прогнозирования, потому что обычно не выдает каких-либо прогнозов, но предоставляет полезные входные данные в последующий прогноз или процесс планирования после формулирования прогноза. Метод генерации идей выявляет критические факторы или предлагает решение проблемы. Выявленные идеи требуют последующего анализа для проверки их осуществимости.
Метод номинальных групп. Этот метод также является разновидностью организации мозгового штурма, успех или неудачи которого целиком определяются структурой группы. Считают, что наибольшему успеху способствует малочисленность (8-12 человек) участников, не знакомых друг с другом или являющимися сложившимися оппонентами, умеющими убедительно аргументировать свою точку зрения.
Этот метод часто используют для выявления факторов, которые необходимо учитывать при анализе различных сценариев и выбора альтернативных корпоративных стратегий.
Факторы успеха реализации этого метода, многократно описанные для мозговых штурмов, заключаются в начальном изложении предмета и методов работы, после чего участники встречи письменно формулируют возникшие идеи (в методе генерации идей они излагаются устно), после чего все участники поочередно делятся с другими - по одной идее в одно выступление, с последующим их обобщением, уточнением и устранением дублирующих.
Особенность метода и его отличие от обычных мозговых штурмов - тайное голосование участников по каждой из идей - как правило, одновременно в виде числа голосов поддержки (“за” или “против”) и в виде некоего рейтинга, которым оценивают каждую из идей, попавших в список. Такое голосование обеспечивает определенный консенсус относительно наилучших идей.
Группа является номинальной в том смысле, что собранные вместе эксперты выдвигают идеи в групповой среде, но сами идеи не создаются группой в буквальном смысле слова, как в методе генерации идей, а роль группы заключается в их отборе.
Успех всех групповых методов получения экспертных оценок в решающей степени зависит от квалификации модератора, который должен не только уметь управлять групповой дискуссией, но и понимать предмет обсуждения без личной предвзятости по отношению к различным точкам зрения, а также от состава группы. Существуют (и уже не только за рубежом, но и в России) профессиональные фирмы, проводящие подобные групповые мозговые штурмы на заказ. В объем и стоимость соответствующей работы включают обобщение полученных результатов и подготовку отчета.
В целом экспертные оценки, получаемые с применением тех или иных способов, являются основным или одним из методов прогнозирования и стратегического анализа. Ключевыми параметрами успеха являются состав экспертов, а также насколько широки и убедительны собранные суждения.
7 Многовариантный анализ
В основу многовариантного анализа, в отличие от всех других методов прогнозирования, положена концепция, по которой в силу многих неопределенностей нельзя заранее знать то “одно” будущее, которое когда-то будет иметь место. Поэтому надо оценить вероятные альтернативные последствия различных его вариантов и быть готовым к возможным изменениям, заранее выявив различные схемы отклика на конкретное протекание событий.
Не удивительно, что многовариантный анализ в первую очередь используют компании и организации, которые часто испытывают значительные изменения окружающей среды. Например, анализ тенденций может успешно использоваться компаниями со стабильным кругом потребителей, состоянием рынка и характером ведения бизнеса, то есть когда можно говорить о статистических закономерностях в поведении потребителей и развитии рынка в целом. Однако этот метод терпит неудачу в попытках использовать его для планирования потребностей компаний, чьи потребители и цены изменчивы, а структура рынка колеблется под влиянием политики, законодательства, приватизации и т.д. (как это происходит во всем мире с нефтяными компаниями, газовой промышленностью, авиалиниями и банками). Именно в этих высоко динамичных условиях компании обращаются к многовариантному анализу, чтобы дополнить методы традиционного анализа тенденций.
Другое важное философское допущение, лежащее в основе многовариантного анализа, заключается в том, что мы сами можем оказать некоторое влияние на будущее своими действиями. И тогда вопросы анализа формулируется не только о том “Каким будет будущее?”, но и о том “Каковы вероятные последствия будущего?”, “Какое из этих последствий нам в наибольшей степени хотелось бы видеть?”, “При каких обстоятельствах именно этот результат может иметь место?” Прогноз основывается на рассмотрении альтернативных следствий, исходя из которых, разрабатывается стратегия, способная с наибольшей вероятностью привести к желаемым результатам.
На самом деле, многие из методов многовариантного анализа не являются методами прогнозирования в строгом смысле слова, по крайней мере, в глазах статистиков и эконометриков. И все-таки эти методы с успехом применяются для целей стратегического планирования и технологического прогнозирования, потому что на практике многие компании имеют значительное влияние на собственное будущее.
Подобно экспертным оценкам, многовариантный анализ используется не только для принятия технологических. Для формального прогнозирования технологий методы многовариантного анализа не очень эффективны, однако они дают отличные результаты для установления связей технологий с “нетехническими” факторами и соответствующие инструменты являются, по-видимому, наилучшими для макроскопического “прогнозирования продуктов”.
Метод сценариев. Возникновение метода применительно к стратегическому планированию относится к 60-м годам и Военно-воздушным силам США, искавшим в то время новые доктрины к ведению возможной войны с СССР, а первое его применение в промышленных целях реализовала General Electric.
Сами способы получения вариантов сценария различны, однако содержат общие черты, предлагая:
Подробное документирование анализа тенденций и выявление предполагаемых событий, которые должны иметь место к предполагаемому сроку (по возможности, с оценкой их вероятности или хотя бы с ранжированием в порядке иерархии вероятностей)
Выявление альтернативных групп наиболее важных факторов
Группы совместимых результатов, так что значимо различные сценарии внутренне объединены между собой
Видение будущего (будущих), которое создает основу для планирования и принятия соответствующих решений в условиях различных случайностей.
Как и другие методы прогнозирования, метод сценариев хорошо годится для одних типов применений и непригоден для других. Его наибольшая эффективность наблюдается, если к методу прогнозирования предъявляются следующие требования:
В прогнозе учитываются только макроскопические факторы, находящиеся за пределами количественных переменных и установленных связей между ними (например, необходимо учесть возможные изменения политики и экономики). Метод сценариев позволяет объединять социально-политические, экономические и технологические факторы, хотя и не дает таких точных микроответов, как статистические модели и эконометрика.
Прогноз осуществляется в длительных временных рамках. Как было показано выше, многие из методов анализа тенденций не позволяют прогнозировать будущее более чем на один-три года, и тем более неадекватны при рассмотрении десятилетних отрезков, особенно в условиях нестабильности. Сценарии же представляют собой общие оценки будущих событий и хорошо пригодны для условий неопределенности.
Возможно “статическое” описание будущей среды. Как инструмент планирования, сценарии представляют собой некий перечень отдельных событий к определенному этапу или времени. Как инструмент прогнозирования, сценарии не показывают истинную последовательность ни в смысле точных этапов, ни отрезков времени. Сценарии применяются, чтобы охватить планируемый период, не пытаясь вычленить истинную последовательность событий за точные отрезки времени.
Для объекта прогнозирования характерна высокая степень неопределенности. Сценарии не игнорируют неопределенность, но позволяют вычленить различные альтернативные следствия и вероятности тех или иных событий. “Быть предупрежденным значит быть вооруженным”, подготовленным к конкретным обстоятельствам (неготовность к победе иногда может влечь за собой не меньше потерь, чем неготовность к проигрышу).
На будущее развитие прогнозируемой системы существенное влияние оказывают факторы, не выражаемые количественно. Количественные методы прогнозирования игнорируют факторы, которые не могут быть выражены в количественной форме. Метод сценариев учитывает также и качественные факторы (изменение военных доктрин, экологического законодательства, влияние общественных сил).
Симуляции. Симуляции (моделирование) можно назвать искусной игрой, предпринимаемой, однако не для развлечения, а в целях лучшего понимания и опробования вариантов поведения. Популярные шахматы и нарды тоже создавались как некая симуляция военных действий.
Все виды “симуляций” имеют два общих элемента. Во-первых, в основе лежит некая модель прошлого, настоящего или будущего, простая или сложная, выраженная картинками, фигурами, правилами или аналитическими соотношениями. Характерной особенностью таких моделей является обязательное отражение связи прошлого и будущего. То есть решения, принятые сегодня и в предыдущие моменты времени предопределяют состояние системы в будущем. Второй элемент - игра в виде неких структурированных действий, с помощью которых выявляется влияние изменений входных условий на конечный результат. В целом, симуляция представляет собой безопасное аналитическое обучение и получение некоторого опыта испытаний вариантов, которые невозможны в реальности, когда как правильный, так и ошибочный ход могут привести к непоправимым последствиям.
Симуляцию в виде проверки моделей, созданных с использованием других методов прогнозирования, чаще используют при обучении, чем в реальных условиях принятия решений.
Достоинства метода симуляций включают следующие:
Ставя перед участниками серьезные интеллектуальные проблемы, симуляции содействуют межличностным контактам и сотрудничеству с получением в результате общего опыта
Подобно лабораторным экспериментам, симуляции предоставляют средства обширных исследований влияния большого диапазона измеряемых параметров без реального риска, с которым эти изменения могли бы быть связаны на практике.
Одновременно надо отметить серьезные недостатки, которые ограничивают использование этого метода на уровне руководства корпораций:
Используемые при симуляциях базовые модели часто не очень точны и представляют собой большие упрощения, что может привести к ошибкам в самой симуляции и соответственно в принимаемых решениях.
Построение базовых моделей требует значительных ресурсов, особенно при построении “реалистических” моделей. Чем более реалистична модель, тем более она сложна и тем меньше руководство склонно к ее использованию: никто не любит использовать трудные методы принятия решения.
Повышение мощности компьютеров должно повысить как точность базовых моделей, так и снизить трудоемкость их построения.
Построение дерева (маршрутизация). Этот метод возник в 70-х, и с тех пор почти каждая компания в той или иной степени использовала этот качественный подход, чтобы структурировать свое понимание стратегии и будущего. Хотя в настоящее время применение этого метода для принятия главных решений ограничено, некоторые важные достоинства построения маршрутов делают его привлекательным иллюстративным инструментом. Например,
Выявленное дерево (маршруты) является превосходным инструментом структурирования проблем, особенно при планировании, когда сформулирована общая цель, и нужно выявить последовательность и варианты определенных шагов ее достижения. Узлы дерева, или развилки пути, могут представлять собой варианты “и” или “или”: в одном узле необходимо выполнять оба шага одновременно, а в другом надо выбрать один из альтернативных путей.
Метод представляет средство визуализации плана и решения задач по многим его этапам вплоть до завершения.
При определенной искусности и квалификации аналитика соответствующие карты могут быть построены достаточно легко и быстро, без необходимости иметь слишком много данных и использования сложных методов.
Построение дерева редко является инструментом прогнозирования, оказываясь более эффективным на тактических стадиях воплощения технологии, чем при стратегическом планировании, однако с его помощью можно решать такие общие задачи, как прогнозирование вероятности конкретной технологии (например, изготовления чипов нового поколения) к какому-то году. Соответствующие узлы объединяют ветви отдельных технологических разработок в области необходимых материалов, в то время как другие узлы отражают необходимые разработки в области монтажа или тестирования. Для получения общего вывода используют экспертные оценки вероятности по каждому из направлений, при этом дерево дает интегральную картину и позволяет получить итоговый результат.
Возможно применение этого метода и для обратной задачи: если известен желательный гипотетический параметр технологии, аналитик может построить дерево этапов достижения желаемого результата в параметрах необходимого времени, затрат и вероятности успеха.
Анализ портфеля. Этот метод относится к методам анализа финансовых рисков, сопровождающих планирование технологий, и будет более подробно рассмотрен в курсе “Управление рисками”. Строго говоря, он не является методом технологического прогнозирования, потому что не содержит оценок будущих разработок или параметров технологии. Однако это важный инструмент планирования, с помощью которого оценивают риск бизнеса (соотношение инвестиций и возможной отдачи) новых разработок технологий и/или продуктов.
Основным преимуществом анализа портфеля является визуализация категорий риска, который представляет собой данная технология в качестве ресурса корпорации. Высшее руководство любит визуализацию идей вообще, а данный метод особенно близок руководству с финансовым образованием.
Анализ портфеля наглядно иллюстрирует финансовые ожидания, связанные с конкретными технологиями, но не может предсказать достижимые технологические параметры или возможное время завершения разработок.
Квалифицируя отдельные разработки в “портфеле” организации по уровню ожидаемой финансовой отдачи или риска, определяемого новизной продукта или целевых рынков, анализ портфеля является разумной основой выбора комбинации проектов, соответствующих балансу возможных рисков (см. рис.3, 4).
Технологическое прогнозирование занимает все большее место в стратегии управления технологическим развитием компаний.
Для задач разработки технологической стратегии представляется особенно полезной следующая последовательность использования некоторых из многочисленных методов прогнозирования:
Экспертные оценки (интервью и обзоры) с целью уточнения вопросов последующего исследования
Экспертные оценки (генерация идей и техника номинальных групп), с целью выявления критических факторов, тенденций, переменных, которые надо включить в охват разрабатываемого прогноза
Анализ тенденций (экстраполяция тенденций, сериальные оценки, анализ патентных тенденций) для лучшего понимания прошлого и настоящего конкретных технологий и наиболее вероятного будущего - для каждого фактора, являющегося предметом прогнозирования
Многовариантный анализ (разработка сценариев и симуляции), с целью объединения выявленных тенденций и создания возможных альтернатив взгляда на будущее
Экспертные оценки (и, в первую очередь, генерация идей и метод номинальных групп) - на этот раз с целью получения общей картины и возможных стратегических вариантов развития бизнеса, исходя из результатов прогноза
Анализ тенденций (в частности, экстраполяция тенденций и сериальные оценки) в сочетании с другими методами прогнозирования (например, эконометрики и финансовых проекций) для детального “микроскопического” анализа для разработки конкретных планов.
Список
литературы
J. P. Martino, Technology Forecasting for Decision Making, 2nd.ed. New York, North-Holland, 1983
W. Ascher, Forecasting. An Appraisal for Policy-Makers and Planners, Baltimora, The Johns Hopkins University Press, 1978
S.M. Milett and E.J. Honton, A Manager’s Guide to Technology Forecasting and Strategy Analysis Methods, Battelle Press,1991
Технологическая фирма: менеджмент и маркетинг. Сборник статей под ред. Н.М. Фонштейн, Серия “Библиотека технологического предпринимательства”, “ЗелО”, 1997, 352 с.
D. Meadows, Charting the Way the World Works, Technology Review, 8, (February-March 1985), pp.55-63
Э.П. Скорняков, Информационные технологии для продвижения интеллектуальной собственности на рынок, в сб. Коммерциализация интеллектуальной собственности: проблемы и решения. Сост. и общ. ред. Н.М. Фонштейн и В.Г. Зинов, М., “ЗелО”, 1996, 207 с.
[1]
Milett - Hansen - Managing Guide