Введение.
В экономически развитых странах кадастр земель и другой недвижимости прошел этапы становления и развития на протяжении последних 200-400 лет. В настоящее время эти государства имеют юридически полноценный, организационно оформленный инструмент учета и ведения налогообложения, что является важнейшей составляющей экономической и социальной стабильности государства.
Учитывая современные технические возможности по сбору, обработке, хранению и выдаче данных о кадастре, его возрастающее значение, изменения, происходящие в общественном переустройстве России, опыт ведущих европейских стран, США и Канады, целесообразно сформировать современный подход к структуре кадастров России, и городского кадастра в частности, решить правовые и юридические вопросы создания, ведения и мониторинга кадастра. Это касается не только отдельных видов кадастра, но и системы Государственного кадастра России, для успешного воплощения которого необходимо подготовить и принять соответствующие законодательные и нормативно-технические акты и как можно быстрее разработать стандарты на термины и определения.
Конечным продуктом при ведении государственных кадастров должны быть банки кадастровой информации. Пользователями информации, хранящейся в таких банках данных, могут быть органы управления территориями, администрации городов, областей, краев, республик в составе Российской Федерации и Федеральные органы управления.
Для того, чтобы эффективно возможности банков данных использовались органами управления, необходимо соблюдение трех условий.
1. Любой банк кадастровых данных должен содержать достоверную и полную информацию о кадастрах.
2. Доступ заинтересованных служб к кадастровой информации, хранящейся в банках данных, должен быть мгновенным, что достижимо благодаря терминальной связи между банками данных и соответствующими службами.
3. Форматы и классификаторы банков данных всех объектов кадастровой информации должны быть едиными.
В настоящее время отмечается неудовлетворительное положение в области учета природных и муниципальных объектов, что приводит к значительным экономическим потерям, снижению доходов федерального и местного бюджетов и другим негативным результатам. Государственные кадастры, созданные в условиях отраслевого управления экономикой, отличаются ведомственной разобщенностью, несовместимостью содержащейся в них информации, а поэтому не могут служить для комплексной оценки объектов и ресурсов.
Единая система государственных кадастров (ЕСГК) должна представлять собой взаимосвязанный комплекс территориалтьно-распределенных государственных кадастров, ведущихся на единой географической информационной основе и в соответствии с определенными правовыми, технологическими и экономическими нормами.
В состав Единой системы государственных кадастров должны войти следующие основные группы государственных кадастров :
- кадастры природных ресурсов (земельный, водный, местрождений полезных ископаемых, экологический, растительного и животного мира и др.);
- кадастры недвижимости (инженерных сетей и коммуникаций, жилых и нежилых строений, транспортных магистралей, улично-дорожных сетей и др.);
- регистры (населения, предприятий, административно-территориальных образований).
Создание и ведение всех видов кадастра остается одной из важнейших проблем управления территориями на современном этапе. Данные кадастров необходимы для информационного обеспечения хозяйственной деятельности в регионах и городах, экологического мониторинга и рационального использования природных ресурсов.
Глава I. Общие положения.
Уровень и объемы имеющейся сейчас информации о городской жизни настолько велики, что уже не возможны ее обработка, анализ и понимание без современных аппаратно-программных средств. Поэтому становится крайне необходимой создание автоматизированной системы для городского кадастра на основе современных компьютерных технологий и телекоммуникаций как единого комплекса для получения полной информации об окружающем мире, имеющихся ресурсах, возможностях и тех последствиях, которые оказывает на мир наша деятельность. Поскольку кадастр оперирует с данными и информацией, имеющими пространственную привязку, то взаимосвязь его автоматизации с проблематикой ГИС очевидна. Но здесь следует помнить, что как и при создании любой автоматизированной системы задача разделяется на разработку отдельных видов обеспечения : организационного, технического, программного, информационного и, в том числе, картографического. При этом обязательным является требование совместимости картографической системы с остальными компонентами.
Решение задач кадастра на современном уровне требует не только применения современных программных средств, но и глубокой технологической проработки проектов информационных систем.
Набор функциональных компонент информационных систем кадастрового назначения должен содержать эффективный и быстродействующий интерфейс, средства автоматизированного ввода данных, адаптированную для решения соответствующих задач систему управления базами данных, широкий набор средств анализа, а также средств генерации изображений, визуализации и вывода картографических документов.
При выборе программных продуктов необходимым условием является обеспечение устойчивых связей с различными системами через файловые стандарты обмена геометрическими и тематическими данными. С учетом фактора постоянной модернизации аппаратных средств информационных систем и модификации программных средств, необходимым условием функционирования систем является обеспечение сохранности и переносимости данных в новые программно-аппаратные среды.
К технологическим проблемам обеспечения работы информационных кадастровых систем относятся проектирование математической основы электронных карт, проектирование цифровой модели местности, задачи преобразования данных в цифровую форму, геометрическое моделирование пространственной информации, проблемное моделирование тематических данных и т.д.
Наибольший интерес вызывают новые ГИС-технологии, обеспечивающие оперативность, полноту и достоверность информации как о существующем состоянии городской среды в пределах той или иной территории города, так и о предлагаемых мероприятиях по ее изменению в ходе освоения и реконструкции.
В настоящее время традиционно применяются литературные, статистические, картографические, аэро - и космические материалы. Как правило, их подборка и систематизация для последующего использования осуществляется вручную. Такой путь хорошо известен. Другое направление, активно развивающееся, связано с геоинформатикой
, позволяющей формализовать и реализовать в машинной среде значительную часть рутинных операций накопления, хранения, обработки и использования пространственно координатных данных с помощью средств географических информационных систем (ГИС).
По мнению А. М. Берлянта : “ Сегодня геоинформатика предстает в виде системы, охватывающей науку, технику и производство ... Геоинформатика
- научная дисциплина, изучающая природные и социально - экономические геосиcтемы ( их структуру, связи, динамику, функционирование в пространстве - времени ) посредством компьютерного моделирования на основе баз данных и географических знаний. С другой стороны, геоинформатика - это технология ( ГИС - технология ) сбора, хранения, преобразования, отображения и распространения пространственно - координатной информации, имеющая целью обеспечить решение задач инвентаризации, оптимизации, управления геосистемами ... Наконец, геоинформатика, как производство ( или геоинформационная индустрия ) - это изготовление аппаратных средств и программных продуктов, включая создание баз и банков данных, систем управления, стандартных ( коммерческих ) ГИС разного целевого назначения и проблемной ориентации “. Добавим, что “ геоинформационная индустрия “ включает разнообразные приложения технологий ГИС , реализованных в стандартных коммерческих программных продуктах , т. е. проектирование, создание ( разработку ) и эксплуатацию ГИС в рамках выполнения территориально-, проблемно- и предметно- конкретных геоинформационных проектов.
Карта
- один из наиболее важных источников массовых данных для формирования позиционной и содержательной части баз данных ГИС в виде цифровых карт
- основ образующих единую основу для позиционирования объектов, и набора тематических слоев данных, совокупность которых образует общую информационную основу ГИС. Послойное представление пространственных объектов имеет прямые аналогии с поэлементным разделением тематического и общегеографического содержания карт.
Многие процедуры обработки и анализа данных в ГИС основаны на методическом аппарате, ранее разработанном в недрах отдельных отраслей картографии. К ним принадлежат операции трансфомации картографических проекций и иные операции на эллипсоиде, опирающиеся на теорию и практику математической картографии и теории картографических проекций, операции вычислительной математики, позволяющие осуществлять расчет площадей, периметров, показателей форм геометрических объектов, не имеющие аналогов в карто - и морфометрии.
В большинстве ГИС в качестве одного из основных элементов выступает блок визуализации данных, где важную роль занимают графические и картографические построения. Картографический модуль ГИС обеспечивает картографическое представление исходных, производных или результирующих данных в виде цифровых, компьютерных и электронных (видеоэкранных) карт, являясь элементом интерфейса пользователя и средством документирования итоговых результатов. Высококачественная картографическая графика, имитирующая традиционные средства картографического языка и способы картографического изображения (и некоторые возможности, доступные реализации исключительно машинными средствами, например, мультипликационные и анимационные возможности) при поддержке разнообразных устройств отображения, принадлежит к числу обязательных средств программного обеспечения ГИС.
Однако задачи ГИС выходят далеко за пределы картографии, делая их основой для интеграции частных географических и других (геологических, почвенных, экономических и т. д.) наук при комплексных системных геонаучных исследованиях.
Методический аппарат геоинформационных технологий прямо или опосредованно связан с различными областями прикладной математики (вычислительной геометрии, аналитической и дифференциальной геометрии, откуда заимствованы алгоритмические решения многих аналитических операций технологической схемы ГИС), с машинной графикой (в частности машинной реализации визуализационно - картографических возможностей ГИС), распознаванием образов, анализом сцен, цифровой фильтрацией, и автоматической классификацией в блоке обработки цифровых изображений растровых ГИС, геодезии и топографии (например, в модулях обработки данных топографо - геодезических съемок традиционными методами или с использованием глобальных навигационных систем GPS).
Развитие геоинформатики как профессиональной производственной деятельности привело к диверсификации единой прежде специальности “геоинформатика” с выделением отдельных профессий и специализаций:
ГИС - менеджеров
(общее и системное управление ГИС, ее информационным обеспечением);
разработчиков
(системных аналитиков, обеспечивающих трансляцию информационных потребностей заказчика в термины информационной модели, программистов и проектировщиков как посредников между аналитиками и программистами);
пользователей
(“широкого профиля” и с узкой предметной специализацией).
Контрольные вопросы :
Взаимосвязь проблематики ГИС с решением задач кадастра.
Понятие геоинформатики.
Цифровая карта как элемент ГИС.
Направления деятельности специалистов в области ГИС.
Глава 2. Понятие о географических информационных системах.
2.1. Структура и классификация.
Обязательными элементами более или менее полного определения ГИС следует считать указание на “ пространственность”, операционно - функциональные возможности и прикладную ориентацию систем.
Считалось, имея ввиду ГИС профессионально - географической направленности, что пространственность является необходимым условием для квалификации некоторой информационной системы как географической (например, автоматизированные радионавигационные системы, хотя и оперируют пространственно определенными данными, к географическим информационным системам не принадлежат). Основанием для отличия “ географических ” от “ негеографических “ информационных систем не может служить и содержание собираемых данных: идентичные по своему содержанию базы данных могут обслуживать совершенно различные (в том числе чисто географические и явно негеографические) приложения. Наоборот, системы разного целевого назначения вынуждены аккумулировать одинаковые сведения. Например, база данных с цифровым представлением рельефа используется для автоматизированного вычерчивания изогипс на топографической карте (топографическая картография), расчета и картографирования морфометрических показателей (геоморфология и тематическая картография), поиска оптимальных трасс шоссейных дорог или иных коммуникаций (инженерные изыскания и проектирование).
Одной из разновидностей ГИС становятся системы, основанные на материалах дистанционного зондирования, объединяющие функциональные возможности геоинформационных технологий с развитыми функциями обработки дистанционных изображений, так называемые интегральные (интегрированные) ГИС .
Минимальный набор критериев, позволяющих идентифицировать каждую конкретную геоинформационную систему, образует “ систему координат “ трехмерного пространства, осями которого являются: территориальный охват и связанный с ним функционально масштаб (или пространственное разрешение), предметная область информационного моделирования и проблемная ориентация.
При всем многообразии операций, целей, областей информационного моделирования, проблемной ориентации и иных атрибутов, характерных для создаваемых и действующих ГИС, логически и организационно в них можно выделить несколько конструктивных блоков, называемых также модулями или подсистемами, выполняющими более или менее четко определенные функции. Функции ГИС в свою очередь вытекают из четырех типов решаемых ею задач:
Что касается классификации ГИС, то здесь наметилось тоже несколько направлений. Например, классификация по их проблемной ориентации :
Инженерные;
Имущественные (ГИС для учета недвижимости), предназначенные для обработки кадастровых данных;
ГИС для тематического и статистического картографирования, имеющие целью управление природными ресурсами, составление карт переписям и планирование окружающей среды;
Библиографические, содержащие каталогизированную информацию о множестве географических документов;
Географические файлы с данными о функциональных и административных границах;
Системы обработки изображений с Ландсата и др.
Однако быстрая изменчивость и множественность вариантов решаемых проблем требует введения иных классификаций, учитывающих структуру и архитектуру ГИС. Разработана и представлена 3 - х компонентная классификация ГИС по следующим признакам:
1) характеру проблемно - процессорной модели;
2) структуре модели баз данных;
3) особенностям модели интерфейса.
На верхнем уровне классификации все информационные системы подразделены на пространственные и непространственные. ГИС, естественно, относятся к пространственным, делясь на тематические ( например социально - экономические) и земельные (кадастровые, лесные, инвентаризационные и др.). Существует разделение по территориальному охвату (общенациональные и региональные ГИС); по целям (многоцелевые, специализированные, в том числе информационно - справочные, инвентаризационные, для нужд планирования, управления); по тематической ориентации (общегеографические, отраслевые, в том числе водных ресурсов, использования земель, лесопользования, туризма, рекреации и др.).
2.2. Источники данных и их типы
Среди источников данных, широко используемых в геоинформатике, наиболее часто привлекаются картографические, статистические и аэрокосмические материалы. Помимо указанных материалов гораздо реже используются данные специально проводимых полевых исследований и съемок, а также текстовые источники. Важный признак используемых данных - в какой цифровой или нецифровой (аналоговой) форме получается, хранится и используется тот или иной тип данных, от чего зависят легкость, стоимость и точность ввода этих данных в цифровую среду ГИС.
Использование географических карт как источников исходных данных для формирования тематических структур баз данных удобно и эффективно по ряду причин. Сведения, считанные с карт, обладают следующими достоинствами:
имеют четкую территориальную привязку,
в них нет пропусков, “белых пятен” в пределах изображаемой территории,
они в любой своей форме возможны для записи на машинные носители информации.
Картографические источники отличаются большим разнообразием кроме общегеографических и топографических карт насчитываются десятки и даже сотни типов различных тематических карт.
Следует отметить особую роль серий карт и комплексных атласов, где сведения приводятся в единообразной, систематизированной, взаимосогласованной форме; по проекции, масштабу, степени генерализации, современности, достоверности и другим параметрам. Такие наборы карт особенно удобны для создания тематических баз данных. Прекрасным примером может служить трехмерный Атлас океанов, содержащий подробные сведения о природных условиях, физико - химических параметрах, биологических ресурсах Мирового океана, представленных на сериях карт разной тематики, разновременных и разновысотных (глубинных) срезов.
Одним из основных источников данных для ГИС являются материалы дистанционного зондирования. Они объединяют все типы данных, получаемых с носителей космического (пилотируемые орбитальные станции, корабли многоразового использования типа ”ШАТТЛ”, автономные спутниковые съемочные системы и т.п.) и авиационного базирования (самолеты, вертолеты и микроавиационные радиоуправляемые аппараты) и составляют значительную часть дистанционных данных (remotely sensed data) как антонима контактных (прежде всего наземных) видов съемок, способов получения данных измерительными системами в условиях физического контакта с объектами съемки. К неконтактным (дистанционным) методам съемки помимо аэрокосмических относятся разнообразные измерительные системы морского (наводного) и наземного базирования, включая например фототеодолитную съемку, сейсмо - , электро - магниторазведку и иные методы геофизического зондирования недр, гидроакустические съемки рельефа морского дна с помощью гидролокаторов бокового обзора, иные способы, основанные на регистрации собственного или отраженного сигнала волновой природы.
Материалы аэрофотосъемки используются в основном для топографического картографирования, также широко применяется в геологии, в лесном хозяйстве, при инвентаризации земель. Космические снимки начали поступать с 60 - х годов и к настоящему времени их фонд исчисляется десятками миллионов.
В последние годы в среде ГИС широко используются портативные приемники данных о координатах объектов с глобальной системы навигации (позиционированная) GPS, дающие возможность получать плановые и высотные координаты с точностью от нескольких метров до нескольких миллиметров, что в сочетании с портативными персональными ЭВМ и специализированным программным обеспечением обработки данных с системы GPS позволяет использовать их для полевых съемок в условиях необходимости их сверхоперативного выполнения (например, при ликвидации последствий стихийных бедствий и техногенных катастроф).
Обратившись к статистическим материалам, имеющим цифровую форму, можно сказать, что они удобны для непосредственного использования в ГИС, среди которых особое место занимает государственная статистика. Основное ее предназначение - дать представление об изменениях в народном хозяйстве, составе населения, уровне его жизни, развитии культуры, учете недвижимости, наличии материальных резервов и их использовании, соотношении в развитии различных отраслей хозяйства и др.
Для получения государственной статистики на территории страны обычно используется единая методика ее сбора. В России кроме Госкомстата страны эту работу проводят также некоторые отраслевые министерства, например Министерство путей сообщения о железнодорожном транспорте и т.д. Статистическая отчетность различается по периодичности, она может быть суточной, недельной, полумесячной, квартальной, полугодовой и годовой. Кроме того, отчетность может быть и единовременной.
Для упорядочения всей совокупности данных государственной службой определены показатели по отраслям статистики. В качестве таких групп в нашей стране использовались отрасли статистики:
1) промышленности;
2) природных ресурсов и окружающей среды;
3) технического прогресса;
4) сельского хозяйства и заготовок;
5) капитального строительства;
6) транспорта и связи;
7) торговли;
8) труда и заработной платы;
9) населения, здравоохранения и социального обеспечения;
10) народного образования, науки и культуры и т. д.
Специализированная геоинформационная система ABRIS-Cadastr
Геоинформационные системы являются сегодня важным инструментом сбора и планирования географических объектов. Существующие сегодня в мире ГИС можно достаточно четко разбить на три основных категории:
Мощные полнофункциональные ГИС на основе рабочих станций на UNIX-системах и RISC-процессорах.
ГИС средней мощности ( или ГИС с редуцированными возможностями) класса MAPINFO на PC-платформе.
Программы строящиеся по принципу ГИС и имеющие малые потребности в ресурсах ЭВМ.
Последние обычно более узкоспециализированные, ориентированные на конкретный рынок работ. К таким системам относится ABRIS-Cadastr. Эта система ориентирована на обработку данных инвентаризации земель. Благодаря ей можно, введя информацию, оперативно получать все необходимые справочные данные установленной формы.
ГИС ABRIS-Cadastr одна из ГИС семейства ABRIS, разрабатываемых в Московском Университете Геодезии и Картографии с 1993 года.
Данная система служит целям земельного кадастра. Она позволяет вводить картографическую информацию снятую с помощью дигитайзера либо из файлов полученных GPS-приемниками. На основании информации можно вести оперативный учет земель и проводить сравнение учетных данных и результатов измерений, получать документы в виде распечаток (ведомости вычисления площадей, сравнительные ведомости занимаемых земель по учетным данным и по результатам измерений, ведомости вычисленных площадей, экспликация земель, планы различных масштабов и др.). Существует возможность редактирования и изменения как графической, так атрибутивной информации. Это позволяет всегда иметь обновленные данные.
В целом, ABRIS-Cadastr позволяет быстро и удобно автоматизировать работы в области земельного кадастра, хранить данные земельного кадастра в электронном виде.
Контрольные вопросы :
Функции и компоненты геоинформационной системы.
Классификация ГИС.
Разновидности данных для ГИС.
Глава Ш. Современное состояние процесса автоматизации в цифровой картографии.
Работы по автоматизации в тематической картографии в настоящее время зависят и опираются в первую очередь на технические средства, используемые для этих целей, и знания, формализованные при помощи математики.
В основном автоматизация коснулась процессов, требующих больших вычислительных и временных ресурсов, а также многих черновых работ, которые приходилось выполнять в картографии ранее. Однако, всем этим процессам присуще одно свойство - четкая алгоритмизация.
Именно это не позволяет, и скорее всего не позволит в ближайшие годы, решить многие, наиболее важные проблемы цифровой картографии. В первую очередь это касается автоматического чтения информации, процесса генерализации, некоторых других вопросов. Т.е. всех тех задач, при решении которых мы не можем описать четкую последовательность элементарных шагов, приведших к решению, и используем наши собственные субъективные ощущения. Успех в автоматизации этих задач зависит от прогресса в области распознавания образов и искусственного интеллекта.
Хотя, конечно, постоянно ведутся исследовательские работы по созданию более совершенных алгоритмов и новых технических средств, способных взвалить на себя больший груз проблем, связанный с интеллектуальной деятельностью человека, до решения этих проблем еще далеко.
Средства автоматизации в цифровой картографии условно можно разделить на две группы: аппаратные и программные.
К аппаратным средствам относится все оборудование, используемое на различных этапах технологического цикла создания карт. Это ЭВМ, сканеры, дигитайзеры, плоттеры, принтеры, видеотерминалы и различные специализированные устройства для выполнения некоторых узких задач (цветоделители, фотонаборные автоматы и т.д.).
Однако, существует тенденция - заменять специализированные устройства соответствующим программным обеспечением (ПО). Цифровая картография становится все более "цифровой".
Преимущество аппаратных средств перед программными состоит в том, что они выполняют свои функции иногда намного быстрее, но они дороги, а по мере увеличения мощности ЭВМ разница в скорости исчезает. По-видимому, единственными специализированными устройствами, которые никогда не исчезнут, кроме самой ЭВМ, обеспечивающей функционирование программных средств, будут устройства ввода-вывода, без которых диалог человека с машиной невозможен. Сейчас устройствами, автоматизирующими ввод, являются сканеры, устройства фото- и телеввода, позволяющие в короткое время вводить в ЭВМ изображения в растровой форме: дигитайзеры различных конструкций и автоматические отслеживатели, используемые для ввода исходной графической информации в векторной форме.
Устройства для ввода растровой информации выгодно отличаются от других тем, что позволяют быстро и точно перенести графические образы в ЭВМ и сразу же отказаться в дальнейшем от бумажной технологии. При этом достигается высокая степень автоматизации: современные промышленные сканеры требуют минимального участия человека в процессе работы благодаря автоматической подаче материала, настройке, цифровой фильтрации, сжатию и передаче информации.
При этом важной особенностью такого способа является то, что вводимые данные представляют собой просто описание графического образа карты без указания на смысловое значение каждого элемента изображения. Те объекты, которые мы видим на карте, на изображении в растровом формате нет. Они существуют только в нашем сознании, интерпретирующем группы пикселов, связывая их в какой-то целостный объект. Реально такой связи в растровых данных нет, все пикселы равноценны между собой и отличаются только цветом или яркостью. Поэтому машина не может непосредственно интерпретировать растровое изображение. Вот почему такие данные необходимо для дальнейшей обработки перевести в векторный формат. Но недостаток такого способа то, что преобразованная информация еще никак не обработана в содержательном плане, имеет малое количество семантических атрибутов и требует дальнейшего распознавания и множества операций по обработке.
Напротив, устройства для ввода информации в векторном виде позволяют одновременно с вводом произвести все необходимые операции по идентификации объектов и их оцифровке. Причем, данные в ЭВМ передаются практически в том самом виде, в каком они и будут храниться как ЦК, а поэтому требуют минимальной дальнейшей обработки.
При кажущемся преимуществе этот способ имеет свой недостаток: он требует большого количества человеческого труда, менее поддается автоматизации из-за наличия в нем большего количества электромеханических компонентов. Сравним хотя бы сложность создания программы - автоматического отслеживателя линий и устройства, преследующего ту же цель.
Несмотря на всю громоздкость оборудования для ввода информации в векторном виде, его дороговизну, малую производительность и значительное участие человека в процессе работы, способ ввода информации в растровом виде с последующей автоматической обработкой и преобразованием в векторный формат тоже пока не получил должного распространения из-за сложности создания программ, способных автоматических распознавать и преобразовывать графическую информацию. Поэтому в настоящее время существуют оба способа первичного ввода графической информации в ЭВМ. Хотя, анализируя развитие современной науки и техники, предпочтение следует отдать растровым устройствам ввода изображений. Тем более, что в настоящий момент активно развивается гибридный способ ввода картографической информации в ЭВМ, использующий именно эти устройства. Он предполагает преобразование изображения на физическом носителе в растровую форму с последующей записью цифрового кода на машинный носитель. После этого изображение векторизуется способом, похожим на применяемый при работе с дигитайзером, в ручном, полу- и автоматическом режиме. Изображение контролируется на экране видеотерминала. При этом достигаются преимущества, даваемые обоими вышеописанными методами, и одновременно частично компенсируются их недостатки: уменьшается громоздкость оборудования, его общая стоимость, осуществляется переход на "безбумажную" технологию, увеличивается возможность автоматизации процессов, растет точность и производительность труда.
К устройствам, автоматизирующим вывод информации, относятся графические видеотерминалы, матричные, струйные и лазерные принтеры, графопостроители (плоттеры). Все они используются в различных случаях.
Для быстрого динамического вывода картографической информации без ее дальнейшего сохранения и с высокой изобразительной способностью используются всевозможные типы графических видеотерминалов. Для быстрого получения твердых копий карт в зависимости от требований к качеству, скорости и материалу носителя применяют разные типы принтеров. А для получения высококачественных материалов для долговременного пользования применяют графопостроители.
В качестве ЭВМ, используемых в современной цифровой картографии, существовали попытки использовать все наиболее известные типы ЭВМ и аппаратные платформы. Зачастую в автоматизированных комплексах используются и персональные компьютеры, и рабочие станции, связанные в ЛВС (локальную вычислительную сеть) и имеющие выход на мейнфрейм, осуществляющий централизованное хранение и обработку информации.
Программное обеспечение, управляющее всеми устройствами и выполняющее многочисленные операции по сбору, хранению и обработке картографической информации, постоянно совершенствуется. Автоматизация в цифровой картографии в наибольшей степени зависит от того, какое ПО разработано и используется на данный момент. Учитывая, что в последние годы наметилась тенденция использования в цифровой картографии не специализированного картографического, а стандартного компьютерного оборудования, ясно, что все специальные функции ложатся на программное обеспечение и его роль в автоматизации картографии достигла практически 100 процентов.
Современное ПО позволяет производить предобработку введенного изображения для повышения его качества, автоматизирует процесс перевода его в форму ЦК, управляет сложными базами картографических данных, представляющими из себя огромное количество информации.
Это ПО дает в руки пользователей мощные аналитические возможности для пространственного анализа информации. Существуют прикладные пакеты, позволяющие моделировать различные процессы природной среды (например, рельефообразующие) и использовать данные моделирования в картографировании явлений.
Велико значение программных систем, используемых в производстве карт. Цветоделение, расчет различных проекций и автоматический подбор лучшей для заданного участка местности, выбор оптимальной компоновки листа и оформления - вот далеко не полный список операций, производимых ПО уже в наше время и поднимающих технологию производства на качественно иной уровень.
Поэтому сегодня хорошо видно повышение роли человека-картографа в автоматизированных комплексах, где его труд применяется для решения каких-то принципиальных вопросов, а рутинные операции возлагаются на технику.
Контрольные вопросы :
1. Провести анализ современного состояния процесса автоматизации при создании цифровой топографической основы для автоматизированных информационных систем государственного кадастра недвижимости.
Глава
IV
. Технические и программные средства преобразования картографической информации в цифровую форму и ее обработки.
Описав общие особенности и принципы автоматизации в цифровой картографии, попытаемся сделать небольшой обзор конкретных технологических схем, предлагаемых сегодня производителями. Все они базируются на основе ГИС.
Сейчас широко распространено понимание того, что ГИС - это не класс или тип программных систем, а группа технологий, базовая технология ("umbrella technology") для многих компьютерных методов и программ, относящихся к работе с пространственными данными.
ГИС имеет тесные взаимосвязи (отчасти генетические) со многими типами программных средств. С одной стороны, это графические средства САПР, векторные графические редакторы, с другой - реляционные СУБД.
Данное обстоятельство объясняет, почему наряду с полностью самостоятельными системами существуют ГИС, базирующиеся на этих средства. Яркие примеры - MGE, корпорации INTERGRAPH, использующая графический редактор MicroStation и СУБД типа Oracle и ArcСAD (ESRI, Inc.), созданная на основе AutoСАD и внешней СУБД, совместимой с dBASE.
На современном рынке предлагаются ГИС практически для всех компьютерных платформ. В 1993 году число предлагаемых ГИС-пакетов составило около 400, с базовой ценой от $50 до $250,000. В основном цены колеблются в пределах от $400 до $60,000. Разумеется, в большинстве своем предлагаются специализированные системы, разрабатываемые мелкими фирмами. Реально на рынке полнофункциональных ГИС (full GIS) общего назначения серьезных игроков не так много - не более 20. В основном ПО для ГИС разрабатывают специализированные фирмы, только в некоторых случаях это продукты крупных фирм, для которых ГИС - не основной продукт (Intergraph, IBM, Computervision, Westinghouse Electric Corp., McDonnel Douglas, Siemens Nixdorf). По числу инсталляций и по числу известных пакетов резко преобладают ПК (MS-DOS, MS Windows) и UNIX рабочие станции.
Конечно, областью распространения полнофункциональных ГИС общего назначения сейчас в мире являются почти исключительно рабочие станции с UNIX. На ПК функционируют в основном системы с редуцированными возможностями (РС ARC/INFO) или даже не "full GIS", а продукты класса "desktop mapping" (типичный пример - MapInfo). Это определяется, отчасти, спецификой пользователей ПК, которые обычно являются конечными (а для них полноценная система может оказаться "тяжеловесной"). Но главная причина - требования к аппаратуре.
Серьезные проекты с использованием ГИС требуют работы с большими объемами данных - часто необходимо иметь диск емкостью не менее 1 Гбайт. При использовании в ГИС растровых изображений, их обработке требования к величине RAM, ее быстродействию еще более ужесточаются, т.к. требуется обработка в режиме, максимально приближенном к режиму реального времени.
Современные рабочие станции еще кое-как справляются с такой задачей, для ПК же она еще слишком трудна. Вот почему все известные ГИС-пакеты (Arc/Info, MGE и т.д.) в полном объеме функционируют пока только на станциях с RISC-архитектурой. Практически под "всеми известными ГИС" следует понимать как раз эти две (Arc/Info), т.к. при общем доходе от продаж ГИС в мире в 1993 году, составившим $46,000,000, доход ESRI (Arc/Info) составил $126,015,000 (27,10%), а INTERGRAPH (MGE) - $117,180,000 (25,20%). Для сравнения - доходы других компаний не составили >5,5%. Кроме продуктов, относящихся в той или иной степени к ГИС, существует рынок более простых и более специализированных систем, предназначенных исключительно для конвертирования растрового изображения в векторный формат. Следует отметить популярные пакеты I/RAS B, I/RAS C, I/RAS 32, I/GEOVEC, I/VEC (производимые Intergraph Corporation), OptiDRAFT Workstation и MAGNUS (производства Optigraphios Corporation), CADCore Hybrid и CADCore Tracer (Information & Graphios Systems, Inc.), GTX Raster CAD и Expert Conversion Series (GTX Corporation) и ScanEdit (SCAN-GRAPHICX, Inc.). Все фирмы, представленные здесь списком своих продуктов, отличаются стабильным финансовым положением, за исключением, может быть, GTX Corp., что гарантирует в будущем поддержку, сопровождение и модернизацию продуктов. Цены на предоставленные ПО находятся в пределах от $1,995.00 у GTX Raster CAD (программа интерактивной дигитализации для РС) до $15,000.00 у I/VEC (ПО автоматического преобразования, работающее в пакетном режиме, для Intergraph UNIX-workstation).
Это ПО способно выполнять гибридное растрово-векторное редактирование и дигитализацию в различных режимах (ручной, полуавтоматический, автоматический). Базируется в основном на РС и заметная доля на Sun SPARCstation. Среди других платформ - DEC, HP, RISC 6000.
Для рассмотрения остановимся подробнее на технологии фирмы INTERGRAPH, как одной из наиболее передовых фирм в области геоинформатики. Один из ключевых моментов этой технологии - преобразование исходных документов в растровую форму, попросту говоря - сканирование. В процессе работы сканера данные в форме изображения на документе преобразовываются в компьютерный файл, который может быть отредактирован, воспроизведен, передан по сети, отпечатан или архивирован. Сканерный механизм использует узкий пучок света для получения сканированного изображения, которое может представляться в цветном (чаще RGB), полутоновом (серая шкала) и бинарном виде. Но в процесс сканирования нужно также включить все возможные операции, вовлекаемые в перевод изображения на документе в компьютерный формат, пригодный для использования. А это, кроме непосредственно считывания информации сканирующим механизмом, процесс корреляции, квантования, сжатия, преобразования данных, их передачи в компьютер и, наконец, файловые манипуляции для создания соответствующего файла. Некоторые из этих операций выполняются аппаратно схемами, встроенными в сканер. Другие осуществляются чисто программным путем. Баланс между ними определяет стоимость и производительность системы, причем зависимость обратно пропорциональная. Ранние, а также более дешевые модели все операции, кроме, разве что, считывания светового сигнала и яркостной коррекции, проводимой для компенсации неоднородностей при освещении соседних элементов изображения, возлагали на компьютер, поглощая его вычислительные и другие ресурсы. Современные промышленные сканеры производства одного из подразделений Intergraph (ANA Tech), все операции по обработке совершают автономно, а в компьютер передают данные уже в формате записываемого файла. Таким образом, экономится место на диске - от единиц до нескольких тысяч мегабайт (в зависимости от размера документа, изображения на нем и режима сканирования). Уменьшается время на обработку документа, освобождается процессор, что очень важно в многозадачных средах и при работе компьютера в сети.
До недавнего времени все программные продукты фирмы INTERGRAPH, базировались только на своем "железе" (Intergraph UNIX-station), и только у I/RAS B существовали версии для РС и Sun. Однако, в настоящее время корпорация сделала ставку на процессоры Intel и ОС Microsoft Windows NT. Intergraph и дальше будет поддерживать и развивать приложения для ОС UNIX, но акцент будет перенесен на платформу Intel + Windows NT из-за присущего ей лучшего отношения цена/производительность.
Все приложения базируются на векторном графическом редакторе MicroStation. Более того, они выполняются в среде MicroStation и написаны на MDL, встроенном языке разработки приложений. MicroStation поддерживает наиболее совершенные сети, объединяя пользователей в DOS, Windows NT, Macintosh, UNIX и VAX. Пользовательский интерфейс удовлетворяет установленному Фондом Открытого Программного обеспечения (OSF) стандарту Motif. Плюс ко всему этот мощнейший в мире редактор может быть соединен такими мощными СУБД, как Informix и Oracle. Все это позволяет с легкостью строить сложные интегрированные системы, собирая, как бы из кубиков, необходимую конфигурацию из продуктов, исполняемых в единой среде. Спектр приложений, предлагаемых фирмой INTERGRAPH, покрывает весь набор задач, с которыми приходится сталкиваться, создавая и используя автоматизированную картографическую систему. Это приложения для ввода картографической информации в ЭВМ, трансформирования, управления и сложного анализа введенных данных, для обработки аэрокосмических изображений и для стереофотограмметрических измерений. Сюда можно включить пакеты для геодезии, а также специализированные приложения, ориентированные на издание карт и моделирование физических процессов природной среды.
Вообще преимуществом этой технологии является то, что все компоненты от необходимого оборудования (сканеры, дигитайзеры, вычислительные системы, др. периферия) до сервисных утилит производятся корпорацией INTERGRAPH, а поэтому не возникает проблем при интеграции этих компонентов друг с другом из-за несовместимости. При этом нет опасности монополии поставщика, так как большое число независимых фирм разрабатывает и предлагает аппаратные и программные продукты, совместимые с этой технологией.
Начиная с 1989 года MGE (Modular GIS Environment) - модульная ГИС-среда и программные продукты, примыкающие к ней, начинают добиваться на рынке больших успехов. MGE сегодня является самой распространенной интегрированной ГИС и сквозной производственной картографической системой в мире, имеющей в области картографической издательской деятельности свыше 100 клиентов в 25 странах.
Контрольные вопросы:
Современные технические средства базирования ГИС.
Программное обеспечение в современных ГИС-технологиях.
Глава
V. Схема дигитализации карт растровыми методами.
5.1. Ручная дигитализация.
Из всех методов дигитализации ручной возник самым первым, что является совершенно логичным следствием развития техники и технологии. Вместе с тем, он же является и наиболее употребимым в настоящее время. Правда, со времени своего возникновения эта технология претерпела некоторые изменения. В отличие от традиционного способа дигитализации при помощи физического устройства (дигитайзера) появился альтернативный способ, связываемый с некоей программой, позволяющей оцифровывать изображение, наблюдая его на экране. Благодаря чему эту программу часто называют "экранным дигитайзером", а всю схему обозначают термином "heads-up" (с поднятой головой).
По своей сути, не меняя весь смысл метода ручной дигитализации, этот способ добавил множество преимуществ. Перечислим основные из них. Первое - это то, что появилась возможность более точно наводиться на объект, так как появилась возможность увеличить масштаб изображения, т.е. как бы увеличить картинку, приблизить ее. Это кроме непосредственной выгоды дает и то, что теперь уменьшается нагрузка на зрительную систему оператора, т.к. с крупными объектами работать легче. А это уже в свою очередь уменьшает ошибки дигитализации, повышает производительность труда. Вторым преимуществом является возможность визуального контроля за выходной информацией, т.к. оператор может наблюдать след, оставляемый векторной линией, т.е. посмотреть, как точно получаемые вектора описывают исходное растровое изображение, выступающее в качестве подложки, путем одновременного совмещения их на одном экране или в окне.
Другие преимущества нельзя было бы отнести непосредственно к экранной дигитализации, как к методу цифрования, но некоторый анализ показывает, что часто это становится стандартными элементами "экранной" технологии. Речь идет прежде всего о функциональных возможностях программных средств, применяемых при работе.
Технологическая схема фирмы INTERGRAPH предполагает использование для такого вида работ продукт MicroStation I/RAS B. В этом случае создание самого векторного изображения происходит посредством базового графического редактора среды MS, а возможность работы с растром представляет пакет I/RAS B. Он позволяет загружать до 64 индивидуальных растровых файлов в качестве подложки и визуализировать их любым цветом из палитры в 254 цвета, а также отключать вообще.
После того, как необходимые файл или группа файлов загружены, оператор может начинать дигитализацию, пользуясь устройством ввода типа "мышь". Как и при работе с дигитайзером ввод информации осуществляется указанием вершин графических примитивов при непосредственно визуальном распознавании объектов, которые они описывают. Но если в первом случае такими объектами зачастую являются линия (отрезок) и общий случай полилинии (ломаной), то в последнем - существует большое число графических примитивов, ввод которых не возможен при использовании классического дигитайзера. Приведем несколько примеров.
При вводе полилинии можно указать, что угол между ее сегментами является фиксированной величиной и равен 90градусов, что очень часто требуется при оцифровке антропогенных объектов (контура зданий, кварталов в городах и т.д.). При оцифровке объектов, имеющих смежную границу, вновь изображаемая векторная линия может точно повторить другую, которая уже относится к какому-либо объекту посредством привязки ее вершин к вершинам уже существующей.
Количество примеров, конечно, не ограничивается только этими двумя, потому что базовый графический редактор среды MicroStation является одним из наиболее мощных векторных графических редакторов, применяемых в промышленности сегодня.
5.2. Интерактивная дигитализация
.
Дальнейшим развитием технологии дигитализации растровых изображений стало появление ПО, позволяющего работать в полуавтоматическом интерактивном режиме. Облегчая векторизацию линейных элементов карт, такие пакеты позволили увеличить скорость растрово-векторного преобразования и избавить человека-оператора от утомительной процедуры ручной дигитализации.
На сегодняшний день такие пакеты являются наиболее часто используемыми, благодаря своей универсальности. Большинство не предлагают аналогичные услуги, отличаясь интерфейсом, заложенными алгоритмами, точностью преобразования, способностью разбираться в сложных ситуациях и скоростью работы.
Таким продуктом из серии приложений, предлагаемых известной фирмой, является пакет I/GEOVEC. Его работа базируется на MicroStation и I/RAS B или I/RAS 32.
C его помощью можно, используя технику "heads-up digitizing", интерактивно вводить векторные данные поверх существующего растрового изображения. Для этого достаточно визуально идентифицировать растровый объект на экране и поставить первую точку рядом с ним. I/GEOVEC отслеживает растровую линию, пока она не закончится или он не достигнет точки, требующей дальнейших инструкций оператора.
Пользователь может установить параметры отслеживания для преодоления некоторых трудностей (разрывов в растре, пересечений с др. линиями, развилок, касаний контуров и наложений текста). Отслеженную линию можно подвергнуть фильтрации и сглаживанию для спрямления векторов с малым углом расхождения, удаления избыточных узлов и скругления резких перегибов. Эти операции также доступны, как постпроцесс, запускаемый в пакетном режиме. I/GEOVEC позволяет вводит криволинейные изображения объектов в 4 или 5 раз быстрее и более точно, чем при ручном методе.
Функция REVERS VIDEO позволит отслеживать не сам растр, а фон, считая его как бы изображением. Эта возможность не заменима при обработке дорог, которые изображаются двумя параллельными линиями.
Настроив параметр "величина разрыва в растре" и "угол обзора", можно заставить приложение отслеживать линии, состоящие из точек или штрих-пунктирные линии, что применимо при вводе контуров растительности и разнообразных границ. При встрече пересекающихся линий (развилок) есть возможность установить действие программы по умолчанию - останавливаться, поворачивать налево или направо, следовать прямо, присоединиться к пересекаемой векторной линии, присоединиться и разорвать пересекаемую векторную линию для создания узла.
Довольно уникальной для такого рода ПО является способность I/GEOVEC распознавать текст и одиночные условные знаки. Этот пакет увеличивает эффективность работы, расширяя набор инструментальных средств другими менее часто используемыми, но полезными функциями, ускоряющими процесс преобразования и позволяющими его контролировать.
В настоящее время существует версия только для UNIX(CLIX). В скором времени ожидается выход версии для другой известной ОС - Microsoft Windows NT.
5.3. Автоматическая дигитализация
.
Как известно, до сих пор не создано программы, позволяющей полностью в автоматическом режиме осуществлять ввод обычных топографических карт. Это происходит по целому ряду причин, здесь нами нерассматриваемых. Поэтому, говоря об автоматической дигитализации, следует сразу же оговориться, что речь идет о линейных элементах карт.
Уже из того, что речь идет об автоматической дигитализации, следует то, что программа должна работать в пакетном режиме. Отсюда получаем, что, скорее всего исходными данными для такой программы будут изображения с простой топологической структурой. Например, рисунок горизонталей. Причем эти случаи имеют место только в 10% всех задач дигитализации.
Для решения таких задач по векторизации растровых изображений INTERGRAPH п
- преобразование линейных растровых объектов в векторный формат в пакетном режиме;
- манипуляции с введенным изображением или указанной пользователем области;
- вывод полученных векторных данных по сети;
- функции постобработки: генерирование соединений векторных полилиний, сжатие данных, удаление висячих концов, заполнение разрывов, автоматическое обнаружение и коррекция ошибок, генерация очереди нерешенных проблем (предлагается пользователю);
- специальные параметры для обработки упакованных пакетов данных;
- миграцию отсканированных данных в другое Intergraph'овское картографическое ГИС приложение (MGE);
- экспорт в другие, стандартные для индустрии платформы САПР.
5.
4
. MicroStation MDL, как среда разработки пользовательских приложений
.
MicroStation - это векторный графический редактор и одновременно программная среда для исполнения и создания приложений. Она включает полный набор средств разработки, состоящий из компилятора, полностью поддерживающего стандарт ANSL, редактора связей, символьного отладчика и утилиту make.
Она имеет встроенный язык разработки приложений - MDL. Это полная реализация языка С внутри MicroStation. Фактически все функции MicroStation могут быть вызваны из MDL. Предлагаемый API обеспечивает доступ к более, чем 1000 функций для создания и модификации векторных данных. MicroStation является событийно-ориентированной программной средой, что требует принципиально нового подхода к программированию. Но, предлагаемый API, набор средств для создания элементов интерфейса (диалоговых окон, выпадающих меню, палитр кнопок с пиктограммным обозначением и т.д.), который выполнен в стандарте Motif, обеспечивает программистам создание приложений с укороченным циклом разработки.
Тесное соединение между MicroStation и приложениями, создаваемыми через MDL, означает, что программисты могут объединять свои команды прозрачно в среде MicroStation. Множественные MDL-приложения могут работать одновременно. Это позволяет разработчикам создавать интегрированные тесносвязанные решения прикладной специфики. MicroStation поддерживает наиболее совершенные сети и позволяет нескольким разработчикам работать над проектом одновременно. Пользователи DOS, Macintosh, UNIX, Windows NT и VAX операционных систем могут интерактивно разделять данные. Это возможно благодаря тому, что файлы данных MicroStation двоично совместимы между множественными платформами, допускающими передачу файлов без перекодировки.
Благодаря тому, что MDL - встроенный язык, а программа компилируется и собирается средствами, предлагаемыми разработчиками MicroStation, она практически получает аппаратную независимость. Т.е. может выполняться на всех типах вычислительных систем и в тех операционных системах, для которых доступна сама система MicroStation.
Контрольные вопросы:
Методы векторизации карт.
Программные продукты для векторизации картографических документов.
Пути расширения возможностей среды MicroStation/
Глава VI. Хранение и обработка кадастровой информации.
6.1. Основные понятия.
Эффективное использование цифровых данных предполагает наличие программных средств, обеспечивающих функции их хранения, описания, обновления и т.д. В зависимости от типов и форматов их представления, от уровня программных средств ГИС и некоторых характеристик среды и условий их использования могут быть предложены различные варианты организации хранения и доступа к пространственным данным, причем способы организации различаются для позиционной (графической) и семантической их части.
В достаточно простых программных средствах ГИС, отсутствуют специфические средства организации хранения, доступа к данным и манипулирования или эти функции реализуется средствами операционной системы в рамках ее файловой организации.
Большинство же существующих программных средств ГИС используют для этих целей достаточно изощренные и эффективные подходы, основанные на организации данных в виде баз данных (БД), управляемых программными средствами, получившими название систем управления базами данных
(СУБД). Под базой данных принято понимать “совокупность данных, организованных по определенным правилам, предусматривающим общие принципы описания, хранения и манипулирования данными, независимую от прикладных программ”, а под СУБД - “ комплекс программ и языковых средств, предназначенных для создания, ведения и использования баз данных”.
Современные коммерческие СУБД, в том числе те, что использованы в программном обеспечения ГИС, различаются по типам поддерживаемых моделей данных, среди которых выделяются иерархические, сетевые и реляционные и соответствующие им программные средства СУБД. Особое широкое применение при разработке программного обеспечения ГИС получили СУБД.
СУБД реляционного типа позволяют представить данные о пространственных объектах (точках, линиях и полигонах) и их характеристиках (атрибутах) в виде отношения или таблицы, строки которой - индексированные записи - соответствуют набору значений атрибутов объекта, а колонки (столбцы) обычно устанавливают тип атрибута, его размер и имя атрибута. В число атрибутов не входят геометрические атрибуты, описывающие их геометрию и топологию. Векторные записи координат объектов упорядочиваются и организуются с использованием особых средств. Связь между геометрическим описанием объектов и их семантикой в реляционной таблице устанавливается через уникальные номера - идентификаторы.
Удобство манипулирования данными в БД существенно зависит от языковых средств СУБД. Широкие возможности предоставляются пользователю СУБД, в которых реализован язык обработки запросов SQL, и его расширения, адаптированные к описанию пространственных запросов к БД ГИС и содержащие конструкции, включающие пространственные переменные и условия.
Одним из главных мотивов, определяющих необходимость использования технологии баз данных при создании ГИС в настоящее время, является поддержка современными СУБД сетевых возможностей хранения и использования технологий локальных сетей (LAN) и удаленных сетей в так называемых распределенных БД. Тем самым достигается оптимальное использование вычислительных ресурсов и возможность коллективного доступа пользователей к запрашиваемым БД.
6.2. Анализ данных и моделирование.
Блок анализа данных, являясь одним из трех крупных модулей ГИС (ввода, обработки и вывода), составляет ядро геоинформационных технологий, все остальные операции которых с некоторой точки зрения могут представляться сервисными, обеспечивающими возможность выполнения системой ее основных аналитических и моделирующих функций. Содержание аналитического блока современных программных средств сформировалось в процессе реализации конкретных ГИС, выкристаллизовавшись в форме более или менее устоявшегося набора операций или групп операций, наличие, отсутствие или эффективность (неэффективность) которых в составе данного продукта может служить надежным индикатором его качества.
Существуют различные классификации позволяющие сгруппировать элементарные операции аналитического характера или их последовательности в группы. Обобщая некоторые из них, и опираясь на состав и структуру аналитических модулей, можно выделить следующие их группы:
1.Операции переструктуризации данных.
2.Трансформация проекций и изменение систем координат.
3.Операции вычислительной геометрии.
4.Оверлейные операции (наложение разноименных и разнотипных слоев данных).
5.Общие аналитические, графо-аналитические и моделирующие функции.
6.3.Вывод и визуализация данных.
Результаты обработки данных, основные процедуры которой рассмотрены выше, покидая свою цифровую оболочку, должны трансформироваться в “человеко-читаемый” документ. Программные средства ГИС включают достаточно широкий набор средств генерации выходных данных.
Документы, генерируемые на выходе:
-табличные;
-графические;
-картографические.
К техническим средствам, используемых для генерации документов, принадлежат средства машинной графики, конвертеры данных, позволяющие преобразовывать данные из одних форматов в другие без потерь их геометрических и семантических атрибутов, графопостроители, графические дисплеи с высоким разрешением.
6.4. Классификация современных СУБД.
Классификация СУБД в соответствии с используемой моделью данных:
Иерархическая.
Сетевая.
Реляционная.
Объектная.
Гибридная (элементы объектной с реляционной).
В настоящее время самыми распространенными СУБД являются продукты использующие реляционную модель данных. Это связано с простотой понимания и лучшими характеристиками по сравнению с другими. В связи с этим остановимся на рассмотрение только реляционных СУБД (РСУБД).
Классификация РСУБД в зависимости от объема поддерживаемых БД и количества пользователей.
Высший уровень. Эти продукты поддерживают крупные БД ( сотни и тысячи Гбайт и более), тысячи пользователей. В крупных корпорациях. Представители: ORACLE7, ADABAS 5.3.2, SQL SERVER11.
Средний уровень. Эти продукты поддерживают БД до нескольких сот Гбайт, сотни пользователей. В небольших корпорациях и подразделениях крупных фирм. Представители: InterBase 3.3, Informix-OnLine7.0, Microsoft SQL Server6.0.
Нижний уровень. Эти продукты поддерживают БД до 1 Гбайт, менее 100 пользователей. В небольших подразделениях. Представители: NetWare SQL 3.0, Gupta SQL-Base Server.
Настольные СУБД. Для одного пользователя, используется для ведения настольной БД или как клиент для подключения к серверу БД.
Оценка современных СУБД на соответствие требованиям, предъявляемым к автоматизированным информационным системам кадастра.
Рассмотрим стандартные современные реляционные СУБД по каждому классу продуктов, основные возможности, которые они предоставляют. Произведем оценку их, в соответствии с требованиями предъявляемым системам автоматизации кадастрового учета.
Высший уровень :
Oracle7, corp. Oracle
Продукт этого класса обладает широким диапазоном функциональных возможностей, включая поддержку двухфазной фиксации, тиражирования данных, хранимых процедур, триггеров, оперативно резервного копирования. Он предназначен для организации оптимального использования системных ресурсов, что гарантирует максимальную расширяемость. Поддерживает БД, занимающие несколько физических дисков, хранение новых типов данных. Поддерживает почти все аппаратные и программные платформы существующие на сегодняшний день, а также протоколы передачи данных. Широко применяется во многих отраслях промышленности . Зарекомендовал себя с самой лучшей стороны. Хорошая поддержка со стороны производителя, corp. Oracle.
SQL Server 10, comp. Sybase
Мощный продукт, поддерживающий обработку в реальном времени и процессы решений. Одного уровня с Oracle7, но обладает некоторыми ограничениями в плане масштабируемости, поддерживает ограниченное число аппаратных и программных платформ.
Средний уровень :
Informix-OnLine 7.0, comp. Software
Данный продукт поддерживает такие современные технологии, как тиражирование данных, синхронизирующее распределенные БД, и большие двоичные объекты. Он может применятся для запуска OLTP-приложений (высокоскоростной обработки транзакций), но скорость обработки оказывается меньше, чем у продуктов верхней части рынка. Установка возможна на ограниченных количеств платформ. Имеет большие возможности для расширения.
Microsoft SQL Server 6.0, corp. Microsoft
Очень хорошая СУБД. Корпорация Microsoft разработала хороший продукт, который вписывается в общую концепцию компании, выпуская только интегрированные продукты. Эта СУБД интегрирована с Windows NT, дополняя ее. Недостатки: недостаточная масштабируемость, малое количество поддерживаемых программных платформ.
Низкий уровень
:
Так как каждая из них предоставляет похожий набор инструментов, то рассматривать каждое в отдельности не будем. В эту группу входят Cupta SQL-Base Server, Watcom SQL Network Server и другие. Они обладают ограниченными возможностями по сравнению с СУБД более высокого класса, но в небольших компаниях, где БД небольшие и количество пользователей ограничено несколько десятками людей, они прекрасно выполняют свои обязанности по управлению БД.
Настольные СУБД :
FoxPro
2.6, corp. Microsoft
Очень ограниченные возможности по обработке данных. Отсутствие возможности установки в сети. Предназначена личных дел. Не рекомендуется для использования в крупных системах. Отсутствует возможность защиты данных, управление доступом и многое другое.
Paradox 5.0, comp. Borland
В своем классе одна из лучших, однако ей присущи все недостатки настольных СУБД. Ограниченные возможности по применению. Удобный интерфейс.
Оценка современных СУБД
:
При использовании конкретной СУБД необходимо учитывать три ключевых фактора: в какой архитектуре клиент/сервер он будет работать, каким образом реализуются основные функции и каков уровень поддержки распределенных БД. В зависимости от этого надо делать свой выбор.
Среди представленных продуктов только Oracle7 наиболее полно поддерживает нужные требования. Ниже будут даны основные понятия о сервере Oracle7.
Контрольные вопросы :
Понятие СУБД.
Возможности СУБД.
Классификация СУБД.
Глава
VII
. СУБД ORACLE7 : общие положения.
Структура базы данных ORACLE7.
СУБД ORACLE7, в дальнейшем просто ORACLE7, имеет собственную модель реляционной базы данных - это хорошо определенная теоретическая модель работы и управления набором данных(который и составляет базу данных). Такая модель должна определять структуру данных, целостность данных и операции с данными.
Аналогично тому, как предприятие организует склад продукции, ORACLE7 структурирует базу данных логически и физически. Логическая структура базы данных ORACLE7 - это набор файлов операционной системы, в которых на диске хранятся биты и байты информации базы данных.
Таблицы: стандартные логические единицы хранения
ORACLE7 хранит и представляет все данные в таблицах. Таблица - это массив связанной информации, то есть записей данных, имеющих одинаковые атрибуты. Атрибутами таблицы являются ее столбцы, а записи данных образуют строки таблицы. Каждый столбец таблицы или атрибут содержит конкретный тип данных. Когда пользователь создает таблицу. он задает для каждого столбца метку и тип данных. ORACLE7 поддерживает множество различных типов данных например: char, number date, long и другие.
Табличные области и файлы данных: стандартные физические единицы хранения ORACLE7.
Когда пользователь создает новую таблицу он сообщает ORACLE7 где физически нужно хранить ее данные Пользователь делает это путем спецификации для новой таблицы табличной области Табличная область - это раздел илилогическая область памяти в базе данных непосредственно соответствующая одному или более физическим файлам данных после определения администратором табличной области в базе данных пользователи могут создавать в ней одну или более таблиц Табличная область - это логический раздел базы данных который отображается в один или несколько физических файлов Таким образом табличные данные в каждой табличной области отображаются в ее файлы данных.
Цепочка таблица - табличная_область - файл данных - это то что обеспечивает для ORACLE7 характеристики реляционной базы данных независимость от данных. После создания таблицы пользователем другие пользователи могут вставлять удалить или обновлять строки в таблице, указывая ее имя в операторе SQL . ORACLE7 берет на себя заботы по отображению запроса SQL в корректные физические данные диска.
Область SYSTEM
: табличная область для всех таблиц
Каждая база данных ORACLE7 имеет по крайней мере одну табличную область - область SYSTEM. При создании базы данных администратор задает для нее имена и размеры начальных файлов данных. Эти файлы образуют на диске физическую память для табличной области SYSTEM. ORACLE7 использует табличную область SYSTEM для хранения словаря данных. Словарь данных - набор внутренних системных таблиц, содержащих все виды информации о базе данных. Например: имеются таблицы словаря данных с информацией о таблицах табличных областях и файлах данных СУБД.
Для чего используются несколько табличных областей ? После создания базы данных ORACLE7 администратору обычно требуется создать другие табличные области Они используются для физического распределения данных для планируемой базы данных Это позволит хранить данные каждого приложения отдельно от данных других приложений. Причины заключаются в следующих обстоятельствах :
ORACLE7 позволяет администраторам управлять доступностью информации базы данных на основе табличных областей Таким образом они могут эффективно переводить приложения в автономное состояние, переводя в автономное состояние соответствующую табличную область (при этом ее таблицы становятся недоступными).
При разумном использовании табличных областей администраторы могут улучшить производительность приложений. Например, если администратор помещает файлы данных табличной области каждого приложения на разные диски сервера базы данных, то приложения не будут мешать друг другу при обращении к диску (не возникает конкуренции за доступ к диску и память на нем).
Рассмотрим некоторые компоненты системы базы данных ORACLE7.
Представления: способы просмотра данных
Когда пользователи работают с представлениями, они видят те же данные, что находятся в таблицах базы данных, но, возможно, в другой перспективе. Аналогично тому, как телескоп не содержит звезд, представление не содержит данных. Представление - это виртуальная таблица, данные для которой получаются из базовых таблиц
Представление можно рассматривать как хранимый запрос (оно определяется с помощью запроса). Например:
CREATE VIEW reorder AS
SELECT id, onhand, reorder FROM stock
WHERE onhand<reorder
Представление REORDER определяет оператор CREATE VIEW. Этот запрос соответствует только тем строкам в таблице STOCK, у которых текущее наличное количество меньше той точки, когда нужно заказывать новую партию товара.
Одно из основных правил реляционной модели заключается в том, что все данные нужно рассматривать как таблицы. Таким образом, представление обслуживает характеристики таблицы. Также как для таблицы, пользователи могут использовать для представления операторы SQL (но с некоторыми ограничениями). Конечно, представление получает свои данные из базовой таблицы. Когда пользователь запрашивает данные представления, вставляет их, удаляет или обновляет в представлении, ORACLE7 работает с данными таблицы. Но если вы точно не знаете, что это представление, его трудно отличить от таблицы.
Представление может использоваться для улучшения защиты, для вывода дополнительной информации, для сокрытия сложных запросов (конкретное использование рассматривается в специальной литературе).
Обеспечение целостности данных.
Очень важно, чтобы была обеспечена целостность информации базы данных, то есть чтобы данные были, согласно некоему набору правил, допустимыми. Реляционная модель описывает некоторые характерные правила, которые можно ввести для обеспечения в реляционной базе данных целостности данных. Это - ограничение домена, ограничение таблицы и ссылочное ограничение. Правила целостности поясняют следующие понятия.
Целостность домена: каждое значение поля должно быть элементом домена.
Целостность домена гарантирует, что база данных не содержит бессмысленных значений. Она обеспечивает то, что значение в столбце является элементом домена столбца, то есть допустимого множества его значений. Строка не будет включена в таблицу, пока каждое из значений ее столбцов не будет находиться в домене соответствующего столбца.
Задание целостности домена осуществляется с помощью типов данных. Запись данных не может быть включена в таблицу, пока данные в каждом столбце не будут иметь корректный тип.
Все типы данных ORACLE7 позволяют разработчикам описывать тот или иной тип столбца. Можно ввести дальнейшие ограничения домена столбца. Например, тип данных NUMBER позволяет определить точность (общее число значащих цифр) и масштаб (общее число цифр справа или слева от десятичной точки), и тому подобное (более полное описание можно получить в справочном руководстве).
Целостность вcей таблицы: обеспечение уникальности каждой строки.
Другим встроенным ограничением целостности данных является целостность всей таблицы, которая означает, что каждая строка в таблице должна быть уникальной. Если таблица имеет такое ограничение, то вы можете уникальной. Если таблица имеет такое ограничение, то вы можете уникально идентифицировать каждую ее строку .
Чтобы задать целостность всей таблицы, разработчик указывает в таблице столбец или группу столбцов, определяя их как первичный ключ. Уникальное значение первичного ключа должно содержаться в каждой строке таблицы. Неявно это означает, что каждая строка таблицы должна иметь первичный ключ, поскольку отсутствие значение, то есть NULL, не будет отличаться от других значений NULL.
Таблица может иметь только один первичный ключ. ВО многих случаях разработчикам требуется устранить дублирующие значения и из других столбцов. Для этого разработчик может выделить другой ключевой столбец - задать альтернативный или уникальный ключ. Как и в основном ключе, дублирующих значений в альтернативном ключе таблица содержать не может.
Ограничения целостности позволяют легко задать целостность таблицы, и всей базы данных в целом. Так как разработчики могут описывать стандартные правила целостности как часть определения таблицы, использовать такие ограничения целостности несложно. Приведем примеры операторов задающих ограничения целостности, на примере базы данных, состоящей из двух таблиц.
CREATE TABLE customer
(id NUMBER(5,0) PRIMARY KEY,
lastname CHAR(50) NOT NULL,
firstname CHAR(50) NOT NULL,
phone CHAR(20),
UNIQUE (lastname,firstname),
CHECK (state IN
(‘AL’,’AK’,’AZ’,’OH’,’SC’,’WV’))) --сокращенные названия штатов
CREATE TABLE orders
(customerid NUMBER(5,0) NOT NULL,
orderdate DATE NOT NULL,
shipdate DATE
status CHAR(1),
CHECK (status IN (‘F’,’B’)), --F—оплачено, В—долг
FOREIGN KEY (customerid) REFERENCES customer)
В данном примере ограничения NOT NULL, CHECK позволяют задать в таблице ограничения домена. Для определения первичного ключа и задания ограничений целостности таблицы разработчик должен описать целостность таблицы с помощью PRIMARY KEY. Для таблицы customer описывается также ограничение UNIQUE, которое обеспечивает уникальность имен/фамилий покупателей.
Ссылочная целостность: обеспечение синхронизации связанных таблиц.
Ссылочная целостность или целостность отношения - еще одно элементарное правило целостности реляционной модели. Ссылочная целостность определяет соотношения между различными столбцами и таблицами в реляционной базе данных. Такое название она получила, поскольку значения в одном столбце или наборе столбцов ссылаются на значения другого столбца или набора столбцов, либо должны совпадать с ними.
При описании ссылочной целостности встретятся новые термины. Столбец, от которого зависит другая таблица, называется внешним ключем. При этом другая таблица, называется родительским ключем (это должен быть первичный или уникальный ключ). Внешний ключ находится в дочерней или детальной таблице, а родительский ключ - в основной таблице.
Возможность связывать значения в различных таблицах и поддерживать отношения ссылочной целостности - это очень важная характеристика реляционных баз данных. Благодаря возможности связывания таблиц серверы реляционных СУБД могут очень эффективно хранить данные.
В приведенном выше примере с помощью ограничения целостности FOREIGN KEY задается ограничение ссылочной целостности , определяющего для таблицы внешний ключ. С помощью этого мы соединяем таблицу orders с родительской таблицей customer.
Деловые правила: специальные правила целостности данных.
До сих пор это были стандартные правила целостности данных, встроенные в реляционную модель данных. Однако в базе данных каждой организации определяется собственный уникальный набор деловых правил, не менее важных чем стандартный набор правил целостности данных. Например, администратор, отвечающий за вопросы защиты, может запретить изменение таблицы вне обычного рабочего времени либо получать значение столбца, когда пользователь вставляет или обновляет запись.
Для задания специальных правил ORACLE7 предлагает использовать хранимые процедуры или триггеры. Для полного представления о задании специальных правил надо обратиться к справочным материалам.
7.3. Управление доступом к данным в многопользовательской СУБД.
Так как к базе данных должны обращаться много пользователей, то СУБД должна обеспечивать множественный доступ к базе данных. К сожалению, однопользовательские СУБД не подходят для коллективной работы. Рассмотрим проблему взаимного влияния на примере картотеки. Вы хотите использовать ту же информацию с которой в данный момент работает кто-то еще. Если вы хотите увидеть результаты работы другого пользователя, то придется подождать. Если же эти результаты на вашу работу не повлияют, вы можете скопировать данные. Возникает неудобство. Картотека иллюстрирует проблемы параллельного доступа, возникающие при попытке нескольких пользователей одновременно работать с базой данных.
В многопользовательских СУБД говорят о проблеме конкуренции — попытках многих пользователей одновременно выполнять операции с одними и теми же данными. Фактически, задача обеспечения параллельного доступа к данным — одна из наиболее важных и наиболее очевидных задач сервера базы данных. Сервер базы данных должен управлять информацией таким образом, чтобы при сохранении целостности данных пользователи ожидали выполнения работы другими пользователями минимальное время. Если сервер базы не может удовлетворить одну из этих целей, то пользователи сразу заметят последствия. Когда многие транзакции конкурируют за одни и те же данные, то пользователи столкнутся с плохой производительностью или получат неточные результаты.
Это проблемы, но ORACLE7 решает эти проблемы. Рассмотрим как это он делает.
Предотвращение разрушающих взаимных влияний с помощью блокировок данных.
Когда две конкурирующие за одни и те же данные операции вмешиваются в работу друг друга, это может привести к неточным результатам или потере целостности данных. Это называется “ разрушающее взаимное влияние”. Для предотвращения таких ситуаций при одновременном доступе пользователей к данным применяются блокировки. Аналогично тому как “вертушка” в проходной не позволяет проходить через нее одновременно двоим, блокировка данных предотвращает в многопользовательской СУБД разрушающее влияние. Существуют исключающие и разделяемые блокировки.
Заперев ячейку камеры хранения на вокзале, вы получаете на нее исключительное право. Никто не сможет в нее положить, пока вы ее не освободите. Если же вы хотите, чтобы этой ячейкой воспользовался ваш знакомый, то сообщаете шрифт. Аналогично блокирует данные и ORACLE7.
Когда пользователь пытается выполнять операции с данными, с которыми работает кто-то еще, ORACLE7 автоматически их блокирует и предотвращает возможность разрушающего влияния. Если это возможно (то есть не приведет к разрушающему влиянию), всегда использует разделяемую блокировку. Однако, если такая блокировка оставляет возможность разрушающего влияния, устанавливается исключающая блокировка запрашиваемых вашей транзакцией данных. Исключающая блокировка предотвращает возможность блокировать те же данные с помощью блокировки любого типа и за счет устранения параллельного доступа к одним и тем же данным обеспечивает их целостность.
Получение точных данных при высокой степени доступа: запросы, согласованное чтение и поддержка версий.
Предыдущие примеры показывают, как Огасlе7 для одного и того набора данных обрабатывает две различные транзакции обновления. А что происходит в случае запросов, содержащих только операции чтения? Как Огaсlе7 обрабатывает конкурирующие запросы и запросы с операциями обновления, возвращая точные результаты ?
В зтих ситуациях Оraсlе7 использует следующий подход. Во-первых, транзакция не требует блокировки строк для любого типа запросов. Это означает , что две транзакции могут давать одновременно в точности один и тот же запрос без какой-либо конкуренции за один набор строк. Отсутствие блокировок чтения означает также, что такой запрос не может блокировать обновления и наоборот.
Как же Огасlе7 возвращает точные результаты, если он не устанавливает блокировки для запросов? Можно было бы полагать, что без блокировки строки для запросов конкурирующее с запросом обновление может дать для запроса неточный набор результатов.
Огасlе7 может обойтись без блокировок строк для запросов при сохранении точности результатов благодаря механизму выделения версий. Для каждого запроса ORACLE7 возвращает затребованную версию данных на текущий момент времени. На момент получения запросы Огасlе7 обеспечивает согласованность каждой строки в результате запроса.
Сегменты отката.
Используя хранимые в сегментах отката данные, Огасlе7 может создавать для запроса согласованные по чтению копии (наборы результатов) данных. Сегмент отката (или сегмент отмены транзакций) — это область памяти на диске, которую Оraclе7 использует для временного хранения старых значений данных, обновляемых транзакцией удаления или обновления строк. Если пользователь отменяет транзакцию, то Оraclе7 считывает присвоенный транзакции сегмент отката и возвращает измененные ею строки в исходное состояние. Кроме того, Оrасlе7 использует сегмент отката в механизме выделения версий. Если запросу требуются данные, которые в процессе его выполнения изменяются, то Оrасlе7 с помощью данных сегмента отката генерирует согласованный по чтению копию данных (заданный момент времени). Все это происходит автоматически.
При обеспечении параллельного доступа множества пользователей и приложений к одной базе данных при адекватной производительности системы и полной точности разработчики могут не беспокоиться о сложных механизмах блокировки и ведения версий. Однако, если они хотят выжать из производительности приложения все возможное, то Оrасlе7 предусматривает средства управления, переопределяющие применяемые по умолчанию механизмы блокировки.
Обеспечение защиты данных.
Неужели кто угодно может войти в базу данных Оrасlе7 и начать использовать данные, читать табличную информацию и модифицировать ее? Конечно, нет! Если бы это было так, то пользователи могли бы видеть данные, которые для них не предназначаются (такие как заработная плата их начальника), а злоумышленники могли бы легко стереть или изменить данные по своему усмотрению (например, повысить зарплату самим себе). Одной из обязанностей сервера базы данных является обеспечение защиты всей информации СУБД. Независимо от того, хотите или нет защитить свои данные от глаз неуполномоченных пользователей или злоумышленников, защита является важной функцией базы данных. Для обеспечения защиты Оrасlе7 использует систему выборочного управления доступом зто означает, что администратор присваивает пропуска для всех зарегистрированных в базе данных пользователей и дает им полномочия на выполнение в базе данных конкретных операций с конкретными данными. Различные методы управления защитой Оraclе7 описываются в следующих разделах.
Предоставление пользователям доступа к базе данных.
Доступ к базе данных Огасlе7 очень напоминает доступ к телефонной банковской системе. Во-первых, вам нужно получить общий доступ к базе данных. Чтобы предоставить кому-либо доступ к базе данных Оraclе7, администратор должен зарегистрировать его и создать в базе данных нового пользователя (определив его имя). Для обеспечения защиты доступа пароль должен соответствовать имени этого нового пользователя. Для подключения к базе данных пользователь должен ввести и имя, и пароль. Нового пользователя создает, например, следующий оператор SQL:
CREATE USER safеdorow IDENTIFID BY p1e
Как показывает этот пример, администраторам следует выбирать осмысленные имена пользователей (например, объединив имя и фамилию). Однако пользователи должны выбирать сложные и не несущие никакого смысла пароли. Это затруднит их определение злоумышленниками.
После получения пользователем доступа к базе данных Оraclе7 операции его в этой СУБД ограничивают другие средства контроля доступа.
Расширение и ограничение полномочий.
Как и в случае круглосуточной телефонной банковской системы, вы можете выполнять лишь ограниченные операции. Например, вы можете проверить свой чековый и накопительный счет, но не можете сделать это для счетов других пользователей. То есть вы имеете полномочия только на просмотр информации, относящейся к вашим счетам.
Система защиты Оraclе7 очень напоминает защиту телефонной банковской системы. Администратор может управлять всеми операциями с базой данных и доступом к данным, в том числе тем, какие пользователи могут создавать таблицы и представления, какие—создавать и модифицировать табличные области, а какие — считывать и модифицировать различные таблицы и представления базы данных. Это делается путем предоставления и отмены различных полномочий или прав доступа. Приведем примеры применяемых для этого команд SQL GRANT и REVOKE:
GRANT CREATE SESSION, CREATE TABLE TO safd
REVOKE CREATE TABLE FROM allin
Оператор GRANT дает пользователю SAFD полномочия на подключение к базе данных (то есть на инициализацию сеанса с базой данных) и создание таблиц. Оператор REVOKE отменяет полномочия пользователя ALLIN на создание таблиц.
Огас1е7 имеет два широких класса полномочий, о которых рассказывается в следующих двух разделах: полномочия на объекты и системные полномочия.
Системные полномочия: управление расширенными системными операциями.
Системные полномочия — это расширенные и мощные полномочия, которые дают пользователю право на выполнение операции в масштабе базы данных. .Приведем пример:
Пользователь с системными полномочиями ALTER DATABASE может изменять физическую структуру базы данных, добавляя к ней новые файлы.
Пользователь с системными полномочиями DROP TABLESPACE может удалять любую табличную область (за исключением табличной области SYSTEM).
Пользователь с системными полномочиями SELECT ANY TABLE может опрашивать любую таблицу базы данных.
Это лишь некоторые из множества системных полномочий Oracle7. Поскольку системные полномочия — это очень широкие полномочия, администраторам следует предоставлять их только другим администраторам.
Полномочия на объекты базы данных: управление доступом к данным.
Полномочия на объекты управляют работой базы данных с конкретным ее объектом. (Объект — это нечто, находящееся внутри базы данных: таблица, представление, роль, процедура, пользователь и т.д.). Например, администратор может управлять тем, кто опрашивает таблицу CUSTOMER. Для этого он предоставляет полномочия SELECT на эту таблицу только конкретным пользователям. Существуют и другие полномочия на объекты, о которых можно получить информацию в руководстве по применению Оracle7.
Управление защитой с помощью ролей.
Управление защитой в большой базе данных клиент/сервер — сложная задача. Множество работающих в системе полномочий и пользователей могут требовать обозначений конкретных полномочий. При отсутствии административного инструментального средства управление защитой может стать настоящим кошмаром. К счастью, Оracle7 предлагает решение, облегчающее управление полномочиями в большой и сложной системе клиент/сервер, — это роли. Роль представляет собой набор соответствующих полномочий, которые администратор может коллективно предоставлять пользователям и другим ролям. С помощью ролей администратор может значительно упростить управление полномочиями.
Простое управление полномочиями — это не единственное преимущество использования ролей. Возможно, более важно то, что разработчики могут применять роли для динамического изменения домена (текущего набора) полномочий пользователей при работе их с различными приложениями. Путем простого разрешения соответствующей роли при запуске приложение может гарантировать, что все его пользователи будут иметь корректный домен полномочий.
Схемы в Oracle7.
При работе с Oracle7 вы часто будете сталкиваться с термином “схема”. Это слово может иметь самый разный смысл. Аналогично тому как администраторы могут физически организовать таблицы Oracle7 с помощью табличных областей, логически они организуют таблицы и представления реляционной базы данных с помощью схем. Схема - это логический набор родственных таблиц и представлений, а также всех других объектов базы данных. Например, при добавлении к СУБД клиент/сервер нового приложения администратору для организации таблиц и представлений, которые будет использовать приложение, следует создать новую схему. На рис.4 показано приложение для учета продаж.
Oracle7 на самом деле схемы базы данных не реализует. Просто администратор создает нового пользователя базы данных, который в свою очередь эффективно порождает заданную по умолчанию схему базы данных. При создании пользователем базы данных нового представления или таблицы этот объект по умолчанию становится частью схемы. Фактически, с учетом схем базы данных вы можете сказать, что пользователь владеет всеми объектами в своей заданной по умолчанию схеме. Реляционные СУБД с более продвинутой реализацией схемы позволяют пользователям переключаться между заданной по умолчанию схемой и другими схемами базы данных и выполнять различные операции, соответствующие текущей схеме. Возможно, в будущих версиях Oracle такие средства будут реализованы.
Обеспечение доступности необходимых пользователям данных.
В любой компьютерной программе пользователь не сможет получить доступ к файлу, пока не запустит экземпляр открывающего этот файл приложения. Например, чтобы открыть созданный с помощью текстового процессора отчет, пользователю сначала нужно запустить этот текстовый процессор, а затем открыть в нем файл отчета. Как поясняется в следующих разделах, работа в СУБД Oracle7 в чем-то аналогична.
Управление общей доступностью базы данных при запуске и останове.
Как и при запуске многопользовательской ОС, в Oracle7 никто не может использовать данные, пока администратор не запустит сервер и не сделает базу данных доступной. Это требует нескольких шагов. Во-первых, администратору нужно запустить экземпляр базы данных. Экземпляр—это набор буферов памяти (временных кэш-буферов данных в оперативной памяти компьютера) и процессов ОС (планируемых ОС задач или заданий), совместно обеспечивающих множественный доступ к базе данных Oracle7 . В ходе выполнения фазы запуска базы данных Oracle7 открывает различные файлы, необходимые для того, чтобы сделать базу данных доступной.
Чтобы база данных стала недоступной для обычных пользователей, администратор ее закрывает, размонтирует, отсоединяя от экземпляра, а затем останавливает экземпляр. В процессе останова Oracle7 закрывает составляющие базу данных файлы ОС. Сервер базы данных Oracle7 выполняет запуск экземпляра, чтобы сделать систему доступной для использования, и останавливает его, чтобы перевести ее в автономное состояние.
После запуска администратором экземпляра базы данных и ее открытия привилегированные пользователи могут подключиться к базе и создать новый сеанс. Сеанс с базой данных можно рассматривать как время, прошедшее между подключением пользователя к экземпляру базы данных и отключением от него. Сеанс в базе данных аналогичен сеансу у врача — когда вы входите в кабинет, сеанс начинается, а когда выходите — заканчивается.
Файлы параметров и запуск экземпляра.
Каждый раз, когда администратор начинает новый сеанс, Oracle7 для настройки конфигурации нового экземпляра считывает файл параметров инициализации. Например, администратор может установить разные параметры для управления размером буферов памяти экземпляра.
Управление частичным доступом к базе данных с помощью оперативно доступных и автономных табличных областей.
Администратор может также управлять доступностью информации в открытой базе на базе табличных областей. Если табличная область оперативно доступна, то привилегированные пользователи могут опрашивать и модифицировать таблицы в табличной области, Однако, если табличная область находится в автономном состоянии, использовать данные в табличной области не может никто.
Управление доступностью табличной области Oracle7 может оказаться для многих административных операций весьма полезным.
Если все табличные приложения находятся в табличной области, то администратор может эффективно остановить приложение, переведя его табличную область приложения в автономное состояние.
Предположим, что табличная область содержит архивные данные, полезные лишь в очень редких случаях, а администратору понадобилась память на диске для хранения данных других табличных областей. Чтобы освободить на диске некоторое место, администратор может перевести табличную область с архивными данными в автономное состояние, а затем удалить с диска архивные данные. Администратор должен позаботиться о том, чтобы создать резервные копии файлов данных автономной архивной табличной области и сохранить их в надежном месте. Освободившееся на диске место он может использовать для хранения информации других табличных областей.
Администраторы СУБД Oracle7 должны быть единственными пользователями, управляющими доступностью базы данных и ее табличных областей.
7.6. Архивация и восстановление данных.
Вероятно, каждому из нас приходилось терять важный файл. Случайности и ошибки неизбежны, поэтому администратору нужно быть готовым к тому, чтобы восстановить данные. Следующие несколько разделов познакомят читателя с различными механизмами защиты, встроенными в сервер базы данных Oracle7
Защита транзакций: журнал транзакций.
В журнале полетов коммерческого авиалайнера записывается все, что происходит во время полета в кабине пилотов. Почти не поддающаяся разрушению маленькая коробочка (“черный ящик”) регистрирует информацию на случай авиакатастрофы. После катастрофы его можно исследовать и выяснить причину. Oracle7 также ведет журнал, где регистрируются происходящее в базе данных изменения. Каждый раз, когда SQL-оператор вносит изменение в базу данных, Oracle7 записывает его в журнал транзакций (который называется также журналом отмены). Если пользователь завершает транзакцию, Oracle7 немедленно записывает данные в журнал, подтверждая, что транзакция и ее изменения стали постоянными.
Oracle7 использует журнал транзакций для восстановления в случае разных сбоев. Например, если во время работы экземпляра базы данных происходит сбой питания, а Oracle7 еще не записал файлы данных (то есть некоторые несохраненные данные), не беспокойтесь. При следующем запуске экземпляра Oracle7 автоматически выполняет восстановление базы данных в то состояние, которое она имела в результате последней завершенной транзакции перед сбоем. Для восстановления потерянных транзакций Oracle7 применяет изменения, зарегистрированные в журнале транзакций.
О том как Огасlе7 в случае серьезных сбоев использует журнал транзакций, архивные файлы данных и сегменты отката, рассказывается ниже в разделе “Восстановление базы данных”. Но сначала расскажем немного о журнале транзакций.
Структура журнала транзакций.
Журнал транзакций базы данных содержит две или более группы файлов регистрации фиксированного размера или членов группы, которые Oracle7 использует для физического сохранения изменений в базе данных. Физическая структура типичного журнала транзакций базы данных иллюстрируется рис.5 Журнал транзакций может иметь две (или более) группы. После того как транзакции заполняют одну группу, Oracle7 для продолжения регистрации происходящих в базе данных изменений переключается на следующую доступную группу. Тем временем Oracle7 автоматически архивирует (создает резервные копии) заполненные группы транзакций. Причем это делается параллельно, не оказывая влияния на текущий процесс транзакций. Повторное циклическое использование групп транзакций позволяет Oracle7 отвести для журнала транзакций небольшую фиксированную область диска. В результате архивации заполненных групп транзакций создается постоянный автономный журнал последовательных транзакций.
Поскольку механизм восстановления является жизненно важным компонентом Oracle7 , сам он также имеет средства защиты. Для защиты от единичного отказа, например, сбоя диска, администратор может задать зеркальное отображение групп журнала (групп регистрации) путем создания группы с несколькими членами, которые физически помещаются на разные диски. Oracle7 регистрирует транзакции в зеркально отображаемых группах, записывая изменения параллельно во все файлы группы. Если диск выходит из строя, один из файлов группы на поврежденном диске становится недоступным. Однако Oracle7 это не останавливает: он продолжает регистрировать изменения в других, неиспорченных, файлах текущей группы регистрации.
Архивация базы данных.
С учетом возможных проблем, подобных сбою диска, его форматированию или удалению файла, администратору требуется для восстановления базы данных не только журнал транзакций, но и физические копии, составляющих базу данных, файлов.
Архивация файлов данных.
Файлы данных Oracle7 содержит все табличные данные СУБД. Когда пользователь модифицирует данные в таблицах или добавляет к базе данных новые объекты, Oracle7 для регистрации этих изменений обновляет файлы данных. Администратор может регулярно сохранять файлы данных, поддерживая их относительно свежие копии. Для сохранения файлов данных Oracle7 предоставляет администратору несколько возможностей. Простейшая из них — это копирование всех файлов после закрытия базы данных. Однако для многих систем требуется непрерывное функционирование. Остановка базы данных для регулярного выполнения архивации в этом случае неприемлема. Для таких требующих постоянного доступа систем средство архивации оперативной доступной таблицы Oracle7 позволяет копировать файлы данных во время работы и использования СУБД.
Архивация других файлов.
Кроме файлов данных и файлов журналов всегда следует иметь копию файлов параметров базы данных. Архивировать следует и управляющий файл базы данных. Это маленький файл, который Oracle7 использует для отслеживания физической структуры базы данных, сохранения имен всех файлов данных и журналов и текущей последовательности регистрации в журнале транзакций. Oracle7 использует управляющий файл при запуске базы данных для идентификации данных СУБД и файлов журналов. При восстановлении он управляет применением транзакций групп регистрации. Аналогично группам регистрации Oracle7 позволяет администратору конфигурировать для зеркального отображения и защиты от единичного сбоя всю базу данных. Однако сохранять копию управляющего файла базы данных необходимо также при каждом изменении ее физической структуры (например, добавлении нового файла данных или журнального файла), так как в случае сбоя все копии управляющего файла могут запортиться.
Восстановление базы данных после сбоев диска.
Хорошо, если никто случайно не отформатирует жесткий диск и не испортит его, повредив базу данных Oracle7. Но если такая неприятность случится, администратор может восстановить базу дынных, сохранив всю работу. Посмотрим, как это делается:
Администратор при необходимости исправляет проблемы с аппаратурой (например, заменяет неисправный жесткий диск новым).
Администратор восстанавливает испорченные файлы данных, копируя их последние архивные копии и, при необходимости, восстанавливая на любом доступном диске архивные группы регистрации транзакций.
Администратор запускает процесс восстановления, включая восстановление с применением транзакций и восстановление с отменой. Восстановление с применением означает применение к архивным копиям испорченных данных необходимых групп журнала транзакций. Восстановление с отменой предусматривает отмену незавершенных транзакций, оставшихся после восстановления с применением.
После того как администратор закончит процесс восстановления, Oracle7 оставляет базу данных в согласованном (в смысле транзакций) состоянии — в том состоянии, в котором она была после последней сохраненной транзакции.
Мы рассмотрели описание структуры БД Oraсle7, важные моменты работы сервера (создание и администрирование БД). Для того, чтобы больше узнать о работе сервера Orakle7, необходимо обратиться к книге Стива Бобровски “Oraсle7. Вычисления. Клиент/сервер”, а также к технической документации по работе сервера БД Oraсle7.