Реферат на тему:
Технологія MPEG-4
Кінематографія по праву вважається одним із найвидатніших відкриттів людства в області мультимедіа-технологій. Перші відкриття в цій області належать Вільяму Діксону (1889 рік). Він досяг відтворення коротких "відеороликов" шляхом зміни статичних зображень із звуком, що навряд чи можна було назвати синхронізованим. Начальник Діксона, Томас Едісон, не оцінив цей винахід через низьку, на його думку, якість звука і зображення та швидкого зносу устаткування. Повноцінного розвитку кінематографія набула лише через 40 років.
Але навіть у наші дні, в епоху революції в області мультимедіа- і Internet-технологій, і незважаючи на свою масовість і глобальність, кінематографія має надзвичайну подібність із невдалим проектом Діксона. Інші популярні засоби комунікації (мобільний зв'язок і т.п.) також не могли повною мірою вирішити проблему ефективної передачі графічної інформації. Сьогодні, завдяки MPEG-4 (так був названий новий стандарт, що викликав революцію у сфері мультимедіа), проект багаторічної давнини був, нарешті, реалізований.
Новий стандарт розроблявся протягом п'яти років групою фахівців Moving Picture Experts Group (MPEG) на базі Міжнародної Організації по стандартизації (ISO) у Женеві. Дослідження проводилися на базі самого сучасного цифрового устаткування. Відеозображення і звук, записані по новій технології порівнянні по якості з їхніми копіями, згенерованими комп'ютером. Новий формат запису звукової інформації дозволяє досягти якості відтворення рівня компакт-дисків поряд із прийнятною швидкістю передачі даних, а, при необхідності, досягти оптимального балансу якості і швидкості відтворення.
З появою MPEG-4 програми відтворення графічних і звукових даних перестали бути "пасивними". Високий рівень "інтерактивності" сучасних аудіовізуальних систем дозволяє користувачу без зайвих зусиль зупинити або ж запустити відтворення відео. Можливості MPEG-4 дуже різноманітні: вони дозволяють користувачу маніпулювати об'єктами, отриманими як із так називаних природних джерел, таких як реальне відео, так і із синтетичних джерел (систем комп'ютерного проектування або комп'ютерної мультиплікації). Користувач може редагувати окремі кадри шляхом видалення або додавання окремих об'єктів, переміщення об'єктів і навіть управляти їхньою поведінкою (наприклад, кліком мишкою на об'єкті можна змусити його обертатися).
Мабуть, основна вимога до механізму MPEG - забезпечення його надійності. Для цього були розроблені уніфіковані (і, одночасно, забезпечуючі високу якість) аудіо- і відео кодери та декодери, доступні в Internet і призначені для запобігання конфліктів при використанні інших форматів. Таким чином, користувачу доводиться вибирати з безлічі форматів відео: QuickTime корпорації Apple Corp., AVI корпорації Microsoft або, наприклад, RealVideo компанії RealNetworks Inc., і ще більшої кількості аудіоформатів.
Крім того, для оптимізації роботи через Internet стандарт дозволяє працювати навіть при низькій швидкості передачі даних та на безпроводних пристроях. Таким чином, у залежності від якості з'єднання і трафіку забезпечується різна швидкість доступу до інформації. Для цього MPEG-4 підтримує можливість одноразового кодування з наступним відтворенням із різною якістю і на різній швидкості передача даних, у залежності від термінального устаткування.
З іншого боку, цю перевагу можна розглядати як погляд у майбутнє, коли телебачення поряд із звичайним віщанням дозволить приймати інформацію від інтерактивних цифрових джерел. Тому MPEG-4 уже передбачає засоби повної інтеграції радіомовної інформації з високоякісними інтерактивними об'єктами MPEG. У перспективі розглядається забезпечення доступу до радіомовної інформації через глобальну мережу. Однак, тут виникає ще одна проблема - неуніфікованість формату Web-ресурсів.
У останні роки дуже популярним стало отримання з Internet цифрових копій аудіоінформації, що дуже негативно відбилося на музичній індустрії. Після появи MPEG-4 і в результаті постійного зниження цін на цифрові пристрої та ж доля почала осягати і відео. У зв'язку з цим для розробників MPEG виникла чергова задача - забезпечення захисту інтелектуальної власності.
Часу на відпочинок немає!
Чи не прийшов ще час для нового стандарту аудіо- і відеоінформації? Відповідь на це питання дає сама історія форматів MPEG. Дебютувавши у 1992 році формат MPEG-1, дотепер широко використовується в країнах Далекого сходу. Це був повноцінний цифровий відеопрогравач що відтворював аудіо- і відеоінформацію в лінійних потоках, забезпечуючи принцип доступу подібний звичайному відеомагнітофону. (Так зване аудіо і видео на рухомій магнітній стрічці. Для його відтворення не потрібно повне попереднє завантаження усього вмісту магнітного носія, програвання робиться паралельно зі зчитуванням і декодуванням.)
У 1995 році був розроблений MPEG-2, поданий як формат для стиску і передачі цифрових телевізійних сигналів (для запису DVD-дисків також використовується кодування MPEG-2.) Однак, незважаючи на те, що нова технологія могла використовуватися як для керування потоками із серверу так і для одержання радіомовної інформації, вона, як і попередня, була лінійною, тобто її інтерактивність обмежувалася стандартними операціями: прискореним або уповільненим відтворенням.
Незабаром з'явився MPEG-4 із його багатофункціональністю і міццю, в основу якого лягла об'єктно-орієнтована модель.
Переваги об'єктної моделі
Якщо провести аналогію з хімією, на атомарному рівні аудіо- і відеокомпоненти MPEG-4 подані як об'єкти. Ці об'єкти можуть існувати незалежно один від одного, можуть групуватися, формуючи аудіовізуальні конструкції вищого рівня. Таке угруповання називається композицією, результатом якого є сцена (кадр). Перевага такого так називаного об'єктно-орієнтованого підходу в можливості маніпулювання будь-яким аудіо- або відеооб'єктом.
Візуальні об'єкти сцени визначаються їхніми координатами в дво- або тривимірному просторі. За аналогією, аудіооб'єкти містяться в звуковому просторі. При розміщенні в просторі об'єкти визначаються тільки один раз. Всі подальші операції й обчислення про зміні стану об'єктів виконуються локально, тобто на терміналі користувача. Це дуже істотно, особливо в тих випадках, коли потрібно одержати високу швидкість обробки при обмеженій швидкості передачі даних.
Мова, що описує стан об'єктів MPEG-4 і їхні динамічні зміни, називається BIFS (Binary Format for Scenes). За допомогою команд цієї мови можна не тільки добавляти або видаляти об'єкти зі сцени, а і змінювати їх візуальні і звукові характеристики незалежно одна від обної.
Команди BIFS можна використовувати для створення анімації шляхом визначення поведінки об'єкта в залежності від дій користувача, оброблених декодером. За допомогою цієї мови можна створювати навіть інтерактивні прикладні програми або, наприклад, використовувати вміст вікна програми (приміром, Web-браузера) у якості текстури сцени.
Багато концепцій BIFS запозичені з Мови Моделювання Віртуальної Реальності (Virtual Reality Modeling Language - VRML), що широко використовується для опису тривимірних об'єктів і керування ними в Internet-програмах. У принципі BIFS і VRML можна розглядати як різні формулювання одної концепції. У мові VRML всі об'єкти й операції над ними, як і в будь-якій мові високого рівня, подані в текстовому виді. У BIFS використовується двійкове представлення, що дозволяє зменшити програмний код приблизно в 10-15 разів.
Основна відмінність BIFS, використовуваного в MPEG-4, від VRML - обробка в реальному часі. Це означає, що для відтворення сцени не потрібно її повне завантаження, оскільки обробка робиться "нальоту". Крім того, мова BIFS дозволяє описувати двовимірні об'єкти, такі як лінії і прямокутники, що неможливо в VRML. (При спільній роботі над MPEG-4, MPEG і Web 3-D Consortium паралельно вели роботу над VRML.)
Згортання даних
Подання мультимедіа-інформації у форматі MPEG-4, принципово нове і багатофункціональне, мабуть, повинно містити засоби для підготовки цієї інформації до транспортування або збереження (а, можливо, і декодування). Для цього всі об'єкти містяться в так звані елементарні потоки (elementary streams - ESs). Деякі об'єкти, такі як звукові треки або відео, можуть мати тільки один такий потік. Інші можуть мати два і більш елементарних потоки. Приміром, якийсь масштабований об'єкт може мати ES, призначений для збереження базової інформації (найгірша якість), і один або більш додаткових рівнів, кожний із який буде мати свій ES з інформацією, що поліпшує якість (відео з більш докладною деталізацією або прискореним режимом відтворення).
Інформація на кожному наступному більш високому рівні (визначення даних за допомогою BIFS, коригування і розміщення медіаоб'єктів) обробється у власному окремому потоці ES. У цьому знов виявляється перевага ієрархічної, об'єктно-орієнтованої моделі MPEG-4. Це значно полегшує розробку нових продуктів при повторному використанні вже наявного об'єкта, оскільки в цьому випадку зміна самого об'єкта не вимагається. Припустимо, що окремі частини сцени повинні використовуватися тільки у певних випадках. Тоді (якщо забезпечена достатня швидкість передачі даних), для представлення однієї і тієї ж сцени в різних ситуаціях можуть використовуватися декілька потоків ES, що цілком описують дану сцену.
Для того, щоб система знала, який з елементарних потоків належить визначеному об'єкту в MPEG-4 впроваджена принципово нова концепція -дескриптор об'єкта (object descriptor - OD). Дескриптори об'єктів у свою чергу містять дескриптори елементарних потоків, щоб інформувати систему про те, який декодер необхідно використовувати для того або іншого потоку. Крім того, дескриптори містять повну текстову інформацію про об'єкт. Дескриптори об'єктів розміщаються в окремому елементарному потоці, що дозволяє динамічно добавляти або знищувати їх при зміні стану сцени.
Одночасне відтворення декількох об'єктів MPEG-4 координується окремим рівнем, виділеним спеціально для забезпечення синхронізації. Елементарні потоки розбиваються на пакети, після чого проводиться їхнє тактування (розподіл часових інтервалів). Після цього пакети готові для передачі на так називаний транспортний рівень.
Потоки тут, потоки там…
Тимчасова інформація необхідна для декодування даних. У ній зберігається тактова частота синхронізатора (таймера) кодера й оцінки часу вхідних потоків відносно цього синхронізатора. Оцінки часу можна розділити на два типи. Оцінки першого типу вказують, коли повинна декодуватися чергова порція інформації, другого - для вказівки моменту готовності інформації до відтворення.
Варто розрізняти ці два типи оцінок. У деяких алгоритмах стиску відеоінформації деякі кадри визначаються шляхом інтерполяції попереднього і наступного кадрів. Таким чином, поки черговий кадр декодується і готується до відтворення, наступний вже повинний бути декодований і поміщений у буфер. Тому, для забезпечення більшої продуктивності декодера в тимчасову інформацію, як правило, додатково записують і параметри буферизації.
Висловлюючись термінологією семирівневої комунікаційної моделі ISO, MPEG-4 не використовує ніякий принципово новий механізм передачі даних. Існуючих на той час засобів виявився цілком достатньо: потік передачі MPEG-2, асинхронний режим передачі (ATM) і Internet-протокол передачі в реальному часі (RTP). Доречі, потік передачі MPEG-2, використовуваний у цифровому телебаченні, згодом зробив істотний вплив на визначення стандартів радіомовлення.
Для кожного потоку даних може встановлюватися окремий канал передачі. Тому у випадках, коли сцена MPEG-4 містить досить велику кількість таких потоків, процес стає громіздким і неефективним. Щоб уникнути подібних ситуацій у MPEG-4 був включений додатковий інструмент, так званий FlexMux, що грає роль проміжної ланки для перетворення даних у зручну для передачі форму. Пізніше в MPEG-4 був доданий ще один інтерфейс, що дозволяє прикладній програмі посилати запит на з'єднання по заданих параметрах: пропускній здібності устаткування, коефіцієнту помилок, параметрам затримки і т.п.
З погляду прикладної програми цей інтерфейс однаковий як для широкомовних каналів зв'язку й інтерактивних сеансів так і для локальної роботи. У зв'язку з цим розробникам при написанні коду навіть не доводиться замислюватися про те, які механізми лежать в основі. Наступний реліз MPEG-4 уже дозволяв використовувати різні канали передачі на протилежних вузлах мережі для прийому/передача.
Ще одним істотним нововведенням другої версії було введення формату mp4 і засобів конвертації з форматів попередніх версій. Раніш, при використанні MPEG-1 і MPEG-2, таких засобів не було, але для MPEG-4, передбаченого для використання в Internet, вони були просто необхідні.
Візуалізація об'єктів
Класичне "прямокутне" відео є од
MPEG-4 пропонує два методи опису об'єктів довільної форми, кожний із який має свої переваги. Відповідно до першого (двійкового) методу будь-який піксел (заданого кольору, яскравості і т.п.) може бути або не бути частиною розглянутого об'єкта. Такий найпростіший, але досить "сирий" підхід ефективний для роботи при низкою швидкості передачі даних. Однак його наслідки - явна "незграбність" елементів зображення, зазублини на вигинах кривих - можуть дратувати.
Для одержання високоякісного зображення використовується інша методика, так називана шкала півтонів (gray scale). Відповідно до цієї методики, кожний пыксел незалежно від того, до якого об'єкта він належить, крім значень "включений" і "виключений" характеризується ступенем прозорості. Завдяки цьому забезпечується ефект згладженого фону та усіх видимих об'єктів.
Класичний приклад згладженого зображення можна побачити по телевізоріу під час трансляції прогнозу погоди. Здається, що карта знаходиться за спиною в диктора, що знаходиться на передньому плані. Насправді вона генерується окремо, після чого об'єкти сполучаються.
Технологія MPEG не визначає точний алгоритм формування візуальних об'єктів. Цей алгоритм, названий відеосегментацією, усе ще залишається метою інтенсивних досліджень. Відомі на сьогоднішній день методи дозволяють вирішити цю задачу, однак вони мають деякі обмеження. Одним із способів відтворення складних об'єктів є їхній запис на блакитному або зеленому фоні (кольори, що потім легко відфільтрувати).
MPEG-4, як і попередні технології, точно визначає тільки процес декодування. Процес кодування, неодноразово удосконалений, усе ще є відкритою темою. Навіть сьогодні, коли алгоритм стискання MPEG-2 практично не використовується, продовжують виявлятися все нові і нові його переваги.
Трохи подумавши
Поряд із високошвидкісними технологіями істотна частина досліджень проводилася з метою забезпечення якісного відтворення анімації на пристроях із дуже низькою швидкістю прийому/передачі даних, зокрема на мобільних пристроях. Формат MPEG-4 виявився придатним для відтворення відео на безпроводному устаткуванні (ще одна область застосування технології GSM/Global System for Mobile Communications) при швидкості передача 10 kb/s - швидкості, що використовується на сьогоднішній день для голосового зв'язку!
Істотною проблемою при роботі з мобільними пристроями є велика імовірність помилок при передачі даних. Для боротьби з цим розроблено багато засобів, що дозволяють декодеру якнайшвидше перебороти і загладити неминучі помилки. Одним із таких засобів є маркери ресинхронізації, що зберігаються в потоках із відеоінформацією і дозволяють уникнути порушення синхронізації в результаті помилки.
Іншим ефективним засобом є використання так називаного оборотного коду змінної довжини. Такий код коректно декодируется навіть при зчитуванні в зворотному порядку. Це дозволяє терміналу коректно відтворювати інформацію, починаючи з найближчого маркера ресинхронізації, знайденого до місця виникнення помилки.
Ефективність роботи навіть при низкій швидкості передачі даних забезпечується завдяки використанню масштабованих об'єктів. У наші дні багато Internet-провайдерів для доступу до аудіо-відео інформації дозволяють абонентам самостійно встановлювати якість одержуваної інформації відповідно до пропускної спроможності користувального устаткування. Отже, провайдеру доводиться кодировать ту саму інформацію декілька разів з орієнтацією на широкий діапазон апаратних можливостей користувачів. Масштабоване кодування дозволятє уникнути цього і кодувати дані тільки один раз. Налагодження на потрібну пропускну спроможність у цьому випадку буде робитися безпосередньо перед відтворенням або навіть під час відтворення.
У процесі масштабування базовий рівень передає інформацію з деякою базовою якістю відтворення. Якщо можливості устаткування дозволяють поліпшити якість, передається додаткова інформація з наступних більш високих рівнів. Причому, якщо сцена включає декілька об'єктів, то можна передати інформацію тільки про деякі, найбільше істотні з них. Такий метод масшатбування є принципово новим. Він навіть дозволяє забезпечувати для різних об'єктів різний рівень захисту, тобто, приміром, найбільше важливі об'єкти має сенс захищати краще. Ця можливість дуже істотна, оскільки забезпечення певного захисту вимагає додаткових витрат ресурсів.
Ще один спосіб збереження графічної інформації, так звані спрайти, як правило, використовується для кодування незмінних фрагментів зображення. Припустимо, наприклад, що в деякомій інтерактивній програмі користувач змінює кут огляду камери. Це означає, що фон та інші об'єкти повинні цілком перемальовуватися при кожній такій зміні. При використанні спрайта для визначення, приміром, фонового зображення, досить однієї передачі даних, Що містяться в ньому. Після цього, для формування нового виду огляду досить інформації про нові координати чотирьох вже визначених точок.
Усміхніться!
З широкого спектра можливостей MPEG-4 самою забавною, мабуть, є можливість нанесення зображень на образи, згенеровані комп'ютером. А якщо ці образи ще й анімовані, то різниця між штучний і реальний стає майже непомітна. Взагалі, на довільний дво- або тривимірний об'єкт (точніше, його каркас) можна накласти будь-яку картинку. Тоді навіть при незначній деформації каркаса створюється враження реального відео (наприклад, прапора, що розвівається). Для створення більш складних ефектів отриману анімовану картинку можна накласти на інший каркас. Причому, тоді виходить й істотне зменшення трафика, оскільки замість того, щоб після кожної зміни посилати цілком обновлене зображення, досить послати інформацію про параметри деформації, а безпосередньо деформація буде виконуватися локально.
Особливий інтерес представляють визначені форми людського обличчя, точніше, його електронної моделі для різних емоційних станів із заданим набором рухів.
Завдяки інтерфейсу MPEG-4 для мовного відтворення тексту стало можливим використання анімованих зображень обличчя для дублювання або синтезу людського голосу в реальному часі.
Генерація образу обличчя може робитися як на етапі декодування так і з використанням заздалегідь заготовлених шаблонів. У якості каркаса такої моделі може використовуватися довільна тривимірна поверхня або навіть фотознімок людини.
За допомогою спеціальних команд можна управляти окремими фрагментами зображення (губами, очима і т.п.), примушуючи їх рухатися синхронізовано з розмовою. Засоби для моделювання всього людського тіла будуть розроблені в другій версії MPEG-4.
Живий або електронний?
Біля десяти років тому, коли Moving Picture Expert Group тільки починала свої дослідження, аудіоінформація вважалася другорядною і нерозривно зв'язаною з відео. Сьогодні значення і якість відтворення аудіо нітрохи не поступаються відео.
Інструментарій MPEG-4 містить засоби для ефективної архівації звукової інформації різної якості: від 6 kb/s до 128 kb/s. Цей діапазон охоплює усі види сигналів, починаючи від моно і закінчуючи високоякісним стереозвучанням без яких-небудь чутних дефектів. Безсумнівно, якість CD-звучання продовжує залишатися еталоном, однак його вимоги перевищують описані вище в десятки разів - 1411 kb/s.
Для запису високоякісної звукової інформації використовується спеціальний алгоритм кодування (advanced audio coding - AAC), розроблений ще в часи MPEG-2. Ефективність кодування таким алгоритмом значно перевершує навіть формат mp3 - дуже популярний останнім часом звуковий формат.
Кодування мовлення здійснюється двома спеціально розробленими для цього алгоритмами. Перший параметричний кодувач оброблює дані в режимі 2-4 kb/s або навіть меншому. Другий, заснований на технології CELP (code exciter linear prediction), призначений для роботи в режимі 4-24 kb/s. Останній здатний кодувати діапазон частот від 8 до 16 kHz (діапазон, що покриває діапазон людського голосу).
Комбіноване використання різних прийомів MPEG-4 дозволяє навіть на основі записаного тексту генерувати відповідні рухи моделі людського обличчя, про яке ми говорили раніше. Більш того, при відтворенні мовлення за допомогою спеціальних параметрів можна додавати їй певний емоційний відтінок, регулювати швидкість відтворення. Максимально реальної вимови можна домогтися шляхом зміни вікових параметрів, завдання статі і навіть акценту.
Свій власний інструмент!
MPEG-4 належить багато відкриттів в області "структурованого" аудіо. До їхнього числа можна віднести метод кодування звукової інформації при найнижчих швидкостях передачі. Ідея була запозичена в Медіа Лабораторії Массачусетського Технологічного Інституту, що займалася розробкою популярної мови звукового синтезу Csound. На відміну від інших подібних засобів звукового синтезу, "структуроване" аудіо є форматом для опису методики синтезу.
Принцип синтезу звука в "структурованому" аудіо у використанні великої кількість так званих "елементів обробки сигналів": осциляторів, цифрових фільтрів і ін., набори яких використовуються для генерації певних звуків. Кожний такий набір, що задає певний звук (будь то ревіння слона або сигнал тривоги), називається інструментом.
Описана методика лежить в основі синтезу електронної музики. Для обробки і керування електронними інструментами, як правило, використовується одна з мов: мова генерації структурованого оркестрового аудіо (SAOL) або мова партитури структурованого аудіо (SASL). За допомогою такої мови досвідчений програміст-композитор може генерувати практично будь-які звуки від звучання музичних інструментів до шуму водоспаду.
Істотною перевагою такого підходу є гарантована ідентичність результату при відтворенні навіть на терміналах із різними фізичними параметрами устаткування.
На сьогоднішній день ситезатори звучання вже досить популярні. Особливо широко використовується так званий інтерфейс синтезу музичних інструментів (musical instrument digital interface - MIDI) незважаючи на досить обмежені його можливості. З його допомогою також можна управляти відтворенням аудіо в MPEG-4. У багатьох звукових адаптерах для персональних комп'ютерів для синтезу використовується технологія Wavetable.
Звук, що зводить з розуму
Як уже було сказано, аудіо є компонентом об'єктної моделі MPEG-4. Це може бути як монофонічний голосовий канал так і багатоканальний високоякісний звуковий об'єкт. Насправді, пвимоги при моделюванні аудіо визначені набагато жорсткіше, ніж для відео. Представлення аудіо в якості об'єкта сцени значно полегшує його обробку і передачу з каналів вводу (об'єкти сцени) на канали виводу (динаміки).
Особливо чітко ефективність об'єктного представлення аудіо виявляється в тих випадках, коли воно включає декілька ефектів, що можуть використовуватися окремо друг від друга. Приміром, звуковий трек складається з одного об'єкта для відтворення голосу й іншого - для звукового супроводу заднього плану. У цьому випадку легко можна застосувати до голосового об'єкта ефект "ехо", незалежно від музичного супроводження.
Аудіооб'єкты, як і візуальні, можуть задаватися в тривимірному звуковому просторі. Це може бути корисно при проведенні голосових конференцій між великою кількістю людей або для інтерактивних програм, у яких положення джерела звуку не менше істотно, чим положення візуального об'єкта.
Майбутнє MPEG-4
Виникає природне запитанння: які перспективи розвитку в MPEG-4? Перший сервер і декодер MPEG-4 були представлені компанією Phillips Digital Video Systems у вересні 1998 року на Міжнародній Конвенції по Широкомовних Технологіях в Амстердамі. На сьогоднішній день декодер MPEG-4 уже функціонує як компонент відомого Windows Media Player.
Тепер черга за виробниками мобільного устаткування і провайдерами послуг мобільного зв'язку.
Технологією MPEG-4 уже зацікавилися багато радіомовних компаній, оскільки його якість визнана більш високою, чим аналогове AM-радіомовлення. Однак незважаючи на це, ряд компаній ігнорують технологію MPEG-4.
Деякі зустріли нову технологію вороже, думаючи що MPEG-4 витисне з ринку популярний MPEG-2. Інші взагалі відхиляють ідею переходу з аналогового телебачення на цифрове, вважаючи цей процес занадто дорогим.
Однак, MPEG-4 ні в якій мірі не припускає витиснення формату MPEG-2. Навпаки, він відкриває нові можливості в сфері розробки програмного забезпечення і засобів комунікації. У даний момент групою Moving Picture Expert Group розробляється механізм спільного використання MPEG-4 і MPEG-2. У недалекому майбутньому, коли весь світ прийме ідею цифрового радіомовлення, коли звичайні телевізори перетворяться в інтерактивні термінали, наступить нова ера еволюції мультимедіа!