Санкт-Петербургский Государственный Университет
Математико-механический факультет
Кафедра системного программирования
Исправление краевых дефектов 3
D
скана лица и торса
Курсовая работа студента 445 группы
Добролеж Анны Борисовны
Научный руководитель ……………….
И.Г. Антипов
Санкт-Петербург
20
10
Оглавление
1.Введение
2.Реализация
3. Решение задачи
3.1.Удаление «бесполезных полигонов»
3.2.Удаление несвязанных частей
3.3.Отсечение плоскостями
3.4.Очистка модели торса
4.Заключение
5.Список литературы
Введение
С данной работе представлена очистка 3D модели частей тела человека, а именно исправление краевых дефектов трёхмерной модели лица и торса.
Определим некоторые понятия.
Трёхмерная модель – это модель объекта в трёхмерной графике, представляющая собой совокупность вершин и рёбер, которая определяет форму отображаемого многогранного объекта. В моём случае, каждая грань (полигон составляющей трёхмерную модель)
Так же важным понятием является текстура. Текстура представляет собой растровое изображение, накладываемое на поверхность полигона, из которых состоят 3D-модели, для придания ей цвета, окраски или иллюзии рельефа. В моём случае текстура передаёт цвет кожи, маленькие детали, которые невозможно обработать полигонами.
Краевыми дефектами в данном случае называются, во-первых, полигоны 3D модели, которые не несут информации (автоматически восстановленные ранее), во-вторых, отдельные части, не имеющие отношение к главной модели и, в-третьих, неровности края трёхмерной модели, на начальном этапе представляющего собой ломаную линию.
Задачей данной курсовой работы было подготовить трёхмерную модель к последующей работе путём исправления всех перечисленных дефектов автоматически восстановленной модели.
Практическое применение
Практическое применение поставленной задачи очень широко. Так, например, модель лица может использоваться в «виртуальной примерочной» для примерки очков и других аксессуаров. Так же важной областью применения является лицевая пластическая хирургия, изменение черт лица. Множество других декоративных применений, таких как нанесение гравировки по восстановленной трёхмерной модели и тому подобные прикладные варианты использования модели тоже требуют предварительной очистки скана.
Подготовка же модели торса необходима при работе с моделью пластического хирурга, так же как и модели лица.
Данная курсовая работа была реализована в рамках проекта по созданию инструментария для пластической хирургии, но как указано выше это не единственная область применения.
Реализация
Для реализации поставленной задачи был выбран язык C#. Выбор обоснован возможностью быстрого создания прототипа на данном языке, и наличием необходимых математических библиотек. Для работы с текстурой была использована оболочка над известной библиотекой OpenCv, которая реализована на C++, OpenCvSharp[1].
OpenCvSharp была выбрана из трёх наиболее распространённых оболочек над OpenCv (EmguCv[2], OpenCvDotNet[3], OpenCvSharp[1]) по ряду причин. Во-первых, процент покрытия функций OpenCV у этой библиотеки достаточно высоко. Во-вторых, имеется полная документация, предоставленная разработчиками библиотеки. В-третьих, совместно с библиотекой, предоставляется большое количество примеров использования, что, несомненно, является большим плюсов при ознакомлении с технологией.
С помощью OpenCvSharp было реализована сегментация текстуры с целью отделения частей фона, случайно попавших в модель. Но в связи с тем, что светлый фон, на котором происходили съемки тестовых моделей, практически сливался с кожей, и отделение его посредством сегментирования дало плохие результаты, от этого в дальнейшем было решено отказаться, заменив последовательным применением других методов.
Для тестирования и просмотра результатов была использована обёртка над библиотекой OpenGl, реализованная на языке C# Tao Framework[2].
Решение задачи
Очистка скана была реализована поэтапно, т.е. на каждом следующем этапе рабочей моделью считается та, которая получена на предыдущем.
Изначально модель имеет вид:
Рис. 1
Этапы делаются в следующем порядке:
1) удаление «бесполезных» полигонов
2) удаление несвязанных областей
3) отсечение плоскостями
Каждый из указанных этапов будет ниже рассмотрен подробнее.
Удаление «бесполезных полигонов»
Изначально модель, с которой ведётся работа, представляет собой замкнутый 3D объект, в котором присутствуют все полигоны, полученные из фотографии, а так же определённое замыкание произвольными полигонами, в тех местах, где данные отсутствуют. На приведённых изображениях такие полигоны имеют чёрный цвет и не несут никакой смысловой нагрузки. Зачастую, количество таких полигонов доходило до 65%, что при сильной детализации модели приводило к излишне большим объёмам данных (более чем в 2 раза относительно объема данных, полученном в результате исполнения этого этапа очистки). Этим обуславливается желание не хранить множество бесполезной информации, т.е. удалить все такие полигоны.
В моей работе полигон назван «бесполезным», если все его вершины имеют соответствующие координаты на текстуре, не принадлежащие фотографии модели. В данном случае – вершины, текстурные координаты которых имеют соответствующую точку на текстуре черного или близкого к нему цвета.
Все такие полигоны удаляются из модели, вместе с вершинами, принадлежащими данным полигонам и бесполезными ссылками на точки текстуры.
Результат на первом этапе достигается следующий:
Рис. 2
На картинке отмечены части, не относящиеся к основной модели и не связанны с ней. На удаление подобных частей будет направлен следующий этап.
Удаление несвязанных частей
Далее происходит удаление частей, не связанных с основной моделью.
Вся полигональная модель представляется в виде графа, имеющего несколько компонент связанности. Далее, поиском в ширину по графу находятся все его компоненты связанности.
Т.к. модель изначально восстанавливается из нескольких фотографий, то компонент связанности, относящихся к данной модели несколько. Это проблема решается следующим образом - наибольшие компоненты считаются принадлежащими модели, а оставшиеся некрупные части – лишними. Все полигоны, принадлежащие этим лишним частям, так же удаляются из модели вместе с точками их текстуры.
Результат после данного этапа получается следующий.
Рис. 3
Модель после этого этапа уже не содержит несвязанных элементов и «бессмысленных полигонов». Но края модели представляют собой ломаную линию. Ненужные элементы (например, часть рубашки) так же присутствуют.
Для удаления этих ненужных элементов реализован третий этап.
Отсечение плоскостями
Эта часть очистки обусловлена тем, что при восстановлении модели, помимо необходимой части
Т.о. существует необходимость удаление неважных частей. В моей работе такая возможность реализована с помощью гладкого отсечения плоскостями, параллельными осям координат.
В интерфейсе можно задать 2 числа, которые будут указывать процент полигонов, который надо отсечь каждой стороны.
Отсечение происходит следующим образом (алгоритм для отсечения плоскостью параллельной X = threshold, для любой другой оси аналогично)
1. Граничное значение высчитывается как vertices[(P/100)*n] .X, где vertices – упорядоченный по координате Х массив вершин, P – процент отсечения, n – количество элементов в массиве, .X – его Х-я координата.
2. Удаляются все вершины, значение Х координаты которых лежит за пределами граничного значения.
3. Треугольники, все три вершины которых удалены, удаляются целиком.
4. Если все три вершины не удалены – треугольник сохраняется
5. Если удалено две вершины, то этот треугольник удаляется, но добавляется новый, первой вершиной которого является неудалённая вершина старого треугольника, а две новые лежат на отрезке, соединяющем первую вершину с двумя удалёнными и имеющими Х координату равную граничному значению
6. Если удалена одна вершина, то строится четырёхугольник, две вершины которого являются вершинными старого треугольника, лежащие перед пороговым значением, а 2 оставшиеся вершины лежат на отрезке, соединяющем удалённую вершину с двумя оставшимися и имеющими Х координату равную граничному значению. Затем этот четырёхугольник по диагонали делится на два новых треугольника, которые и добавляются в новую модель.
За счёт такого алгоритма удаётся достичь гладких краёв, в отличие от простого удаление полигонов, которое оставляла на границе ломаную линию. Так же не будут потеряна никакая часть информации, принадлежащей полигонам, расположенным непосредственно на граничных значениях – это достигается за счёт разбиения полигона и удаления исключительно части, выходящей за пороговое значение.
Т.о. можно добиться практически идеально симметричной и гладкой (с ровными краями) конечной модели.
Результат после данного этапа представлен ниже.
Рис. 4
Рис. 5
После данного этапа остаётся только важные части оцифрованной трёхмерной модели, которая достаточно подготовлена для дальнейшей работы.
Вся представленная выше информация относится к работе с моделью головы человека. В данном случае достаточно плоскостей чтобы добиться неплохих результатов, но далее будут рассмотрены варианты работы с другими частями тела, которые требуют более сложного алгоритма отсечения.
Очистка модели торса
Задача очистки модели торса человека осложняется тем, что невозможно качественно сделать отсечение плоскостью. Тело человека имеет естественные изгибы, которые необходимо учитывать при работе с торсом.
На основании доступного тестового материала было принято решение разделить отсечение на три части – отсечение по плоскости головы и шеи, отсечение по плоскости торса от шеи до талии и отсечение ниже талии.
Это так же обоснованно тем, что после восстановления модели в районе талии обзор существенно меньше, чем в районе груди ли нижней части живота (если в районе груди обор достигает значения в 190-200 градусов, то значение в районе талии обычно колеблется от 160 до 170 градусов).
В связи с этим понадобилось ввести новый алгоритм отсечения полуплоскостью (то есть отсечения плоскостью по какой-либо координате, до тех пор, пока не будет достигнуто граничное значение по какой-либо другой координате).
Таким образом, появилась s-образная форма ломанной, которой отсекается неважные части модели.
Угол, под которым подходят друг к другу части ломаной, вынесен в параметры, в связи с разнообразием моделей и невозможностью подобрать единое число для всех фигур. Обычно это число колеблется от 25 до 35 градусов, но в отдельных ситуациях может выходить за эти пределы.
Так же работа была опробована на совместном скане головы и торса.
При работе с такой моделью оказалось, что вполне можно ограничиться теми же тремя плоскостями, что и при работе с отдельным торсом. Это оказалось возможным из-за того, что голова и плечи вполне удачно отсекаются одной плоскостью, что позволяет сохранить s-образную линию отсечения.
Все предыдущие этапы, такие как удаление «бессмысленных» полигонов и несвязанных с основной моделью частей, которые были описанные при работе с моделью головы, были применены на моделях торса без изменений.
Ниже приведён пример обработанной модели торса (без наложения текстуры) в профиль, на которой чётко видны упомянутая ломанная, использующаяся для повторения анатомических линий спины.
Рис. 6
Примеры
Ниже приведён пример изначальной модели(автоматически восстановленной с двух фотографий) и результата применения данной программы. Пример приведён для модели головы.
Рис. 7
После последовательного проведения всех описанных выше этапов получен следующий результат:
Рис.8
Аналогичные результаты были достигнуты для модели торса, а так же для модели торса человека вместе с головой. Заключение
В результате моей работы была реализована программа на языке C#, имеющая пользовательский интерфейс, которая в качестве единственного аргумента принимает имя файла содержащего исходную 3D модель (полученную алгоритмами восстановление из двух фотографий).
В пользовательском интерфейсе задаются следующие параметры
1. Флажок, говорящий работаем ли только с головой или же с торсом или торсом совместно с головой
2. Параметр Angle — задаёт угол поворота модели относительно оси X. Задавать его надо из расчёта, что в итоге плоскость Z = 0 проходит параллельно желаемому первому срезу (срез через голову и плечи в случае торса или же единственный срез в случае головы)
3. Параметры Top и Bottom — задают процент отсечения полигонов сверху и снизу соответственно. Принимают значение от 0 до 100 с шагом 1.
4. Параметр Back — задаёт процент отсечения полигонов сзади. Принимает значение от 0 до 100 с шагом 1. (при отмеченном флажке отсекается плоскостью, иначе — ломанной (шея, спина, ниже талии))
В результате своей работы программа создаёт модель, обработанную согласно описанному алгоритму, которая не имеет перечисленных в постановке задачи краевых дефектов. Модель сохраняется в файл формата .obj (OBJ — это формат файлов описания геометрии, разработанный в Wavefront Technologies для их анимационного пакета Advanced Visualizer. Формат файла является открытым и был принят другими разработчиками приложений 3D графики и может быть экспортирован/импортирован в большинство 3D редакторов), а так же в файл материалов .mtl, которой используется для привязки текстуры. Совместно с текстурой это составляет полноценную 3D модель, которую можно использовать для дальнейшей работы.
В дальнейшем хотелось бы минимизировать количество параметров, т.е. добиться автоматизации тех частей алгоритма, которые сейчас задаются пользователем.
Список литературы
[1] www.code.google.com/p/opencvsharp/
[2] www.emgu.com/wiki/index.php/Main_Page
[3] www.code.google.com/p/opencvdotnet/
[4] www.mono-project.com/Tao
[5] "Компьютерное зрение" - Л.Шапиро, Дж.Стокман
[6] www.isprs.org/proceedings/XXXVIII/3-W8/papers/p65.pdf
[7] april.eecs.umich.edu/pdfs/strom2010.pdf