Сравнение и привязка изображений. Стереоотождествление. Привязка растровой карты

Многие задачи тематического дешифрирования сводятся к взаимному сопоставлению между собой изображений, сформированных с помощью датчиков различных физических полей. Ярким примером может служить развитие дистанционных методов контроля природных ресурсов и динамики экосистем (так называемого мониторинга), что сводится к сопоставлению снимков одной и той же территории, полученных в разное время и/или с помощью различных датчиков. Чаще всего используются оптическое, радиолокационное, радиотепловое, магнитное и другие поля. Совместное использование различных физических полей требует предварительной обработки соответствующих им изображений, например, с целью перевода изображений в одну спектральную область.

На практике изображения одного и того же объекта или участка местности, полученные в разное время или с помощью различных датчиков, могут значительно различаться один от другого. Отсюда вытекает ряд важных задач привязки, а также точной взаимной геометрической и амплитудной коррекции для последующего совместного анализа. В любом случае это требует установления соответствия между элементами исходных изображений, что сводится к выделению так называемых опорных (по другому, реперных или сопряженных) точек на изображениях, по которым можно осуществить координатную привязку снимков с одновременной геометрической коррекцией. (Точки на двух изображениях называются сопряженными, если они являются образами одной точки сцены ). Например, аэрокосмический компьютерный мониторинг предполагает наличие дискретного по времени наблюдения с небольшим временным интервалом, и поэтому, когда движущаяся камера фиксирует яркостный образ наблюдаемого объекта (оптическую поверхность) в виде последовательности изображений, то этот образ от снимка к снимку деформируется вследствие перспективных искажений и изменения положения камеры. Геометрия соответствующих деформаций моделируется проективными преобразованиями, которые составляют более обширный класс, нежели известные преобразования евклидовой геометрии (достаточно сказать, что длины и углы в проективной геометрии не сохраняются, а параллельные линии могут пересекаться! ).

Восстановление пространственного рельефа по стереоснимкам приводит к проблеме идентификации: установления точного координатного (поточечного) соответствия элементов стереоизображений. Решение этой задачи состоит в выделении пар реперных фрагментов и оценивании параметров «расхождения» соответственных точек (это именуется в стереофотограмметрии бинокулярной диспарантностью), по которым можно восстановить функцию геометрического преобразования и оценить поверхность трехмерной сцены (рельеф).

Графические объекты (рисунки и изображения), расположенные в документе Word, как правило, можно перемещать вместе с текстом или привязывать к определенному фрагменту текстового документа (абзацу, границам страницу, строке и т.п.).

Для этого следует ввести команду меню ФОРМАТ ® Рисунок (Автофигура , Надпись или др.) и в соответствующем диалоговом окне на вкладке Положение щелкнуть по кнопке Дополнительно , а затем открыть вкладку Положение рисунка и установить переключатель Перемещать вместе с текстом . Обычно режим перемещения графических объектов вместе с текстом устанавливается в Word по умолчанию.

Для отображения привязки нужно ввести команду СЕРВИС ® Параметры и на вкладке Вид диалогового окна Параметры установить переключатель Привязка объектов . При установке этого переключателя после выделения графического объекта рядом с ним (на левом поле) будет отображаться символ (маркер) привязки в виде якоря.

Символы привязки отображаются только в режиме разметки страницы (и Web-документа) и только для рисунков и объектов, расположенных вне слоя текста (для которых установлен один из режимов обтекания текстом ).

При работе с документом, содержащим графический объект, рекомендуется не только устанавливать отображение символов привязки, но и выводить на экран непечатаемые символы (маркеры абзацев). Потому что при удалении, перемещении или копировании абзаца, возле которого установлен символ привязки (якорь), вместе с абзацем удаляется (перемещается, копируется) и «привязанный» к этому абзацу графический объект (рисунок или изображение).

Иногда требуется, чтобы графический объект оставался привязанным к одному и тому же абзацу при любом его перемещении, т.е. был «жестко» привязан к определенному фрагменту документа, например, рисунок к его названию. В этом случае в диалоговом окне Дополнительная разметка на вкладке Положение рисунка нужно активизировать переключатель Установить привязку , после чего в маркере привязки к изображению якоря добавится изображение замка.

Создание формул

В качестве объектов в документ Word могут быть вставлены сложные математические уравнения, выражения и формулы, созданные с помощью встроенного в Word редактора формул – программы Microsoft Equation .

Создаваемые таким образом уравнения и формулы являются статичными объектами, т.е. они не выполняют вычислений и не могут редактироваться непосредственно в тексте.

Для запуска редактора формул служит команда Вставка ® Объект . В открывшемся диалоговом окне Вставка объекта на вкладке Создание выбрать пункт Microsoft Equation 3.0. После этого на экране появится меню программы редактора формул и панель инструментов Формула .

Кроме того, для запуска редактора формул можно воспользоваться кнопкой Редактор формул .

При создании формул для выбора символов и шаблонов используются кнопки панели инструментов редактора формул, а для ввода чисел и переменных в специально отведенные для них места – клавиатура.

Панель инструментов редактора формул (Формула) содержит два ряда кнопок. В верхнем ряду – в строке символов расположены кнопки для вставки в формулу математических символов – греческих букв, математических и логических операторов, надстрочных знаков и т.п. Кнопки нижнего ряда позволяют вставлять шаблоны , включающие символы дробей, квадратных корней, интегралов, сумм, произведений, матриц, различных скобок и т.п. Многие шаблоны содержат специальные поля (черные или пустые квадратики), предназначенные для ввода текста и вставки символов.

Ввод и редактирование формул завершается нажатием клавиши ESC или закрытием панели редактора формул. Можно также щелкнуть левой кнопкой мыши где-либо в поле документа вне области ввода формулы. Введенная формула автоматически вставляется в текст в качестве объекта. Далее ее можно переместить в любое иное место документа через буфер обмена. Для редактирования формулы непосредственно в документе достаточно выполнить на ней двойной щелчок. При этом автоматически открывается окно редактора формул.

Создание таблиц и работа с таблицами в Word

Word позволяет оформлять данные создаваемых документов в виде таблиц.

Таблица – форма организации данных по столбцам и строкам, на пересечении которых находятся ячейки. В ячейках таблицы могут размещаться данные произвольного типа: текст, числа, графика, рисунки, формулы и др.

Таблица Word может содержать 63 столбца и 32767 строк (сравните, в Excel – 256 столбцов и 65536 строк). Разные строки одной таблицы могут содержать различное число столбцов. Ячейки таблицы имеют адреса, образованные именем столбца (A, B, C,…) и номером строки (1,2 3,…).

В документе Word таблицы создаются по месту установки курсора. По умолчанию линии в таблице обозначаются пунктиром (который не выводится на печать).

Новую таблицу в формате Word можно создать:

1. С помощью команды горизонтального меню окна ТАБЛИЦА ® Добавить (Вставить) ® Таблица . В появившемся диалоговом окне Вставка таблицы следует установить размерность таблицы – число строк и столбцов и установить параметры ширины столбцов.

2. С помощью кнопки Добавить таблицу на стандартной панели инструментов. Для определения конфигурации новой таблицы нужно закрасить при нажатой левой кнопке мыши требуемое число столбцов и строк таблицы.

3. В последних версиях Word появилась возможность создавать таблицы, рисуя их «карандашом» с помощью мыши. Эта кнопка находится на панели инструментов Таблицы и границы .

4. Ранее набранный текст может быть преобразован в табличное представление с помощью команды ТАБЛИЦА ® Преобразовать ® Преобразовать в таблицу при условии, что текст подготовлен с использованием специальных разделителей строк и столбцов: символов конца абзаца (Enter ), табуляции (Tab ) или др.

Word допускает и обратное преобразование таблицы в обыкновенный текст с помощью команды меню ТАБЛИЦА ® Преобразовать ® Преобразовать в текст .

Указанное первоначально (при создании таблицы Word) число строк и столбцов можно изменять, добавляя новые или удаляя существующие строки и столбцы.

Для добавления новой строки в конце таблицы нужно установить курсор в последней ячейке таблицы и нажать клавишу Tab .

Для перемещения, копирования, добавления и удаления отдельных ячеек, столбцов и строк таблицы можно также использовать буфер обмена (команды меню ПРАВКА ® Копировать, Вырезать, Вставить ).

Для удаления таблицы ее необходимо выделить вместе с маркером абзаца , следующего за таблицей, и нажать клавишу Delete . Если выделить таблицу без маркера абзаца, следующего за таблицей, то при нажатии клавиши будет удалено только ее содержимое . Для удаления всей таблицы можно также использовать команду ТАБЛИЦА ® Удалить ® Таблица , предварительно установив курсор внутри таблицы.

Новые возможности для работы с таблицами в Word 2000

В версии Word 2000 для удобства работы с таблицами появились новые средства и возможности, которых не было в предыдущих версиях Word:

· перемещение таблицы целиком с помощью мыши – перетаскивают мышью маркер перемещения таблицы - непечатаемый символ, который появляется слева над верхней строкой таблицы;

· изменение размера таблицы с сохранением пропорций размеров строк и столбцов (с помощью маркера изменения размера таблицы в нижнем правом углу таблицы);

· обтекание таблицы текстом (варианты обтекания устанавливаются также, как и для рисунков – команда ТАБЛИЦА ® Свойства таблицы );

· создание вложенных таблиц – ячейка таблицы может содержать другую таблицу (например, с помощью команды ТАБЛИЦА ® Добавить ® Таблица );

· создание диагональных границ и линий внутри ячейки, рисуя границы «карандашом» или с помощью кнопок на панели инструментов Внешние границы ;

· установка полей ячеек и интервалов между ячейками и др. (поля ячейки определяют промежуток между границей ячейки и находящимся в ней текстом; для установки полей ячеек и определения величины интервала между ячейками – команда ТАБЛИЦА ® Свойства таблицы ® вкладка Таблица ® кнопка Параметры ).

Подробнее

1. Сопоставление изображений на основе "характерных черт"

Литература для самостоятельного изучения

Книга ($\textit{Красовский, Белоглазов, Чигин}$) содержит изложение классической теории корреляционно-экстремального анализа двумерных полей, с которой мы рекомендуем обязательно ознакомиться в рамках углубленного курса.

Оригинальный подход к взаимной привязке изображений на основе так называемой беспоисковой корреляции изложен в книге ($\textit{Астапов, Васильев, Заложнев}$). Этот подход больше применим в области корреляционного слежения, чем в области сравнения произвольных изображений, но он привлекателен возможностью эффективной программной и аппаратно-программной реализации.

В книге ($\textit{Шапиро, Стокман}$) методам сопоставления изображений и объектов в двумерном пространстве посвящена глава 11. Здесь представляют интерес геометрические аспекты проблемы, которым в нашем изложении уделялось меньше внимания. Главы $12$ и $13$ посвящены восприятию трехмерных сцен. Их также можно рекомендовать для самостоятельного изучения, хотя изложение того же круга вопросов в книге нам кажется более полным и удачным.

В книге ($\textit{Форсайт, Понс}$) непосредственно задаче стереоотождествления посвящен небольшой раздел "бинокулярное совмещение изображений", который при этом содержит ряд интересных идей, отсутствующих в нашем изложении. В частности, описано стереоотождествление методом динамического программирования и ряд других методов. В широком смысле задаче реконструкции трехмерной пространственной информации по набору двумерных изображений посвящена вся часть III данной книги, включающая главы $10$ "Геометрия нескольких проекций", $11$ "Стереозрение", $12$ "Определение аффинной структуры по движению" и $13$ "Определение апроективной структуры по движению". Рассматриваемые здесь вопросы связаны с построением различных метрических и проективных соотношений между точками изображений и точками сцены, расчетом хода лучей и т.п. Эти вопросы не включены нами в данный учебный курс, поскольку они ближе к фотограмметрической области, чем к области обработки и анализа изображений, однако в рамках углубленного курса машинного зрения такие элементы следует признать необходимыми. В связи с этим мы рекомендуем всю III часть книги для углубленного самостоятельного изучения.

Список источников по разделу

1. $\textit{Bertram S.}$ The UNAMACE and the automatic photomapper\Dslash Photogrammetric Engineering. 35. No.6. 1969. P.569 - 576.
2. $\textit{Levine M.D., O"handley D.A., Yagi G.M.}$ Computer Determination of Depth Maps\Dslash Computer Graphics and Image Processing. 2. No.2. 1973. P.131 - 150.
3. $\textit{Mori K., Kidode M., Asada H.}$ An iterative prediction and correction method for automatic stereocomparison\Dslash Computer Graphics and Image Processing. 2. No.3 - 4. 1973. P.393 - 401.
4. $\textit{Ackerman F.}$ High precision digital image correlation\Dslash IPSUS. 1984. №9. P.231 - 243.
5. $\textit{Gruen A., Baltsavias E.}$ Adaptive least squares correlation with geometrical constraints\Dslash SPIE. 1985. V.595. P.72 - 82.
6. $\textit{Ohta Y., Kanade T.}$ Stereo by intra- and inter-scanline search using dynamic programming\Dslash IEEE PAMI. V.7. No.2. 1985. P.139 - 154.
7. $\textit{Priice K.E.}$ Relaxation techniques for matching\Dslash Minutes of the Workshop of Image Matching, September 9-11, 1987, Stuttgart University, F.R.Germany.
8. $\textit{Foerstner W.}$ A feature based correspondence algorithm for image matching. ISPRS Commision III Symposium, Rovaniemi, Finland, August 19-22, 1986\Dslash IAPRS. V.26-3/3. P.150 - 166.
9. $\textit{Ayache N., Faverjon B.}$ Efficient registration of stereo images by matching graph description of edge segments\Dslash IJCV. V.1. No.2. 1987. P.107 - 131.
10. $\textit{Ван Трис Г.}$ Теория обнаружения, оценок и модуляции. Т.1 - М.: Советское радио, 1972.
11. $\textit{Василенко Г.И., Цибулькин Л.М.}$ Голографические распознающие устройства. - М.: Радио и связь, 1985.
12. $\textit{Бочкарев А.М.}$. Корреляционно-экстремальные системы навигации\Dslash Зарубежная радиоэлектроника. 1981. №9. C.28 - 53.
13. $\textit{Ярославский Л.П.}$ Цифровая обработка сигналов в оптике и голографии: Введение в цифровую оптику. - М.: Радио и связь, 1987.
14. $\textit{Хорн Б.К.}$ Зрение роботов. - М.: Мир, 1989.
15. $\textit{Денисов Д.А., Низовкин В.А.}$ Сегментация изображений на ЭВМ\Dslash Зарубежная радиоэлектроника, №10. 1985.
16. $\textit{Davies E.R.}$ Machine Vision: Theory, Algorithms, Practicalities. - Academic Press., 2-nd Edition, San Diego, 1997.
17. $\textit{T. Tuytelaars, L. Van Gool.}$ Matching widely separated views based on affine invariant regions\Dslash International Journal of Computer Vision 59(1). 2004. P.61 - 85.
18. $\textit{Ярославский Л.П.}$ Точность и достоверность измерения положения двумерного объекта на плоскости\Dslash Радиотехника и Электроника. 1972. №4.
19. $\textit{Abbasi-Dezfould M., Freeman T.G.}$ Stereo-Image Registration Based of Uniform Patches, International Archives of Photogrammetry and Remote Sensing. V. XXXI. Part B2. Vienna, 1996.
20. $\textit{Schenk.}$ Automatic Generation of DEM`s, Digital Photogrammetry: An Addentum to the Manual of Photogrammetry\Dslash American Society for Photogrammetry{\&}Remote Sensing. 1996. P.145 - 150.
21. $\textit{Gruen A,}$ Adaptive Least Squares Correlation: A powerful image matching technique\Dslash South African Journal of photogrammetry, Remoute Sensing and Cartography. V.14. Part 3. June, 1985.
22. $\textit{Golub G.H., Ch. F. Van Loan.}$ Matrix computations. - John Hopkins University Press, 1983.
23. $\textit{Пытьев ЮП.}$ Морфологический анализ изображений\Dslash Доклады АН СССР. 1983. Т.269. №5. C.1061 - 1064.
24. $\textit{Haralick R.M. and Shapiro L.G.}$ Machine vision. - Addison-Wesley, 1991.
25. $\textit{Zuniga O.A., Haralick R.M.}$ Corner detection using the facet model\Dslash Proc. IEEE Comput. Vision Pattern Recogn. Conf., 1983. P.30-37.

Часто у нас есть бумажная карта местности и мы хотим добавить эту карту в наш ГИС-проект. Рассмотрим как создать геопривязанное изображение из сканированной или сфотографированной карты на примере карты заказника “Квітуча гора”.

В приведенном примере все выполняется в программе QGIS. В ходе работы будут использованы следующие модули: Привязка растров, QuickMapServices, GeoSearch. Эти плагины нужно установить и активизировать, подробнее про установку модулей можно почитать . Для работы модулей QuickMapServices и GeoSearch необходимо подключение к Интернет.

Следующий шаг – найти на базовой карте интересующую местность. Для этого, внимательно рассмотрев сканированную карту, мы находим на ней название населенного пункта – «с.Мильча».

Зная название села, мы можем найти его при помощи одного из модулей «GeoSearch», «osmSearch» или «OSM place search».

После масштабирования карты к интересующему месту, приступаем непосредственно к привязке карты. Для геопривязки растровых изображений в QGIS есть встроенный модуль «Привязка растров» (Georeferencer). Запускается модуль из раздела меню «Растр» - «Привязка растров».

Модуль «Привязка растров» (Georeferencer) открывается в новом окне.

При помощи кнопки «Открыть растр» или комбинации клавиш + добавляем изображение которое будем привязывать.
В верхней части окна появится изображение, в нижней части расположена таблица с описанием точек привязки.

Далее нужно выбрать точки на базовой карте и изображении, по которым будет осуществляться привязка изображения. Обычно это перекрестки и повороты дорог, мосты и другие объекты хорошо видимые на базовой карте и привязываемом изображении.

Увеличиваем экстент базовой карты к первой точке привязки. Так же увеличиваем привязываемое изображение к выбранной точке привязки. Приблизившись в окне модуля к точке привязки, нажимаем кнопку «Добавить точку» и клацаем указателем мышки по выбранной точке. После этого открывается форма ввода координат. Координаты можно ввести как через поля ввода, так и захватить с карты. Если у нас есть координаты точек, например, полученные при помощи GPS-навигатора, мы можем их внести в соответствующих полях. Для получения координат с базовой карты нажимаем кнопку «С карты».

После нажатия кнопки «С карты» автоматически открывается основное окно QGIS. В нем курсор мышки имеет вид белого крестика. Выбираем точку привязки на базовой карте и жмем левую кнопку мышки.

После нажатия, автоматически возвращаемся в окно модуля привязки растров. В форме ввода появились значения координат точки. Заполненные значения имеют систему координат проекта с базовой картой.

После нажатия точка добавляется в таблицу с описанием точек привязки. Таким образом добавляем как можно больше точек привязки. Точки желательно расположить равномерно по привязываемому изображению. Чем более искажено исходное изображение, тем больше требуется точек привязки. Минимальное количество точек привязки — 3.

Далее задаем параметры трансформации. Для этого нажимаем шестеренку на панели инструментов. В открывшемся окне задаем следующие обязательные значения: тип трансформации, метод интерполяции, целевую систему координат, целевой растр. Остальные параметры являются не обязательными и их можно оставить со значениями по умолчанию.

Качество привязки зависит от количества точек привязки и от выбора метода трансформации. Подробнее про методы трансформации можно почитать .

Одним из ключевых моментов является правильное указание целевой системы координат. Если вносили координаты полученные при помощи GPS-навигатора, то указываем систему координат заданную в настройках GPS-навигатора, наиболее часто это WGS 84 (EPSG:4326). Если мы брали координаты с карты, то указываем систему координат рабочего проекта. В нашем случае это WGS 84 / Pseudo Mercator (EPSG:3857) которая является «родной» для таких карто-сервисов как OpenStreetMap, ArcGIS Online и многие другие.

Задав параметры трансформации запускаем процесс привязки, нажав зеленый треугольник на панели инструментов или выбрав соответствующий пункт в меню «Файл». В результате привязки растров будет получен файл в формате GeoTIFF.

Если в окне параметров трансформации вы отметили пункт «Открыть результат QGIS» то после окончания процесса привязки результирующий слой будет добавлен в рабочий проект поверх базовой карты.

Важным нюансом является то, что в результате работы модуля, результирующий растр имеет систему координат указанную в параметрах трансформации, но информация про то какая именно проекция растра, в нем не содержится. По этой причине, он может присутствовать в списке слоев, но не отображаться на карте. В таком случае необходимо зайти в «свойства слоя» и указать нужную систему координат вручную.

После явного указания правильной системы координат изображение расположится на нужном месте.

Настроив прозрачность мы можем скрыть черные поля по краям привязанного изображения, возникшие в результате трансформации.

Так же можем проверить корректность привязки, указав прозрачность слоя в 50%.