Семантический анализ изображений.

Семантика — раздел языкознания, изучающий значение единиц языка. В качестве инструмента изучения применяют семантический анализ.
В приложении к изображениям будем считать, что его семантический анализ заключается в обозначении некоторых областей или всего изображения единицами естественного языка. В нашем случае словами существительными и словами прилагательными.

Проблемы семантического анализа.

1. Объект (понятие) состоит из более мелких понятий – структура объекта. Например, структура лица человека состоит из собственно характерного овала, глаз, носа, рта, бровей, возможно ушей. Само лицо является частью головы. Причем нос нельзя свести к атрибутам – нос есть всегда и слово носатый относится к свойствам самого носа! Это означает, необходима концепция полного описания объекта. Наличие минимальной структурной единицы. Локализация понятия на изображении не исчерпывает задачу.
2. Кроме того, объект находится в какой то среде. Является ли эта среда с нашей точки зрения объектом? Описание сцены – вот что тоже нужно обсудить. Нужно найти модельную ситуацию, в которой сцена может быть описана с применением наших технологий достаточно хорошо. Описание сцены не сводится просто к описанию объектов. Это уже более широкая задача. Это и связи между объектами, количество однотипных объектов, информация об относительных размерах объектов и т.п. Может быть, выделять планы, имеется в виду передний план, задний план, объекты задающие характерные размеры, например монета, на фотографии с электронными устройствами. Соответственно таблица описания изображений должна учитывать такие характеристики.
3. Важно описывать связь между объектами. Пространственная связь (самая простая), определяемая координатами объектов, должна правильно выражаться на естественном языке. Более сложное описание связей это соотношений частей самого объекта - поз объекта. Например, если объект человек, то положение рук, ног, стоит, сидит или лежит. Если лицо, то в фас или профиль (левый или правый), куда или на кого смотрит и т.п.
4. Должно отражаться количество однотипных объектов, их взаимное расположение.
5. Далее мало внимания уделяется вопросу описания низкоуровневых характеристик изображения - наличие локальных точек, распределение цветов, и т.п. Я бы сказал, что получение низкоуровневых характеристик это необходимый этап предобработки изображения для его дальнейшего анализа. Нужно ли это делать? Поможет ли находить изображения? Насколько важно хорошо делать сегментацию изображения? Поможет ли сегментация в описании сцен, в ускорении поиска объектов.
6. Большое количество детекторов приводит к проблеме, связанной со скоростью анализа изображения. Нужны какие-то идеи, алгоритмы по эвристическому, ассоциативному ограничению детекторов при каждом следующем шаге при анализе изображения. То есть нужно понять как ввести систему знаний о мире в программное решение.