LoTex: анализ отказов в сопоставлении признаков

Олег Боев

Соответствия, прошедшие отбор (inliers), на низкотекстурных планарных сценах при разных преобразованиях и уровнях сложности.

Обзор

LoTex представляет собой эмпирический анализ, ориентированный на выявление отказов в сопоставлении признаков на низкотекстурных планарных сценах со слабой или повторяющейся визуальной структурой.

Вместо ранжирования методов по агрегированным баллам или лидербордным метрикам, исследование рассматривает, как и почему пайплайны сопоставления деградируют при контролируемых геометрических и фотометрических преобразованиях, типичных для реальных сценариев съёмки.

Фокусируясь на систематических режимах отказа и паттернах деградации, LoTex выявляет поведение, которое часто скрывается стандартными бенчмарками и агрегированными метриками качества. Это важно для систем, которые зависят от устойчивых геометрических соответствий.

Данные и преобразования

Датасет

Анализ основан на 250 реальных изображениях низкотекстурных планарных поверхностей, включая слаботекстурированные области, повторяющиеся паттерны и микро‑текстурированные материалы.

Исходные изображения.

Преобразования

Контролируемый набор геометрических и фотометрических преобразований применяется на трёх уровнях сложности (Easy, Medium, Hard), чтобы изолировать конкретные факторы деградации при сохранении известной истинной (ground-truth) геометрии. Каждое исходное изображение сопоставляется с синтетически преобразованными вариантами по известным гомографиям.

Преобразования включают поворот, приближение/отдаление, сдвиг, окклюзию, tilt (горизонтальную перспективу), pan (вертикальную перспективу), гауссово размытие (Gaussian blur), смаз движения (motion blur), затемнение, осветление, а также комбинированное преобразование, приближающее реалистичное движение камеры.

Всего оценка покрывает 9 000 пар изображений (250 исходных × 12 типов преобразований × 3 уровня сложности).

Применённые геометрические и фотометрические преобразования.

Модели

LoTex оценивает 17 репрезентативных методов сопоставления признаков, включая классические пайплайны, обучаемые detector–descriptor системы, плотные/глобальные подходы к сопоставлению и геометрически‑осведомлённые архитектуры. Набор не претендует на исчерпывающий, но покрывает широкий спектр распространённых парадигм и достаточен, чтобы выявить систематические режимы отказа на низкотекстурных планарных сценах.

Все методы реализованы через единый бэкенд на базе Image Matching WebUI, что обеспечивает согласованные этапы извлечения и сопоставления признаков, а также геометрической верификации между моделями.

Оценённые методы:

  • MASt3R
  • DUSt3R
  • OmniGlue
  • RoMa
  • XFeat (Sparse)
  • XFeat + LightGlue
  • ALIKED + LightGlue
  • DKM
  • ASpanFormer
  • LoFTR
  • DISK + LightGlue
  • SuperPoint + LightGlue
  • SuperPoint + SuperGlue
  • D2-Net
  • R2D2
  • ORB
  • SIFT

Все модели оцениваются с предобученными весами по умолчанию, без специальной подстройки под задачу. Там, где применимо, используется общий лимит 2000 ключевых точек на изображение для лучшей сопоставимости между методами.

Метрики

Оценка фокусируется на устойчивости и поведении отказов на базе гомографий. Используемые метрики:

  • Homography Reprojection Error (HRE)
  • Success Rate на фиксированных порогах (SR@τ): доля пар изображений, у которых HRE ниже заданного порога в пикселях; отказы пайплайна на любом этапе дают вклад ноль
  • Время выполнения (runtime): среднее время инференса на одну пару изображений
  • Дополнительная диагностика: статистика инлаеров (inliers) и детальные метаданные отказов

Результаты

Устойчивость к преобразованиям

SR@10 вычисляется по всем оценённым парам изображений. Результаты показывают выраженные провалы устойчивости при поворотах, размытии и комбинированных деградациях, приближающих реалистичное движение камеры.

Тепловая карта устойчивости (SR@10). Цветовая шкала нелинейна; нейтральный цвет соответствует SR@10 = 0.8.

Анализ отказов и деградации

Результаты оценки гомографии разделяются на режимы точности и явные типы отказов, что позволяет различать постепенную геометрическую деградацию и резкие сбои пайплайна. Методы демонстрируют качественно различающиеся сценарии отказа, что имеет важные последствия для downstream-систем, опирающихся на предсказуемое геометрическое поведение.

Распределение геометрической точности и режимов отказа пайплайна.

Устойчивость vs вычислительная стоимость

Компромисс между устойчивостью и вычислительной стоимостью анализируется графиком success rate против времени инференса.

Устойчивость vs эффективность (Pareto‑анализ).

Выводы

LoTex показывает, что прогресс на стандартных бенчмарках сопоставления признаков не обязательно переносится в устойчивость на низкотекстурные планарные сцены. Анализ подчёркивает ценность протоколов оценки, учитывающих отказы и явно выявляющих механизмы деградации, вместо опоры только на агрегированные метрики успеха.

Цитирование 

@misc{LoTex2026,
  author = {Oleg Boev},
  title  = {LoTex: A Failure-Oriented Analysis of Feature Matching on Low-Texture Planar Surfaces},
  year   = {2026},
  url    = {https://smartdatascan.com/research/lotex/}
}