PixelRAG: новый подход к поиску данных без парсинга текста

Традиционные системы RAG (генерация с дополнением выборки), используемые в корпоративном секторе, опираются на предварительную обработку документов. Веб-страницы и текстовые файлы проходят через парсеры, которые преобразуют содержимое в простой текст для последующей индексации. Как показывают недавние исследования, этот этап зачастую становится основной причиной неточных ответов нейросетей, так как в процессе преобразования безвозвратно теряются важные визуальные и структурные сигналы.

Решение проблемы через визуальное восприятие

Команда исследователей из Калифорнийского университета в Беркли, Принстонского университета, EPFL и Databricks представила систему PixelRAG. Данная архитектура полностью исключает стадию парсинга текста. Вместо обработки кода страниц система сохраняет их в виде снимков экрана (скриншотов), которые затем индексируются. Полученные визуальные фрагменты напрямую передаются мультимодальной языковой модели для анализа. В ходе испытаний на 30 миллионах фрагментов Википедии система продемонстрировала превосходство над текстовыми аналогами по шести ключевым критериям, увеличив точность ответов на 18,1%.

По мнению разработчиков, попытки совершенствовать парсеры — это бесконечный процесс, так как каждый веб-ресурс требует уникальных настроек. Использование современных мультимодальных моделей позволяет обойти эту проблему, создавая систему, способную работать с любыми сайтами без необходимости сложной индивидуальной доработки.

Причины потери данных в текстовых системах

Исследование выделяет три основных фактора, из-за которых классические системы теряют информацию до того, как она попадет к пользователю:

• Потеря на этапе парсинга (36,6% неудач): преобразование HTML в текст настолько искажает структуру документа, что правильный фрагмент информации зачастую просто пропадает.
• Ошибки ранжирования (55,2% неудач): правильный ответ присутствует в базе, но из-за избытка ключевых слов в информационных блоках он оказывается глубоко в результатах поиска, уступая место менее релевантному контенту.
• Ошибки чтения (8,2% неудач): корректный контент найден, но плоская структура текста не позволяет модели правильно интерпретировать связи между данными.

Технические особенности PixelRAG

Система функционирует на основе четырех этапов:

• Визуализация: страницы рендерятся с помощью библиотеки Playwright в окне шириной 23 см (875 пикселей) и нарезаются на фрагменты высотой 27 см (1024 пикселя). Весь процесс выполняется локально без доступа к сети.
• Индексация: каждый фрагмент кодируется в вектор и сохраняется в индексе FAISS, что обеспечивает быстрый поиск и возможность обновления данных без полной переиндексации.
• Обучение: модель дообучается на синтетических данных с использованием метода LoRA, что позволяет эффективно адаптировать языковую и визуальную части нейросети.
• Хранение: для работы с данными Википедии требуется около 120 ГБ памяти под индекс, при этом сами скриншоты могут генерироваться по запросу, что экономит дисковое пространство.

Перспективы внедрения

Одним из главных преимуществ PixelRAG является значительная экономия токенов при работе AI-агентов. В тестах агент, использующий PixelRAG в качестве поискового движка, затратил 3,6 миллиона токенов против 37,5 миллионов при обычном текстовом поиске, что существенно снижает эксплуатационные расходы.

Несмотря на успех, существует и нерешенная задача: «визуальная нарезка». Если текстовые системы годами учились делить документы по смысловым блокам, то PixelRAG пока делит страницы по фиксированной высоте, из-за чего таблица или абзац могут быть разрезаны пополам. Разработчики отмечают, что это станет основным направлением для дальнейших исследований. В ближайшей перспективе эксперты рекомендуют использовать PixelRAG как дополнительный уровень визуального поиска в существующих RAG-системах, что позволит повысить качество работы без полной перестройки архитектуры.

* — деятельность компании запрещена на территории РФ