Новая исследовательская работа от Google DeepMind предлагает новый алгоритм ранжирования для поиска на базе ИИ под названием BlockRank. Он работает настолько хорошо, что делает передовой семантический поиск доступным для отдельных специалистов и целых организаций. Исследователи пришли к выводу, что он «может демократизировать доступ к мощным инструментам для обнаружения информации».

Ранжирование в контексте (In-Context Ranking)

В исследовании описывается прорыв в использовании In-Context Ranking (ICR) – метода ранжирования веб-страниц с использованием способностей больших языковых моделей к контекстному пониманию.

Модель получает промпт с:

• Инструкцией к задаче (например, «ранжируй эти веб-страницы»)
• Кандидатными документами (страницами для ранжирования)
• И поисковым запросом.

ICR – относительно новый подход, впервые изученный исследователями из Google DeepMind и Google Research в 2024 году. То более раннее исследование показало, что ICR может соответствовать по эффективности системам, созданным специально для поиска.

Но у этого улучшения был недостаток – оно требовало резкого увеличения вычислительной мощности по мере роста количества страниц для ранжирования.

Когда большая языковая модель сравнивает несколько документов, чтобы решить, какие из них наиболее релевантны запросу, она должна «уделять внимание» каждому слову в каждом документе и тому, как каждое слово связано с другими. Этот процесс внимания сильно замедляется при добавлении новых документов, потому что работа растет в геометрической прогрессии.

Новое исследование решает эту проблему эффективности. Именно поэтому работа называется «Масштабируемое ранжирование в контексте с генеративными моделями» – в ней показано, как масштабировать ICR с помощью того, что они называют BlockRank.

Как разрабатывался BlockRank

Исследователи изучили, как модель на самом деле использует механизм внимания при In-Context Retrieval, и обнаружили две закономерности:

Междокументная блочная разреженность (Inter-document block sparsity)

Исследователи обнаружили, что когда модель читает группу документов, она стремится сосредотачиваться в основном на каждом документе в отдельности, вместо того чтобы сравнивать их все друг с другом. Они называют это «блочной разреженностью» – то есть прямых сравнений между разными документами почти не происходит.

Основываясь на этом наблюдении, они изменили способ, которым модель читает входные данные. Теперь она анализирует каждый документ самостоятельно, но при этом все они сравниваются с заданным вопросом. Это сохраняет важную часть – сопоставление документов с запросом, – исключая ненужные сравнения документов друг с другом. В результате система работает гораздо быстрее без потери точности.

Блочная релевантность запроса и документа (Query-document block relevance)

Когда БЯП читает запрос, она не считает каждое слово в нем одинаково важным. Некоторые части вопроса, например, конкретные ключевые слова или знаки препинания, указывающие на намерение, помогают модели решить, какой документ заслуживает большего внимания.

Исследователи обнаружили, что внутренние паттерны внимания модели, в частности, то, как определенные слова в запросе фокусируются на конкретных документах, часто совпадают с тем, какие документы являются релевантными. Это поведение, которое они называют «блочной релевантностью запроса и документа», стало тем, что исследователи научились использовать более эффективно.

Узнав эти две закономерности, они разработали новый подход. Первая закономерность показала, что модель тратила вычислительные ресурсы впустую, сравнивая документы друг с другом, когда это было бесполезно. Вторая показала, что определенные части вопроса уже указывают на правильный документ.

На основе этих инсайтов они переработали то, как модель обрабатывает внимание и как она обучается. Результат – BlockRank, более эффективная форма контекстного поиска, которая отсекает ненужные сравнения и учит модель фокусироваться на том, что действительно сигнализирует о релевантности.

Точность BlockRank по тестовым наборам

Исследователи протестировали, насколько хорошо BlockRank ранжирует документы, на трех основных бенчмарках:

• BEIR – Набор различных задач для поиска и вопросно-ответных систем, используемый для проверки способности системы находить и ранжировать релевантную информацию по широкому кругу тем.
• MS MARCO – Большой набор реальных поисковых запросов Bing и пассажей, используемый для измерения точности ранжирования пассажей, которые лучше всего отвечают на вопрос пользователя.
• Natural Questions (NQ) – Бенчмарк, созданный на основе реальных вопросов из Google, предназначенный для проверки того, может ли система определить и ранжировать пассажи из Википедии, которые прямо отвечают на эти вопросы.

Они использовали 7-миллиардную модель Mistral и сравнили BlockRank с другими сильными моделями для ранжирования, включая FIRST, RankZephyr, RankVicuna и полностью дообученную Mistral в качестве базового уровня.

BlockRank показал такие же или лучшие результаты, чем эти системы, на всех трех бенчмарках, совпав по результатам на MS MARCO и Natural Questions и показав немного лучший результат на BEIR.

Исследователи пояснили:

«Эксперименты на MSMarco и NQ показывают, что BlockRank (Mistral-7B) соответствует или превосходит стандартную эффективность тонкой настройки, будучи при этом значительно более эффективным на этапах инференса и обучения. Это предлагает масштабируемый и эффективный подход для ICR на основе БЯП.»

Они также признали, что не тестировали несколько БЯП и что эти результаты специфичны для Mistral 7B.

Использует ли Google BlockRank?

В исследовательской работе ничего не говорится о его использовании в реальной среде. Так что любые предположения о том, что он может использоваться, – это чистой воды домыслы.

Конечно, естественно попытаться понять, где BlockRank может применяться в AI Mode или AI Overviews, но описания того, как работают FastSearch и RankEmbed в AI Mode, кардинально отличаются от того, что делает BlockRank. Так что маловероятно, что BlockRank связан с FastSearch или RankEmbed.

Почему BlockRank – это прорыв

Что же говорит исследовательская работа? Она утверждает, что это прорывная технология, которая ставит передовую систему ранжирования в распоряжение отдельных людей и организаций, которые в обычной ситуации не могли бы позволить себе подобные высококачественные технологии.

Исследователи объясняют:

«Методология BlockRank, повышая эффективность и масштабируемость контекстного поиска в больших языковых моделях, делает передовой семантический поиск более вычислительно доступным и может демократизировать доступ к мощным инструментам для обнаружения информации. Это может ускорить исследования, улучшить образовательные результаты за счет предоставления более релевантной информации быстрее и расширить возможности для принятия решений отдельными людьми и организациями.

Более того, повышенная эффективность напрямую ведет к снижению энергопотребления для поисковых приложений БЯП, способствуя более экологически устойчивому развитию и развертыванию ИИ.

Благодаря возможности эффективного ICR на потенциально меньших или более оптимизированных моделях, BlockRank также может расширить охват этих технологий в средах с ограниченными ресурсами.»

SEO-специалисты и издатели могут иметь свое мнение о том, может ли это использоваться Google. Я не думаю, что на это есть какие-то доказательства, но было бы интересно спросить об этом кого-то из Google.

Похоже, Google находится в процессе выкладки BlockRank на GitHub, но на данный момент код там еще не доступен.