Гибридный поиск BM25 и Dense Retrieval: как оптимизировать контент для лексического и векторного скоринга

Эволюция поискового скоринга: почему изолированные методы исчерпали себя

Современные поисковые системы и платформы на базе генеративных моделей (SearchGPT, Perplexity, корпоративные RAG-контуры) отказались от использования исключительно одного метода ранжирования. Классический поиск долгое время опирался на лексическое сопоставление символов и токенов, тогда как первые нейросетевые системы пытались полностью переложить поиск на эмбеддинги. На практике оба изолированных подхода демонстрируют системные уязвимости.

Лексический подход слеп к синонимии, опечаткам и метафорам: запрос «средство от бессонницы» не найдет документ, где употреблен только термин «препараты против диссомнии», если в индексе нет соответствующих синонимических карт. Векторный подход (Dense Retrieval), напротив, испытывает трудности с точными идентификаторами, редкими аббревиатурами, артикулами и специализированными числовыми обозначениями. Решением стал гибридный поиск (Hybrid Search), объединяющий сильные стороны обоих алгоритмов.

Механика лексического ранжирования: индекс BM25

Алгоритм BM25 (Best Matching 25) представляет собой развитие формулы TF-IDF и оценивает релевантность документа запросу на основе частоты терминов с учетом насыщения и длины текста. Формула строится на нескольких ключевых допущениях:

• Частотное насыщение (TF saturation): увеличение повторений ключевого слова дает затухающий прирост оценки. После определенного порога повторение термина практически не повышает итоговый балл, что заложено для борьбы с примитивным спамом.
• Инверсная документная частота (IDF): редкие термины, встречающиеся лишь в малой доле документов коллекции, имеют значительно больший вес, чем общеупотребительные слова.
• Штраф за длину документа (Length Normalization): длинные тексты штрафуются, чтобы избежать искусственного преимущества объемных страниц, собравших множество терминов случайным образом.

Для автора это означает: чтобы пройти первичный фильтр BM25, текст обязан содержать точные терминологические единицы, специфические существительные и точные формулировки поискового запроса. Размывание терминов абстрактными местоимениями или сплошными синонимами снижает оценку релевантности.

Плотный векторный поиск (Dense Retrieval): пространство смыслов

Dense Retrieval работает с семантическими векторами фиксированной размерности (эмбеддингами), полученными через энкодеры текста. Вместо поиска точных совпадений букв алгоритм проецирует запрос и фрагменты текста (чанки) в многомерное пространство и вычисляет метрику схожести (обычно косинусное расстояние или скалярное произведение).

Векторный поиск оценивает:

• Контекстуальную близость: система понимает, что «замена ремня ГРМ» и «установка нового зубчатого привода газораспределения» описывают одну процедуру, даже без единого общего слова.
• Ассоциативное окружение: текст считается релевантным теме, если он окружен сопутствующей лексикой предметной области (ко-гипонимы, смежные концепции, свойства объектов).
• Концептуальную полноту: фрагмент текста должен исчерпывающе отвечать на скрытый интент пользователя, не требуя перехода к другим источникам для понимания контекста.

Главный недостаток Dense Retrieval — склонность к «ложной семантической уверенности». Векторная модель может посчитать текст релевантным из-за схожей интонации или общего контекста, даже если в нем полностью отсутствуют необходимые пользователю технические спецификации или точные названия моделей.

Математика объединения: алгоритм Reciprocal Rank Fusion (RRF)

Главная сложность гибридного поиска заключается в несравнимости исходных оценок: баллы BM25 не нормализованы (теоретически могут быть любым положительным числом), а векторное косинусное сходство варьируется от -1 до 1. Прямое сложение или линейная комбинация требуют трудоемкой калибровки весов под каждый конкретный набор данных.

Стандартом объединения списков стал алгоритм Reciprocal Rank Fusion (RRF). Он игнорирует абсолютные значения баллов и работает исключительно с порядковыми номерами (рангами) документов в результатах каждого поиска.

Формула RRF для документа d из объединенного множества кандидатов D:

RRF_Score(d) = Σ (m ∈ M) [ 1 / (k + r_m(d)) ]

где M — набор методов ранжирования (например, BM25 и Dense Retrieval), r_m(d) — порядковый номер документа в выдаче метода m (начиная с 1), а k — константа сглаживания (обычно принимается равной 60).

Константа k играет критическую роль: она предотвращает доминирование документов, занявших первое место лишь в одном из списков. Например:

• Если документ занял 1-е место в BM25 и 100-е в векторном поиске, его RRF-балл при k=60 равен: 1/(60+1) + 1/(60+100) = 0.01639 + 0.00625 = 0.02264.
• Если документ занял устойчивое 4-е место в обоих списках, его балл равен: 1/(60+4) + 1/(60+4) = 0.01562 + 0.01562 = 0.03124.

Математика RRF явно поощряет документы с высокой стабильностью: контент, находящийся в верхнем сегменте обоих методов скоринга, всегда обойдет текст, оптимизированный однобоко.

Стратегия подготовки текста под двойной скоринг

Чтобы текст получил стабильно высокий ранговый балл в лексическом и векторном контурах, автору необходимо структурировать материал на уровне отдельных блоков-чанков.

1. Точные формулировки в критических узлах документа (для BM25)

Лексический анализатор сканирует документ на наличие точных сущностей. Для соответствия требованиям алгоритма применяются следующие правила:

• Прямой номинативный заголовок: подзаголовки h2 и h3 должны содержать точный термин и отражать суть проблемы без абстрактных метафор.
• Фронтальное размещение сущностей: ключевое понятие должно находиться в первом предложении раздела или смыслового чанка. Это защищает текст при дроблении на фрагменты в RAG-системах.
• Сохранение нормативной терминологии: недопустимо заменять официальные технические названия, нормативные акты или стандарты исключительно разговорными аналогами.

2. Развертывание семантического поля (для Dense Retrieval)

Векторные энкодеры оценивают документ целостно. Чтобы обеспечить высокое косинусное сходство, требуется расширять контекст без перехода к искусственным синонимам:

• Причинно-следственные связи: вместо простого перечисления фактов используйте логические конструкции, связывающие явление с его причиной, следствием и методами диагностики.
• Специализированная контекстная лексика: использование терминов, описывающих среду применения (инструменты, условия эксплуатации, сопутствующие процессы), помогает модели точнее позиционировать вектор статьи в пространстве темы.
• Снятие многозначности: если термин омонимичен, в ближайшем окружении должны присутствовать контекстные маркеры, однозначно определяющие предметную область.

3. Архитектура смыслового блока: предотвращение переспама

Попытка механически объединить точные ключи и LSI-слова часто приводит к переспаму, который отсекается современными классификаторами качества. Оптимальная структура чанка (абзаца объемом 400–600 символов) строится по модульному принципу:

• Тезис (якорь BM25): четкое предложение с точной формулировкой термина и его прямым определением.
• Развитие (векторная глубина): объяснение принципа действия или взаимосвязи с использованием смежной отраслевой терминологии.
• Практический пример или следствие (удержание контекста): конкретные параметры, ограничения или сценарий применения, завершающие смысловую единицу.

Чек-лист для проверки текста перед публикацией

Перед передачей материала в публикацию рекомендуется провести его оценку по двум изолированным критериям:

• Проверка лексической четкости: содержат ли вводные абзацы каждого раздела точные наименования объектов? Сохранены ли артикулы, аббревиатуры и специфические формулировки в неизменном виде?
• Проверка автономности чанков: сохраняет ли каждый отдельный подраздел связность и смысл, если вырезать его из общего контекста статьи?
• Проверка смысловой плотности: отсутствуют ли пустые вводные конструкции, снижающие плотность информативных токенов в формуле BM25 и размывающие векторное представление фрагмента?
• Проверка естественности синтаксиса: согласованы ли термины грамматически со всем остальным предложением, исключая неестественные прямые вхождения старого формата?

Cobalt Media проведет предварительный аудит, определит приоритетные направления роста и подготовит прозрачную оценку работ без обещаний гарантированного места в выдаче.