Сколько времени требуется для индексации миллиона документов на обычном компьютере? Каков размер индекса и насколько быстра поисковая система после этого? Вместо синтетического теста мы взяли реальный корпус почти миллиона файлов, проиндексировали его с помощью GroupDocs.Search for .NET 26.11 на настольном ПК и измерили каждый этап.

Краткий ответ: 919 896 документов было проиндексировано за 3 часа 48 минут, и 17 из 20 видов поиска отработали за 35–539 мс, хотя большинство запросов находились в десятках или сотнях тысяч документов. Бенчмарк является open source, так что вы можете измерить свои собственные документы тем же способом.

Результаты в одной таблице

Что Результат
Документы проиндексировано 919 896
Индексация 3 ч 48 мин, 67 документов в секунду
Размер индекса 60,2 ГБ, 49,5 ГБ после оптимизации
Открытие оптимизированного индекса 9,8 с
17 из 20 видов поиска 35–539 мс (медиана 158 мс) при повторных запусках
Самые тяжёлые запросы 8,5–87 с для результатов от миллионов до сотен миллионов вхождений

Настройка

  • Компьютер: Intel Core i5-11500 (6 ядер, 12 потоков), 32 ГБ ОЗУ, SATA SSD, Windows 10 — обычный настольный ПК, а не сервер.
  • Программное обеспечение: GroupDocs.Search for .NET 26.11 на .NET 10, с настройками индекса по умолчанию.
  • Документы: корпус govdocs1 Digital Corpora — почти миллион файлов с правительственных веб‑серверов США: PDF, HTML, Word, Excel, PowerPoint, текст, XML, CSV, изображения и др. Это сложный корпус: многие файлы — таблицы и файлы данных, и каждый отдельный номер или код становится термином, поэтому в индексе оказалось 285,6 млн уникальных терминов.
  • Метод: текст документов был извлечён один раз и сохранён в файлы, чтобы измерить процесс индексации отдельно. Затем данные были добавлены в новый индекс пакетами до 512 МБ с 4 потоками индексации, индекс был оптимизирован, и 20 видов поиска запускались по 3 раза каждый.

Из 983 840 извлечённых файлов 63 943 не содержали текста (PostScript, gzip, Flash и dBase файлы и файлы, которые не удалось прочитать и др.), и один документ был слишком велик для индекса, поэтому было проиндексировано 919 896 документов.

Индексация: 920 тысяч документов менее чем за четыре часа

Индексация заняла 3 часа 48 минут, что в среднем составляет 67 документов в секунду, включая 28 минут, затраченных на чтение извлечённых данных с диска. Индекс занял 60,2 ГБ в 727 сегментах.

Самый полезный вывод для планирования — как менялось время одного вызова Index.Add по мере роста индекса:

Документы уже в индексе Среднее время вызова
0–27 000 12,7 с
208 000–338 000 52,7 с
497 000–639 000 98,9 с
639 000–920 000 109,4 с

Последний вызов добавил лишь 1 240 документов и всё равно занял 113 с, как и вызовы с более чем 9 000 документами до него. В большом индексе количество вызовов, а не количество документов, определяет большую часть времени индексации. Поэтому добавляйте документы в большой индекс пакетами, насколько позволяет ваша память.

Поиск: десятки миллисекунд для большинства запросов

Оптимизированный индекс из 28 сегментов открылся за 9,8 с. Каждый запрос затем запускался три раза: первый запуск — то, что ждёт первый пользователь только что запущенного приложения, а повторные запуски — обычный случай работающего сервиса.

Вид поиска Найдено документов Первый запуск Повторные запуски
Простое слово 202 079 539 мс 210 мс
Булевый 44 626 251 мс 149 мс
Фраза 241 277 591 мс 539 мс
Фраза с подстановками 32 270 183 мс 129 мс
Подстановка 267 231 347 мс 287 мс
Нечеткий 202 183 207 мс 157 мс
Чувствительный к регистру 47 010 52 мс 35 мс
Фасетный (в поле) 151 413 148 мс 124 мс
Формы слов 150 522 163 мс 140 мс
Синонимы 202 299 211 мс 168 мс
Омофоны 206 431 208 мс 160 мс
Коррекция орфографии 213 795 168 мс 174 мс
Коррекция раскладки клавиатуры 213 720 182 мс 168 мс
Псевдонимы 78 118 203 мс 143 мс
Фильтр документов (только PDF) 88 732 147 мс 131 мс
Поиск по фрагментам 202 079 155 мс 137 мс
Объектный запрос 37 935 456 мс 236 мс
Числовой диапазон 703 582 25,2 с 8,5 с
Регулярное выражение 609 547 27,9 с 26,5 с
Диапазон дат за год 138 876 92,1 с 87,2 с

Нечеткий поиск, коррекция орфографии и коррекция раскладки клавиатуры здесь работают примерно так же быстро, как простой поиск слова, несмотря на то, что индекс содержит 285,6 млн уникальных терминов.

Последние три строки намеренно экстремальны: регулярное выражение нашло 310 млн вхождений в двух третях всех документов, числовой диапазон — 231 млн вхождений в трёх четвертях из них, а диапазон дат охватил целый год. Начиная с версии 26.11, повторные запуски переиспользуют слова, найденные при первом запуске, поэтому время повторных запусков показывает, куда уходит время: в сбор вхождений. Пользователю редко нужен результат такого размера, а более короткий диапазон, более специфичный шаблон или фильтр документов позволяют держать результат и время небольшими.

Полная таблица с запросами и количеством вхождений находится в документации.

Оптимизация: работа на ночь

Оптимизация объединила 727 сегментов в 28 и сократила размер индекса с 60,2 ГБ до 49,5 ГБ за 12 часов 24 минуты. Размер объединённого сегмента ограничен, поэтому большой индекс оптимизируется в несколько сегментов, а не в один. Поиски не блокируются во время оптимизации индекса, поэтому оптимизацию большого индекса можно выполнять в фоновом режиме, например ночью.

Пять выводов для вашего проекта

  1. Извлекать один раз, индексировать многократно. Отдельное извлечение данных сохраняет извлечённый текст в файлы, поэтому вы можете перестроить индекс или попробовать другие настройки без повторного извлечения документов.
  2. Индексировать крупными пакетами. Каждый вызов Index.Add стоит дороже по мере роста индекса, поэтому меньшее количество более крупных вызовов индексирует большую коллекцию гораздо быстрее.
  3. Открывать индекс один раз. Открытие большого индекса занимает секунды; храните объект Index и выполняйте все поиски на нём — поиски потокобезопасны.
  4. Оптимизировать в фоновом режиме. Поиски продолжают работать, пока индекс оптимизируется, поэтому планируйте оптимизацию на тихие часы.
  5. Сужать самые тяжёлые запросы. Регулярные выражения и диапазоны, совпадающие со сотнями миллионов вхождений, занимают секунды; фильтры и более узкие шаблоны сохраняют их результаты и время небольшими.

Запустите бенчмарк на своих документах

Ваши документы, запросы и оборудование определяют ваши показатели, поэтому измеряйте их. Приложение GroupDocs.Search for .NET benchmarks измеряет извлечение, индексацию, оптимизацию и 20 видов поиска, выводит время и пиковое потребление памяти каждой операции и записывает всё в CSV‑файл:

git clone https://github.com/groupdocs-search/full-text-search-benchmark-net.git
cd full-text-search-benchmark-net
dotnet run -c Release --project src/GroupDocs.Search.Benchmark

Перед запуском задайте лицензию, папки и запросы для языка ваших документов в начале файла Program.cs. Достаточна бесплатная temporary license; без лицензии режим оценки ограничивает количество проиндексированных и найденных документов.

Ресурсы