Сколько времени требуется для индексации миллиона документов на обычном компьютере? Каков размер индекса и насколько быстра поисковая система после этого? Вместо синтетического теста мы взяли реальный корпус почти миллиона файлов, проиндексировали его с помощью GroupDocs.Search for .NET 26.11 на настольном ПК и измерили каждый этап.
Краткий ответ: 919 896 документов было проиндексировано за 3 часа 48 минут, и 17 из 20 видов поиска отработали за 35–539 мс, хотя большинство запросов находились в десятках или сотнях тысяч документов. Бенчмарк является open source, так что вы можете измерить свои собственные документы тем же способом.
Результаты в одной таблице
| Что | Результат |
|---|---|
| Документы проиндексировано | 919 896 |
| Индексация | 3 ч 48 мин, 67 документов в секунду |
| Размер индекса | 60,2 ГБ, 49,5 ГБ после оптимизации |
| Открытие оптимизированного индекса | 9,8 с |
| 17 из 20 видов поиска | 35–539 мс (медиана 158 мс) при повторных запусках |
| Самые тяжёлые запросы | 8,5–87 с для результатов от миллионов до сотен миллионов вхождений |
Настройка
- Компьютер: Intel Core i5-11500 (6 ядер, 12 потоков), 32 ГБ ОЗУ, SATA SSD, Windows 10 — обычный настольный ПК, а не сервер.
- Программное обеспечение: GroupDocs.Search for .NET 26.11 на .NET 10, с настройками индекса по умолчанию.
- Документы: корпус govdocs1 Digital Corpora — почти миллион файлов с правительственных веб‑серверов США: PDF, HTML, Word, Excel, PowerPoint, текст, XML, CSV, изображения и др. Это сложный корпус: многие файлы — таблицы и файлы данных, и каждый отдельный номер или код становится термином, поэтому в индексе оказалось 285,6 млн уникальных терминов.
- Метод: текст документов был извлечён один раз и сохранён в файлы, чтобы измерить процесс индексации отдельно. Затем данные были добавлены в новый индекс пакетами до 512 МБ с 4 потоками индексации, индекс был оптимизирован, и 20 видов поиска запускались по 3 раза каждый.
Из 983 840 извлечённых файлов 63 943 не содержали текста (PostScript, gzip, Flash и dBase файлы и файлы, которые не удалось прочитать и др.), и один документ был слишком велик для индекса, поэтому было проиндексировано 919 896 документов.
Индексация: 920 тысяч документов менее чем за четыре часа
Индексация заняла 3 часа 48 минут, что в среднем составляет 67 документов в секунду, включая 28 минут, затраченных на чтение извлечённых данных с диска. Индекс занял 60,2 ГБ в 727 сегментах.
Самый полезный вывод для планирования — как менялось время одного вызова Index.Add по мере роста индекса:
| Документы уже в индексе | Среднее время вызова |
|---|---|
| 0–27 000 | 12,7 с |
| 208 000–338 000 | 52,7 с |
| 497 000–639 000 | 98,9 с |
| 639 000–920 000 | 109,4 с |
Последний вызов добавил лишь 1 240 документов и всё равно занял 113 с, как и вызовы с более чем 9 000 документами до него. В большом индексе количество вызовов, а не количество документов, определяет большую часть времени индексации. Поэтому добавляйте документы в большой индекс пакетами, насколько позволяет ваша память.
Поиск: десятки миллисекунд для большинства запросов
Оптимизированный индекс из 28 сегментов открылся за 9,8 с. Каждый запрос затем запускался три раза: первый запуск — то, что ждёт первый пользователь только что запущенного приложения, а повторные запуски — обычный случай работающего сервиса.
| Вид поиска | Найдено документов | Первый запуск | Повторные запуски |
|---|---|---|---|
| Простое слово | 202 079 | 539 мс | 210 мс |
| Булевый | 44 626 | 251 мс | 149 мс |
| Фраза | 241 277 | 591 мс | 539 мс |
| Фраза с подстановками | 32 270 | 183 мс | 129 мс |
| Подстановка | 267 231 | 347 мс | 287 мс |
| Нечеткий | 202 183 | 207 мс | 157 мс |
| Чувствительный к регистру | 47 010 | 52 мс | 35 мс |
| Фасетный (в поле) | 151 413 | 148 мс | 124 мс |
| Формы слов | 150 522 | 163 мс | 140 мс |
| Синонимы | 202 299 | 211 мс | 168 мс |
| Омофоны | 206 431 | 208 мс | 160 мс |
| Коррекция орфографии | 213 795 | 168 мс | 174 мс |
| Коррекция раскладки клавиатуры | 213 720 | 182 мс | 168 мс |
| Псевдонимы | 78 118 | 203 мс | 143 мс |
| Фильтр документов (только PDF) | 88 732 | 147 мс | 131 мс |
| Поиск по фрагментам | 202 079 | 155 мс | 137 мс |
| Объектный запрос | 37 935 | 456 мс | 236 мс |
| Числовой диапазон | 703 582 | 25,2 с | 8,5 с |
| Регулярное выражение | 609 547 | 27,9 с | 26,5 с |
| Диапазон дат за год | 138 876 | 92,1 с | 87,2 с |
Нечеткий поиск, коррекция орфографии и коррекция раскладки клавиатуры здесь работают примерно так же быстро, как простой поиск слова, несмотря на то, что индекс содержит 285,6 млн уникальных терминов.
Последние три строки намеренно экстремальны: регулярное выражение нашло 310 млн вхождений в двух третях всех документов, числовой диапазон — 231 млн вхождений в трёх четвертях из них, а диапазон дат охватил целый год. Начиная с версии 26.11, повторные запуски переиспользуют слова, найденные при первом запуске, поэтому время повторных запусков показывает, куда уходит время: в сбор вхождений. Пользователю редко нужен результат такого размера, а более короткий диапазон, более специфичный шаблон или фильтр документов позволяют держать результат и время небольшими.
Полная таблица с запросами и количеством вхождений находится в документации.
Оптимизация: работа на ночь
Оптимизация объединила 727 сегментов в 28 и сократила размер индекса с 60,2 ГБ до 49,5 ГБ за 12 часов 24 минуты. Размер объединённого сегмента ограничен, поэтому большой индекс оптимизируется в несколько сегментов, а не в один. Поиски не блокируются во время оптимизации индекса, поэтому оптимизацию большого индекса можно выполнять в фоновом режиме, например ночью.
Пять выводов для вашего проекта
- Извлекать один раз, индексировать многократно. Отдельное извлечение данных сохраняет извлечённый текст в файлы, поэтому вы можете перестроить индекс или попробовать другие настройки без повторного извлечения документов.
- Индексировать крупными пакетами. Каждый вызов
Index.Addстоит дороже по мере роста индекса, поэтому меньшее количество более крупных вызовов индексирует большую коллекцию гораздо быстрее. - Открывать индекс один раз. Открытие большого индекса занимает секунды; храните объект
Indexи выполняйте все поиски на нём — поиски потокобезопасны. - Оптимизировать в фоновом режиме. Поиски продолжают работать, пока индекс оптимизируется, поэтому планируйте оптимизацию на тихие часы.
- Сужать самые тяжёлые запросы. Регулярные выражения и диапазоны, совпадающие со сотнями миллионов вхождений, занимают секунды; фильтры и более узкие шаблоны сохраняют их результаты и время небольшими.
Запустите бенчмарк на своих документах
Ваши документы, запросы и оборудование определяют ваши показатели, поэтому измеряйте их. Приложение GroupDocs.Search for .NET benchmarks измеряет извлечение, индексацию, оптимизацию и 20 видов поиска, выводит время и пиковое потребление памяти каждой операции и записывает всё в CSV‑файл:
git clone https://github.com/groupdocs-search/full-text-search-benchmark-net.git
cd full-text-search-benchmark-net
dotnet run -c Release --project src/GroupDocs.Search.Benchmark
Перед запуском задайте лицензию, папки и запросы для языка ваших документов в начале файла Program.cs. Достаточна бесплатная temporary license; без лицензии режим оценки ограничивает количество проиндексированных и найденных документов.
Ресурсы
- Бенчмарк на GitHub – https://github.com/groupdocs-search/full-text-search-benchmark-net
- Производительность и бенчмарки – https://docs.groupdocs.com/search/net/performance-and-benchmarks/
- Примечания к выпуску 26.11 – https://releases.groupdocs.com/search/net/release-notes/2026/groupdocs-search-for-net-26-11-release-notes/
- Документация – https://docs.groupdocs.com/search/net/
- Справочник API – https://reference.groupdocs.com/search/net/
- Примеры кода – https://github.com/groupdocs-search/GroupDocs.Search-for-.NET/
- Free Support Forum – https://forum.groupdocs.com/c/search/
- Временная лицензия – https://purchase.groupdocs.com/temporary-license/