Combien de temps faut‑il pour indexer un million de documents sur un ordinateur ordinaire ? Quelle taille atteint l’index, et quelle est la rapidité de la recherche ensuite ? Au lieu d’un test synthétique, nous avons utilisé un vrai corpus de près d’un million de fichiers, l’avons indexé avec GroupDocs.Search for .NET 26.11 sur un PC de bureau et mesuré chaque étape.

La réponse courte : 919 896 documents ont été indexés en 3 heures 48 minutes, et 17 des 20 types de recherche ont répondu en 35 à 539 ms, bien que la plupart des requêtes aient été trouvées dans des dizaines ou centaines de milliers de documents. Le benchmark est open source, vous pouvez donc mesurer vos propres documents de la même façon.

Les résultats dans un tableau

Élément Résultat
Documents indexés 919 896
Indexation 3 h 48 min, 67 documents par seconde
Taille de l’index 60,2 Go, 49,5 Go après optimisation
Ouverture de l’index optimisé 9,8 s
17 des 20 types de recherche 35 à 539 ms (médiane 158 ms) lors d’exécutions répétées
Les requêtes les plus lourdes 8,5 à 87 s pour des résultats de millions à centaines de millions d’occurrences

Configuration

  • Ordinateur : Intel Core i5-11500 (6 cœurs, 12 threads), 32 Go de RAM, un SSD SATA, Windows 10 – un PC de bureau ordinaire, pas un serveur.
  • Logiciel : GroupDocs.Search for .NET 26.11 sur .NET 10, avec les paramètres d’index par défaut.
  • Documents : le corpus govdocs1 de Digital Corpora – près d’un million de fichiers provenant des serveurs web du gouvernement américain : PDF, HTML, Word, Excel, PowerPoint, texte, XML, CSV, images et plus. C’est un corpus difficile : beaucoup de ses fichiers sont des feuilles de calcul et des fichiers de données, et chaque nombre ou code distinct devient un terme, ainsi l’index compte 285,6 millions de termes uniques.
  • Méthode : le texte des documents a été extrait une fois et sauvegardé dans des fichiers, afin que l’indexation puisse être mesurée séparément. Les données ont ensuite été ajoutées à un nouvel index par lots allant jusqu’à 512 Mo avec 4 threads d’indexation, l’index a été optimisé, et 20 types de recherche ont été exécutés 3 fois chacun.

Sur les 983 840 fichiers extraits, 63 943 n’ont produit aucun texte (fichiers PostScript, gzip, Flash et dBase ainsi que des fichiers illisibles, entre autres), et un document était trop volumineux pour l’index, ainsi 919 896 documents ont été indexés.

Indexation : 920 mille documents en moins de quatre heures

L’indexation a duré 3 heures 48 minutes, soit en moyenne 67 documents par seconde, incluant 28 minutes passées à lire les données extraites depuis le disque. L’index occupait 60,2 Go répartis en 727 segments.

La découverte la plus utile pour la planification est la façon dont le temps d’un appel à Index.Add a évolué à mesure que l’index grandissait :

Documents déjà dans l’index Temps moyen d’un appel
0 à 27 000 12,7 s
208 000 à 338 000 52,7 s
497 000 à 639 000 98,9 s
639 000 à 920 000 109,4 s

Le dernier appel a ajouté seulement 1 240 documents et a tout de même pris 113 s, tout comme les appels avec plus de 9 000 documents précédents. Dans un grand index, c’est le nombre d’appels, et non le nombre de documents, qui détermine la majeure partie du temps d’indexation. Ainsi, ajoutez les documents à un grand index par lots aussi volumineux que votre mémoire le permet.

Recherche : quelques dixièmes de seconde pour la plupart des requêtes

L’index optimisé de 28 segments s’est ouvert en 9,8 s. Chaque requête a ensuite été exécutée trois fois : la première exécution correspond à ce que le premier utilisateur d’une application fraîchement démarrée attend, et les exécutions répétées représentent le cas habituel d’un service en fonctionnement.

Type de recherche Documents trouvés Première exécution Exécutions répétées
Mot simple 202 079 539 ms 210 ms
Booléen 44 626 251 ms 149 ms
Phrase 241 277 591 ms 539 ms
Phrase avec jokers 32 270 183 ms 129 ms
Joker 267 231 347 ms 287 ms
Flou 202 183 207 ms 157 ms
Sensible à la casse 47 010 52 ms 35 ms
Facetté (dans un champ) 151 413 148 ms 124 ms
Formes de mots 150 522 163 ms 140 ms
Synonymes 202 299 211 ms 168 ms
Homophones 206 431 208 ms 160 ms
Correction orthographique 213 795 168 ms 174 ms
Correction de disposition du clavier 213 720 182 ms 168 ms
Alias 78 118 203 ms 143 ms
Filtre de document (PDF uniquement) 88 732 147 ms 131 ms
Recherche par fragments 202 079 155 ms 137 ms
Requête d’objet 37 935 456 ms 236 ms
Plage numérique 703 582 25,2 s 8,5 s
Expression régulière 609 547 27,9 s 26,5 s
Plage de dates d’une année 138 876 92,1 s 87,2 s

La recherche floue, la correction orthographique et la correction de disposition du clavier sont à peu près aussi rapides qu’une recherche de mot simple ici, bien que l’index contienne 285,6 millions de termes.

Les trois dernières lignes sont délibérément extrêmes : l’expression régulière a trouvé 310 millions d’occurrences dans les deux tiers de tous les documents, la plage numérique 231 millions d’occurrences dans les trois quarts d’entre eux, et la plage de dates couvrait une année entière. Depuis la version 26.11, les exécutions répétées réutilisent les mots correspondants à la première exécution, ainsi les temps répétés montrent où le temps est consommé : dans la collecte des occurrences. Un utilisateur a rarement besoin d’un résultat de cette taille, et une plage plus courte, un motif plus spécifique ou un filtre de document maintient le résultat, et le temps, petits.

Le tableau complet avec les requêtes et le nombre d’occurrences se trouve dans la documentation.

Optimisation : une tâche pour la nuit

L’optimisation a fusionné les 727 segments en 28 et a réduit l’index de 60,2 Go à 49,5 Go en 12 heures 24 minutes. La taille d’un segment fusionné est limitée, ainsi un grand index est optimisé en plusieurs segments plutôt qu’en un seul. Les recherches ne sont pas bloquées pendant l’optimisation d’un index, de sorte que l’optimisation d’un grand index peut s’exécuter en arrière‑plan, par exemple la nuit.

Cinq points clés pour votre projet

  1. Extraire une fois, indexer plusieurs fois. Extraction de données séparée enregistre le texte extrait dans des fichiers, vous permettant de reconstruire l’index ou d’essayer d’autres paramètres sans réextraire les documents.
  2. Indexer par gros lots. Chaque appel à Index.Add coûte davantage à mesure que l’index grandit, ainsi moins d’appels, mais plus volumineux, indexent une grande collection beaucoup plus rapidement.
  3. Ouvrir l’index une seule fois. Ouvrir un grand index prend quelques secondes ; conservez l’objet Index et exécutez toutes les recherches dessus – les recherches sont thread‑safe.
  4. Optimiser en arrière‑plan. Les recherches continuent de fonctionner pendant l’optimisation de l’index, il suffit donc de planifier l’optimisation pendant les heures calmes.
  5. Limiter les requêtes les plus lourdes. Les expressions régulières et les plages qui correspondent à des centaines de millions d’occurrences prennent plusieurs secondes ; les filtres et les motifs plus restreints maintiennent leurs résultats, et leur temps, petits.

Exécuter le benchmark sur vos documents

Vos documents, requêtes et matériel déterminent vos chiffres, mesurez‑les donc. L’application GroupDocs.Search for .NET benchmarks mesure l’extraction, l’indexation, l’optimisation et les 20 types de recherche, rapporte le temps et la mémoire maximale de chaque opération et écrit tout dans un fichier CSV :

git clone https://github.com/groupdocs-search/full-text-search-benchmark-net.git
cd full-text-search-benchmark-net
dotnet run -c Release --project src/GroupDocs.Search.Benchmark

Avant l’exécution, définissez la licence, les dossiers et les requêtes pour la langue de vos documents en haut de Program.cs. Une licence temporaire gratuite suffit : sans licence, le mode d’évaluation limite le nombre de documents indexés et trouvés.

Ressources