Jak dlouho trvá indexovat milion dokumentů na obyčejném počítači? Jak velký index naroste a jak rychlé je vyhledávání poté? Místo syntetického testu jsme použili skutečný korpus téměř milionu souborů, indexovali jej pomocí GroupDocs.Search for .NET 26.11 na stolním PC a změřili každý krok.
Krátká odpověď: 919 896 dokumentů bylo indexováno za 3 hodiny 48 minut, a 17 z 20 typů vyhledávání odpovědělo za 35 až 539 ms, i když většina dotazů byla nalezena v desítkách nebo stovkách tisíc dokumentů. Benchmark je open source, takže můžete měřit své vlastní dokumenty stejným způsobem.
Výsledky v jedné tabulce
| Co | Výsledek |
|---|---|
| Indexováno dokumentů | 919,896 |
| Indexování | 3 h 48 min, 67 dokumentů za sekundu |
| Velikost indexu | 60,2 GB, 49,5 GB po optimalizaci |
| Otevření optimalizovaného indexu | 9,8 s |
| 17 z 20 typů vyhledávání | 35 až 539 ms (medián 158 ms) ve opakovaných bězích |
| Nejtěžší dotazy | 8,5 až 87 s pro výsledky v řádu milionů až stovek milionů výskytů |
Nastavení
- Počítač: Intel Core i5-11500 (6 jader, 12 vláken), 32 GB RAM, SATA SSD, Windows 10 – běžný stolní PC, ne server.
- Software: GroupDocs.Search for .NET 26.11 na .NET 10, s výchozím nastavením indexu.
- Dokumenty: korpus govdocs1 od Digital Corpora – téměř jeden milion souborů z webových serverů americké vlády: PDF, HTML, Word, Excel, PowerPoint, text, XML, CSV, obrázky a další. Jedná se o náročný korpus: mnoho souborů jsou tabulky a datové soubory a každé odlišné číslo nebo kód se stane termínem, takže index obsahoval 285,6 milionu unikátních termínů.
- Metoda: text dokumentů byl jednou extrahován a uložen do souborů, aby bylo možné měřit samotné indexování. Data byla poté přidána do nového indexu po dávkách až 512 MB se 4 indexovacími vlákny, index byl optimalizován a 20 typů vyhledávání bylo spuštěno 3 krát každý.
Z 983 840 extrahovaných souborů neobsahovalo 63 943 žádný text (PostScript, gzip, Flash a dBase soubory a soubory, které šlo přečíst, mezi jinými) a jeden dokument byl pro index příliš velký, takže bylo indexováno 919 896 dokumentů.
Indexování: 920 tisíc dokumentů za méně než čtyři hodiny
Indexování trvalo 3 hodiny 48 minut, což je v průměru 67 dokumentů za sekundu, včetně 28 minut strávených čtením extrahovaných dat z disku. Index zabíral 60,2 GB v 727 segmentech.
Nejužitečnější zjištění pro plánování je, jak se měnila doba jednoho volání Index.Add s růstem indexu:
| Dokumentů již v indexu | Průměrná doba volání |
|---|---|
| 0 to 27,000 | 12.7 s |
| 208,000 to 338,000 | 52.7 s |
| 497,000 to 639,000 | 98.9 s |
| 639,000 to 920,000 | 109.4 s |
Poslední volání přidalo jen 1 240 dokumentů a stále trvalo 113 s, stejně jako volání s více než 9 000 dokumenty před ním. Ve velkém indexu rozhoduje o většině času indexování počet volání, nikoli počet dokumentů. Proto přidávejte dokumenty do velkého indexu po dávkách tak velkých, jak vám umožní paměť.
Vyhledávání: desítky milisekund pro většinu dotazů
Optimalizovaný index o 28 segmentech se otevřel za 9,8 s. Každý dotaz byl poté spuštěn třikrát: první běh je to, na co první uživatel čerstvě spuštěné aplikace čeká, a opakované běhy jsou běžný případ běžící služby.
| Typ vyhledávání | Nalezených dokumentů | První běh | Opakované běhy |
|---|---|---|---|
| Jednoduché slovo | 202,079 | 539 ms | 210 ms |
| Boolean | 44,626 | 251 ms | 149 ms |
| Fráze | 241,277 | 591 ms | 539 ms |
| Fráze s divokými znaky | 32,270 | 183 ms | 129 ms |
| Divoký znak | 267,231 | 347 ms | 287 ms |
| Fuzzy | 202,183 | 207 ms | 157 ms |
| Rozlišování velikosti | 47,010 | 52 ms | 35 ms |
| Faceted (v poli) | 151,413 | 148 ms | 124 ms |
| Tvarů slov | 150,522 | 163 ms | 140 ms |
| Synonyma | 202,299 | 211 ms | 168 ms |
| Homofony | 206,431 | 208 ms | 160 ms |
| Oprava pravopisu | 213,795 | 168 ms | 174 ms |
| Oprava rozložení klávesnice | 213,720 | 182 ms | 168 ms |
| Aliasy | 78,118 | 203 ms | 143 ms |
| Filtr dokumentů (pouze PDF) | 88,732 | 147 ms | 131 ms |
| Vyhledávání po částech | 202,079 | 155 ms | 137 ms |
| Objektový dotaz | 37,935 | 456 ms | 236 ms |
| Číselný rozsah | 703,582 | 25.2 s | 8.5 s |
| Regulární výraz | 609,547 | 27.9 s | 26.5 s |
| Rozsah dat jednoho roku | 138,876 | 92.1 s | 87.2 s |
Fuzzy vyhledávání, oprava pravopisu a oprava rozložení klávesnice jsou zde zhruba tak rychlé jako jednoduché vyhledávání slova, i když index obsahuje 285,6 milionu termínů.
Poslední tři řádky jsou úmyslně extrémní: regulární výraz odpovídal 310 milionům výskytů ve dvou třetinách všech dokumentů, číselný rozsah 231 milionům výskytů ve třech čtvrtinách z nich a rozsah dat pokrýval celý rok. Od verze 26.11 opakované běhy znovu používají slova nalezená při prvním běhu, takže opakované časy ukazují, kam čas putuje: do sběru výskytů. Uživatel zřídka potřebuje výsledek takové velikosti a kratší rozsah, konkrétnější vzor nebo filtr dokumentů udržuje výsledek a čas malé.
Celá tabulka s dotazy a počty výskytů je v dokumentaci.
Optimalizace: úkol na noc
optimalizace sloučila 727 segmentů do 28 a zmenšila index z 60,2 GB na 49,5 GB během 12 hodin 24 minut. Velikost sloučeného segmentu je omezená, takže velký index je optimalizován do několika segmentů místo jednoho. Vyhledávání není blokováno během optimalizace indexu, takže optimalizaci velkého indexu lze spustit na pozadí, například v noci.
Pět klíčových poznatků pro váš projekt
- Extrahujte jednou, indexujte mnohokrát. Oddělená extrakce dat ukládá extrahovaný text do souborů, takže můžete znovu vytvořit index nebo vyzkoušet jiné nastavení, aniž byste dokumenty znovu extrahovali.
- Indexujte ve velkých dávkách. Každé volání
Index.Addstojí více s růstem indexu, takže méně, větších volání indexuje velkou kolekci mnohem rychleji. - Otevřete index jednou. Otevření velkého indexu trvá sekundy; uchovejte objekt
Indexa provádějte na něm všechna vyhledávání – vyhledávání jsou thread-safe. - Optimalizujte na pozadí. Vyhledávání pokračuje, zatímco je index optimalizován, takže naplánujte optimalizaci na klidné hodiny.
- Udržujte nejtěžší dotazy úzké. Regulární výrazy a rozsahy, které odpovídají stovkám milionů výskytů, trvají sekundy; filtry a užší vzory udržují jejich výsledky a čas malé.
Spusťte benchmark na svých dokumentech
Vaše dokumenty, dotazy a hardware určují vaše čísla, takže je změřte. Aplikace GroupDocs.Search for .NET benchmarks měří extrakci, indexování, optimalizaci a 20 typů vyhledávání, hlásí čas a maximální paměť každé operace a zapisuje vše do CSV souboru:
git clone https://github.com/groupdocs-search/full-text-search-benchmark-net.git
cd full-text-search-benchmark-net
dotnet run -c Release --project src/GroupDocs.Search.Benchmark
Před spuštěním nastavte licenci, složky a dotazy pro jazyk vašich dokumentů v horní části Program.cs. Bezplatná dočasná licence stačí: bez licence omezuje režim hodnocení počet indexovaných a nalezených dokumentů.
Zdroje
- Benchmark na GitHubu – https://github.com/groupdocs-search/full-text-search-benchmark-net
- Výkon a benchmarky – https://docs.groupdocs.com/search/net/performance-and-benchmarks/
- Poznámky k vydání 26.11 – https://releases.groupdocs.com/search/net/release-notes/2026/groupdocs-search-for-net-26-11-release-notes/
- Dokumentace – https://docs.groupdocs.com/search/net/
- Reference API – https://reference.groupdocs.com/search/net/
- Ukázky kódu – https://github.com/groupdocs-search/GroupDocs.Search-for-.NET/
- Bezplatné fórum podpory – https://forum.groupdocs.com/c/search/
- Dočasná licence – https://purchase.groupdocs.com/temporary-license/