Jak dlouho trvá indexovat milion dokumentů na obyčejném počítači? Jak velký index naroste a jak rychlé je vyhledávání poté? Místo syntetického testu jsme použili skutečný korpus téměř milionu souborů, indexovali jej pomocí GroupDocs.Search for .NET 26.11 na stolním PC a změřili každý krok.

Krátká odpověď: 919 896 dokumentů bylo indexováno za 3 hodiny 48 minut, a 17 z 20 typů vyhledávání odpovědělo za 35 až 539 ms, i když většina dotazů byla nalezena v desítkách nebo stovkách tisíc dokumentů. Benchmark je open source, takže můžete měřit své vlastní dokumenty stejným způsobem.

Výsledky v jedné tabulce

Co Výsledek
Indexováno dokumentů 919,896
Indexování 3 h 48 min, 67 dokumentů za sekundu
Velikost indexu 60,2 GB, 49,5 GB po optimalizaci
Otevření optimalizovaného indexu 9,8 s
17 z 20 typů vyhledávání 35 až 539 ms (medián 158 ms) ve opakovaných bězích
Nejtěžší dotazy 8,5 až 87 s pro výsledky v řádu milionů až stovek milionů výskytů

Nastavení

  • Počítač: Intel Core i5-11500 (6 jader, 12 vláken), 32 GB RAM, SATA SSD, Windows 10 – běžný stolní PC, ne server.
  • Software: GroupDocs.Search for .NET 26.11 na .NET 10, s výchozím nastavením indexu.
  • Dokumenty: korpus govdocs1 od Digital Corpora – téměř jeden milion souborů z webových serverů americké vlády: PDF, HTML, Word, Excel, PowerPoint, text, XML, CSV, obrázky a další. Jedná se o náročný korpus: mnoho souborů jsou tabulky a datové soubory a každé odlišné číslo nebo kód se stane termínem, takže index obsahoval 285,6 milionu unikátních termínů.
  • Metoda: text dokumentů byl jednou extrahován a uložen do souborů, aby bylo možné měřit samotné indexování. Data byla poté přidána do nového indexu po dávkách až 512 MB se 4 indexovacími vlákny, index byl optimalizován a 20 typů vyhledávání bylo spuštěno 3 krát každý.

Z 983 840 extrahovaných souborů neobsahovalo 63 943 žádný text (PostScript, gzip, Flash a dBase soubory a soubory, které šlo přečíst, mezi jinými) a jeden dokument byl pro index příliš velký, takže bylo indexováno 919 896 dokumentů.

Indexování: 920 tisíc dokumentů za méně než čtyři hodiny

Indexování trvalo 3 hodiny 48 minut, což je v průměru 67 dokumentů za sekundu, včetně 28 minut strávených čtením extrahovaných dat z disku. Index zabíral 60,2 GB v 727 segmentech.

Nejužitečnější zjištění pro plánování je, jak se měnila doba jednoho volání Index.Add s růstem indexu:

Dokumentů již v indexu Průměrná doba volání
0 to 27,000 12.7 s
208,000 to 338,000 52.7 s
497,000 to 639,000 98.9 s
639,000 to 920,000 109.4 s

Poslední volání přidalo jen 1 240 dokumentů a stále trvalo 113 s, stejně jako volání s více než 9 000 dokumenty před ním. Ve velkém indexu rozhoduje o většině času indexování počet volání, nikoli počet dokumentů. Proto přidávejte dokumenty do velkého indexu po dávkách tak velkých, jak vám umožní paměť.

Vyhledávání: desítky milisekund pro většinu dotazů

Optimalizovaný index o 28 segmentech se otevřel za 9,8 s. Každý dotaz byl poté spuštěn třikrát: první běh je to, na co první uživatel čerstvě spuštěné aplikace čeká, a opakované běhy jsou běžný případ běžící služby.

Typ vyhledávání Nalezených dokumentů První běh Opakované běhy
Jednoduché slovo 202,079 539 ms 210 ms
Boolean 44,626 251 ms 149 ms
Fráze 241,277 591 ms 539 ms
Fráze s divokými znaky 32,270 183 ms 129 ms
Divoký znak 267,231 347 ms 287 ms
Fuzzy 202,183 207 ms 157 ms
Rozlišování velikosti 47,010 52 ms 35 ms
Faceted (v poli) 151,413 148 ms 124 ms
Tvarů slov 150,522 163 ms 140 ms
Synonyma 202,299 211 ms 168 ms
Homofony 206,431 208 ms 160 ms
Oprava pravopisu 213,795 168 ms 174 ms
Oprava rozložení klávesnice 213,720 182 ms 168 ms
Aliasy 78,118 203 ms 143 ms
Filtr dokumentů (pouze PDF) 88,732 147 ms 131 ms
Vyhledávání po částech 202,079 155 ms 137 ms
Objektový dotaz 37,935 456 ms 236 ms
Číselný rozsah 703,582 25.2 s 8.5 s
Regulární výraz 609,547 27.9 s 26.5 s
Rozsah dat jednoho roku 138,876 92.1 s 87.2 s

Fuzzy vyhledávání, oprava pravopisu a oprava rozložení klávesnice jsou zde zhruba tak rychlé jako jednoduché vyhledávání slova, i když index obsahuje 285,6 milionu termínů.

Poslední tři řádky jsou úmyslně extrémní: regulární výraz odpovídal 310 milionům výskytů ve dvou třetinách všech dokumentů, číselný rozsah 231 milionům výskytů ve třech čtvrtinách z nich a rozsah dat pokrýval celý rok. Od verze 26.11 opakované běhy znovu používají slova nalezená při prvním běhu, takže opakované časy ukazují, kam čas putuje: do sběru výskytů. Uživatel zřídka potřebuje výsledek takové velikosti a kratší rozsah, konkrétnější vzor nebo filtr dokumentů udržuje výsledek a čas malé.

Celá tabulka s dotazy a počty výskytů je v dokumentaci.

Optimalizace: úkol na noc

optimalizace sloučila 727 segmentů do 28 a zmenšila index z 60,2 GB na 49,5 GB během 12 hodin 24 minut. Velikost sloučeného segmentu je omezená, takže velký index je optimalizován do několika segmentů místo jednoho. Vyhledávání není blokováno během optimalizace indexu, takže optimalizaci velkého indexu lze spustit na pozadí, například v noci.

Pět klíčových poznatků pro váš projekt

  1. Extrahujte jednou, indexujte mnohokrát. Oddělená extrakce dat ukládá extrahovaný text do souborů, takže můžete znovu vytvořit index nebo vyzkoušet jiné nastavení, aniž byste dokumenty znovu extrahovali.
  2. Indexujte ve velkých dávkách. Každé volání Index.Add stojí více s růstem indexu, takže méně, větších volání indexuje velkou kolekci mnohem rychleji.
  3. Otevřete index jednou. Otevření velkého indexu trvá sekundy; uchovejte objekt Index a provádějte na něm všechna vyhledávání – vyhledávání jsou thread-safe.
  4. Optimalizujte na pozadí. Vyhledávání pokračuje, zatímco je index optimalizován, takže naplánujte optimalizaci na klidné hodiny.
  5. Udržujte nejtěžší dotazy úzké. Regulární výrazy a rozsahy, které odpovídají stovkám milionů výskytů, trvají sekundy; filtry a užší vzory udržují jejich výsledky a čas malé.

Spusťte benchmark na svých dokumentech

Vaše dokumenty, dotazy a hardware určují vaše čísla, takže je změřte. Aplikace GroupDocs.Search for .NET benchmarks měří extrakci, indexování, optimalizaci a 20 typů vyhledávání, hlásí čas a maximální paměť každé operace a zapisuje vše do CSV souboru:

git clone https://github.com/groupdocs-search/full-text-search-benchmark-net.git
cd full-text-search-benchmark-net
dotnet run -c Release --project src/GroupDocs.Search.Benchmark

Před spuštěním nastavte licenci, složky a dotazy pro jazyk vašich dokumentů v horní části Program.cs. Bezplatná dočasná licence stačí: bez licence omezuje režim hodnocení počet indexovaných a nalezených dokumentů.

Zdroje