Jak długo trwa indeksowanie miliona dokumentów na zwykłym komputerze? Jak duży rośnie indeks i jak szybkie jest wyszukiwanie później? Zamiast syntetycznego testu, wzięliśmy rzeczywisty korpus prawie miliona plików, zaindeksowaliśmy go przy użyciu GroupDocs.Search for .NET 26.11 na komputerze stacjonarnym i zmierzyliśmy każdy krok.

Krótka odpowiedź: 919 896 dokumentów zostało zaindeksowanych w 3 godziny 48 minut, a 17 z 20 rodzajów wyszukiwania zwróciło wyniki w 35‑539 ms, choć większość zapytań została znaleziona w dziesiątkach lub setkach tysięcy dokumentów. Benchmark jest open source, więc możesz zmierzyć własne dokumenty w ten sam sposób.

Wyniki w jednej tabeli

Co Wynik
Dokumenty zaindeksowane 919 896
Indeksowanie 3 h 48 min, 67 dokumentów na sekundę
Rozmiar indeksu 60,2 GB, 49,5 GB po optymalizacji
Otwieranie zoptymalizowanego indeksu 9,8 s
17 z 20 rodzajów wyszukiwania 35‑539 ms (mediana 158 ms) w powtarzanych uruchomieniach
Najcięższe zapytania 8,5‑87 s dla wyników od milionów do setek milionów wystąpień

Konfiguracja

  • Komputer: Intel Core i5-11500 (6 rdzeni, 12 wątków), 32 GB RAM, dysk SSD SATA, Windows 10 – zwykły komputer stacjonarny, nie serwer.
  • Oprogramowanie: GroupDocs.Search for .NET 26.11 na .NET 10, z domyślnymi ustawieniami indeksu.
  • Dokumenty: korpus govdocs1 Digital Corpora – prawie milion plików z serwerów internetowych rządu USA: PDF, HTML, Word, Excel, PowerPoint, tekst, XML, CSV, obrazy i inne. To trudny korpus: wiele plików to arkusze kalkulacyjne i pliki danych, a każdy odrębny numer lub kod staje się terminem, więc indeks zawierał 285,6 miliona unikalnych terminów.
  • Metoda: tekst dokumentów został wyodrębniony raz i zapisany do plików, aby indeksowanie można było zmierzyć oddzielnie. Dane zostały następnie dodane do nowego indeksu w partiach do 512 MB przy użyciu 4 wątków indeksowania, indeks został zoptymalizowany, a 20 rodzajów wyszukiwania uruchomiono po 3 razy każdy.

Z 983 840 wyodrębnionych plików, 63 943 nie zawierało tekstu (PostScript, gzip, Flash i pliki dBase oraz pliki, które nie mogły zostać odczytane, między innymi), a jeden dokument był zbyt duży dla indeksu, więc zaindeksowano 919 896 dokumentów.

Indeksowanie: 920 tysięcy dokumentów w mniej niż cztery godziny

Indeksowanie zajęło 3 godziny 48 minut, czyli średnio 67 dokumentów na sekundę, wliczając 28 minut spędzonych na odczycie wyodrębnionych danych z dysku. Indeks zajmował 60,2 GB w 727 segmentach.

Najbardziej przydatnym wnioskiem przy planowaniu jest to, jak zmieniał się czas jednego wywołania Index.Add w miarę wzrostu indeksu:

Dokumenty już w indeksie Średni czas wywołania
0 to 27,000 12,7 s
208,000 to 338,000 52,7 s
497,000 to 639,000 98,9 s
639,000 to 920,000 109,4 s

Ostatnie wywołanie dodało tylko 1 240 dokumentów i nadal zajęło 113 s, tak długo jak wywołania z ponad 9 000 dokumentami przed nim. W dużym indeksie liczba wywołań, a nie liczba dokumentów, decyduje o większości czasu indeksowania. Dlatego dodawaj dokumenty do dużego indeksu w partiach tak dużych, jak pozwala pamięć.

Wyszukiwanie: dziesiątki sekundy dla większości zapytań

Zoptymalizowany indeks składający się z 28 segmentów otwarto w 9,8 s. Każde zapytanie uruchomiono następnie trzy razy: pierwsze uruchomienie to czas, na który czeka pierwszy użytkownik świeżo uruchomionej aplikacji, a powtarzane uruchomienia to typowy przypadek działającej usługi.

Rodzaj wyszukiwania Znalezione dokumenty Pierwsze uruchomienie Powtarzane uruchomienia
Proste słowo 202,079 539 ms 210 ms
Boolean 44,626 251 ms 149 ms
Fraza 241,277 591 ms 539 ms
Fraza z wieloznacznikami 32,270 183 ms 129 ms
Wieloznacznik 267,231 347 ms 287 ms
Fuzzy 202,183 207 ms 157 ms
Rozróżnianie wielkości liter 47,010 52 ms 35 ms
Fasadowe (w polu) 151,413 148 ms 124 ms
Formy słów 150,522 163 ms 140 ms
Synonimy 202,299 211 ms 168 ms
Homofony 206,431 208 ms 160 ms
Korekta pisowni 213,795 168 ms 174 ms
Korekta układu klawiatury 213,720 182 ms 168 ms
Aliasy 78,118 203 ms 143 ms
Filtr dokumentów (tylko PDF) 88,732 147 ms 131 ms
Wyszukiwanie po fragmentach 202,079 155 ms 137 ms
Zapytanie obiektowe 37,935 456 ms 236 ms
Zakres numeryczny 703,582 25,2 s 8,5 s
Wyrażenie regularne 609,547 27,9 s 26,5 s
Zakres datowy roku 138,876 92,1 s 87,2 s

Wyszukiwanie fuzzy, korekta pisowni i korekta układu klawiatury są tutaj mniej więcej tak szybkie jak proste wyszukiwanie słowa, mimo że indeks zawiera 285,6 miliona terminów.

Ostatnie trzy wiersze są celowo ekstremalne: wyrażenie regularne dopasowało 310 milionów wystąpień w dwóch trzecich wszystkich dokumentów, zakres numeryczny 231 milionów wystąpień w trzech czwartych z nich, a zakres dat obejmował cały rok. Od wersji 26.11 powtarzane uruchomienia ponownie wykorzystują słowa dopasowane w pierwszym uruchomieniu, więc czasy powtórzeń pokazują, gdzie trafia czas: na zbieranie wystąpień. Użytkownik rzadko potrzebuje wyniku o takiej wielkości, a krótszy zakres, bardziej konkretny wzorzec lub filtr dokumentów utrzymują wynik i czas w małej skali.

Pełna tabela z zapytaniami i liczbą wystąpień znajduje się w dokumentacji.

Optymalizacja: zadanie na noc

Optymalizacja połączyła 727 segmentów w 28 i zmniejszyła rozmiar indeksu z 60,2 GB do 49,5 GB w 12 godzin 24 minuty. Rozmiar połączonego segmentu jest ograniczony, więc duży indeks jest optymalizowany do kilku segmentów, a nie jednego. Wyszukiwania nie są blokowane podczas optymalizacji indeksu, więc optymalizacja dużego indeksu może działać w tle, na przykład w nocy.

Pięć wniosków dla Twojego projektu

  1. Wyodrębnij raz, indeksuj wiele razy. Oddzielne wyodrębnianie danych zapisuje wyodrębniony tekst do plików, dzięki czemu możesz odbudować indeks lub wypróbować inne ustawienia bez ponownego wyodrębniania dokumentów.
  2. Indeksuj w dużych partiach. Każde wywołanie Index.Add kosztuje więcej w miarę wzrostu indeksu, więc mniejsza liczba większych wywołań indeksuje dużą kolekcję znacznie szybciej.
  3. Otwórz indeks raz. Otwieranie dużego indeksu zajmuje sekundy; zachowaj obiekt Index i wykonuj wszystkie wyszukiwania na nim – wyszukiwania są wątkowo‑bezpieczne.
  4. Optymalizuj w tle. Wyszukiwania działają dalej, gdy indeks jest optymalizowany, więc zaplanuj optymalizację na godziny ciszy.
  5. Utrzymuj najcięższe zapytania wąskie. Wyrażenia regularne i zakresy dopasowujące setki milionów wystąpień zajmują sekundy; filtry i węższe wzorce utrzymują ich wyniki i czas w małej skali.

Uruchom benchmark na swoich dokumentach

Twoje dokumenty, zapytania i sprzęt decydują o Twoich wynikach, więc je zmierz. Aplikacja GroupDocs.Search for .NET benchmarks mierzy wyodrębnianie, indeksowanie, optymalizację i 20 rodzajów wyszukiwania, raportuje czas i maksymalne zużycie pamięci każdej operacji oraz zapisuje wszystko do pliku CSV:

git clone https://github.com/groupdocs-search/full-text-search-benchmark-net.git
cd full-text-search-benchmark-net
dotnet run -c Release --project src/GroupDocs.Search.Benchmark

Przed uruchomieniem ustaw licencję, foldery i zapytania dla języka Twoich dokumentów na początku pliku Program.cs. Darmowa tymczasowa licencja wystarczy: bez licencji tryb ewaluacji ogranicza liczbę zaindeksowanych i znalezionych dokumentów.

Zasoby