Jak długo trwa indeksowanie miliona dokumentów na zwykłym komputerze? Jak duży rośnie indeks i jak szybkie jest wyszukiwanie później? Zamiast syntetycznego testu, wzięliśmy rzeczywisty korpus prawie miliona plików, zaindeksowaliśmy go przy użyciu GroupDocs.Search for .NET 26.11 na komputerze stacjonarnym i zmierzyliśmy każdy krok.
Krótka odpowiedź: 919 896 dokumentów zostało zaindeksowanych w 3 godziny 48 minut, a 17 z 20 rodzajów wyszukiwania zwróciło wyniki w 35‑539 ms, choć większość zapytań została znaleziona w dziesiątkach lub setkach tysięcy dokumentów. Benchmark jest open source, więc możesz zmierzyć własne dokumenty w ten sam sposób.
Wyniki w jednej tabeli
| Co | Wynik |
|---|---|
| Dokumenty zaindeksowane | 919 896 |
| Indeksowanie | 3 h 48 min, 67 dokumentów na sekundę |
| Rozmiar indeksu | 60,2 GB, 49,5 GB po optymalizacji |
| Otwieranie zoptymalizowanego indeksu | 9,8 s |
| 17 z 20 rodzajów wyszukiwania | 35‑539 ms (mediana 158 ms) w powtarzanych uruchomieniach |
| Najcięższe zapytania | 8,5‑87 s dla wyników od milionów do setek milionów wystąpień |
Konfiguracja
- Komputer: Intel Core i5-11500 (6 rdzeni, 12 wątków), 32 GB RAM, dysk SSD SATA, Windows 10 – zwykły komputer stacjonarny, nie serwer.
- Oprogramowanie: GroupDocs.Search for .NET 26.11 na .NET 10, z domyślnymi ustawieniami indeksu.
- Dokumenty: korpus govdocs1 Digital Corpora – prawie milion plików z serwerów internetowych rządu USA: PDF, HTML, Word, Excel, PowerPoint, tekst, XML, CSV, obrazy i inne. To trudny korpus: wiele plików to arkusze kalkulacyjne i pliki danych, a każdy odrębny numer lub kod staje się terminem, więc indeks zawierał 285,6 miliona unikalnych terminów.
- Metoda: tekst dokumentów został wyodrębniony raz i zapisany do plików, aby indeksowanie można było zmierzyć oddzielnie. Dane zostały następnie dodane do nowego indeksu w partiach do 512 MB przy użyciu 4 wątków indeksowania, indeks został zoptymalizowany, a 20 rodzajów wyszukiwania uruchomiono po 3 razy każdy.
Z 983 840 wyodrębnionych plików, 63 943 nie zawierało tekstu (PostScript, gzip, Flash i pliki dBase oraz pliki, które nie mogły zostać odczytane, między innymi), a jeden dokument był zbyt duży dla indeksu, więc zaindeksowano 919 896 dokumentów.
Indeksowanie: 920 tysięcy dokumentów w mniej niż cztery godziny
Indeksowanie zajęło 3 godziny 48 minut, czyli średnio 67 dokumentów na sekundę, wliczając 28 minut spędzonych na odczycie wyodrębnionych danych z dysku. Indeks zajmował 60,2 GB w 727 segmentach.
Najbardziej przydatnym wnioskiem przy planowaniu jest to, jak zmieniał się czas jednego wywołania Index.Add w miarę wzrostu indeksu:
| Dokumenty już w indeksie | Średni czas wywołania |
|---|---|
| 0 to 27,000 | 12,7 s |
| 208,000 to 338,000 | 52,7 s |
| 497,000 to 639,000 | 98,9 s |
| 639,000 to 920,000 | 109,4 s |
Ostatnie wywołanie dodało tylko 1 240 dokumentów i nadal zajęło 113 s, tak długo jak wywołania z ponad 9 000 dokumentami przed nim. W dużym indeksie liczba wywołań, a nie liczba dokumentów, decyduje o większości czasu indeksowania. Dlatego dodawaj dokumenty do dużego indeksu w partiach tak dużych, jak pozwala pamięć.
Wyszukiwanie: dziesiątki sekundy dla większości zapytań
Zoptymalizowany indeks składający się z 28 segmentów otwarto w 9,8 s. Każde zapytanie uruchomiono następnie trzy razy: pierwsze uruchomienie to czas, na który czeka pierwszy użytkownik świeżo uruchomionej aplikacji, a powtarzane uruchomienia to typowy przypadek działającej usługi.
| Rodzaj wyszukiwania | Znalezione dokumenty | Pierwsze uruchomienie | Powtarzane uruchomienia |
|---|---|---|---|
| Proste słowo | 202,079 | 539 ms | 210 ms |
| Boolean | 44,626 | 251 ms | 149 ms |
| Fraza | 241,277 | 591 ms | 539 ms |
| Fraza z wieloznacznikami | 32,270 | 183 ms | 129 ms |
| Wieloznacznik | 267,231 | 347 ms | 287 ms |
| Fuzzy | 202,183 | 207 ms | 157 ms |
| Rozróżnianie wielkości liter | 47,010 | 52 ms | 35 ms |
| Fasadowe (w polu) | 151,413 | 148 ms | 124 ms |
| Formy słów | 150,522 | 163 ms | 140 ms |
| Synonimy | 202,299 | 211 ms | 168 ms |
| Homofony | 206,431 | 208 ms | 160 ms |
| Korekta pisowni | 213,795 | 168 ms | 174 ms |
| Korekta układu klawiatury | 213,720 | 182 ms | 168 ms |
| Aliasy | 78,118 | 203 ms | 143 ms |
| Filtr dokumentów (tylko PDF) | 88,732 | 147 ms | 131 ms |
| Wyszukiwanie po fragmentach | 202,079 | 155 ms | 137 ms |
| Zapytanie obiektowe | 37,935 | 456 ms | 236 ms |
| Zakres numeryczny | 703,582 | 25,2 s | 8,5 s |
| Wyrażenie regularne | 609,547 | 27,9 s | 26,5 s |
| Zakres datowy roku | 138,876 | 92,1 s | 87,2 s |
Wyszukiwanie fuzzy, korekta pisowni i korekta układu klawiatury są tutaj mniej więcej tak szybkie jak proste wyszukiwanie słowa, mimo że indeks zawiera 285,6 miliona terminów.
Ostatnie trzy wiersze są celowo ekstremalne: wyrażenie regularne dopasowało 310 milionów wystąpień w dwóch trzecich wszystkich dokumentów, zakres numeryczny 231 milionów wystąpień w trzech czwartych z nich, a zakres dat obejmował cały rok. Od wersji 26.11 powtarzane uruchomienia ponownie wykorzystują słowa dopasowane w pierwszym uruchomieniu, więc czasy powtórzeń pokazują, gdzie trafia czas: na zbieranie wystąpień. Użytkownik rzadko potrzebuje wyniku o takiej wielkości, a krótszy zakres, bardziej konkretny wzorzec lub filtr dokumentów utrzymują wynik i czas w małej skali.
Pełna tabela z zapytaniami i liczbą wystąpień znajduje się w dokumentacji.
Optymalizacja: zadanie na noc
Optymalizacja połączyła 727 segmentów w 28 i zmniejszyła rozmiar indeksu z 60,2 GB do 49,5 GB w 12 godzin 24 minuty. Rozmiar połączonego segmentu jest ograniczony, więc duży indeks jest optymalizowany do kilku segmentów, a nie jednego. Wyszukiwania nie są blokowane podczas optymalizacji indeksu, więc optymalizacja dużego indeksu może działać w tle, na przykład w nocy.
Pięć wniosków dla Twojego projektu
- Wyodrębnij raz, indeksuj wiele razy. Oddzielne wyodrębnianie danych zapisuje wyodrębniony tekst do plików, dzięki czemu możesz odbudować indeks lub wypróbować inne ustawienia bez ponownego wyodrębniania dokumentów.
- Indeksuj w dużych partiach. Każde wywołanie
Index.Addkosztuje więcej w miarę wzrostu indeksu, więc mniejsza liczba większych wywołań indeksuje dużą kolekcję znacznie szybciej. - Otwórz indeks raz. Otwieranie dużego indeksu zajmuje sekundy; zachowaj obiekt
Indexi wykonuj wszystkie wyszukiwania na nim – wyszukiwania są wątkowo‑bezpieczne. - Optymalizuj w tle. Wyszukiwania działają dalej, gdy indeks jest optymalizowany, więc zaplanuj optymalizację na godziny ciszy.
- Utrzymuj najcięższe zapytania wąskie. Wyrażenia regularne i zakresy dopasowujące setki milionów wystąpień zajmują sekundy; filtry i węższe wzorce utrzymują ich wyniki i czas w małej skali.
Uruchom benchmark na swoich dokumentach
Twoje dokumenty, zapytania i sprzęt decydują o Twoich wynikach, więc je zmierz. Aplikacja GroupDocs.Search for .NET benchmarks mierzy wyodrębnianie, indeksowanie, optymalizację i 20 rodzajów wyszukiwania, raportuje czas i maksymalne zużycie pamięci każdej operacji oraz zapisuje wszystko do pliku CSV:
git clone https://github.com/groupdocs-search/full-text-search-benchmark-net.git
cd full-text-search-benchmark-net
dotnet run -c Release --project src/GroupDocs.Search.Benchmark
Przed uruchomieniem ustaw licencję, foldery i zapytania dla języka Twoich dokumentów na początku pliku Program.cs. Darmowa tymczasowa licencja wystarczy: bez licencji tryb ewaluacji ogranicza liczbę zaindeksowanych i znalezionych dokumentów.
Zasoby
- Benchmark na GitHub – https://github.com/groupdocs-search/full-text-search-benchmark-net
- Wydajność i benchmarki – https://docs.groupdocs.com/search/net/performance-and-benchmarks/
- Notatki wydania 26.11 – https://releases.groupdocs.com/search/net/release-notes/2026/groupdocs-search-for-net-26-11-release-notes/
- Dokumentacja – https://docs.groupdocs.com/search/net/
- Referencja API – https://reference.groupdocs.com/search/net/
- Przykłady kodu – https://github.com/groupdocs-search/GroupDocs.Search-for-.NET/
- Free Support Forum – https://forum.groupdocs.com/c/search/
- Tymczasowa licencja – https://purchase.groupdocs.com/temporary-license/