Bir sıradan bilgisayarda bir milyon belgeyi indekslemek ne kadar sürer? İndeks ne kadar büyür ve sonrasında arama ne kadar hızlıdır? Sentetik bir test yerine, neredeyse bir milyon dosyadan oluşan gerçek bir korpusu aldık, GroupDocs.Search for .NET 26.11 ile bir masaüstü PC’de indeksledik ve her adımı ölçtük.
Kısa cevap: 919.896 belge 3 saat 48 dakikada indekslendi, ve 20 arama türünden 17’si 35 ile 539 ms arasında yanıt verdi, ancak çoğu sorgu on binlerce ya da yüz binlerce belgede bulundu. Benchmark açık kaynaklıdır, böylece kendi belgelerinizi aynı şekilde ölçebilirsiniz.
Sonuçlar tek bir tabloda
| Ne | Sonuç |
|---|---|
| İndekslenen belgeler | 919,896 |
| İndeksleme | 3 saat 48 dk, saniyede 67 belge |
| İndeks boyutu | 60,2 GB, optimizasyondan sonra 49,5 GB |
| Optimize edilmiş indeksi açma | 9,8 s |
| 20 arama türünden 17’si | 35 ile 539 ms arasında (medyan 158 ms) tekrarlanan çalışmalarda |
| En ağır sorgular | Milyonlarca ile yüz milyonlarca oluşum için 8,5 ile 87 s arasında |
Kurulum
- Bilgisayar: Intel Core i5-11500 (6 çekirdek, 12 iş parçacığı), 32 GB RAM, bir SATA SSD, Windows 10 – sıradan bir masaüstü PC, sunucu değil.
- Yazılım: .NET 10 üzerinde GroupDocs.Search for .NET 26.11, varsayılan indeks ayarlarıyla.
- Belgeler: Digital Corpora’nın govdocs1 korpusu – ABD hükümetinin web sunucularından neredeyse bir milyon dosya: PDF, HTML, Word, Excel, PowerPoint, metin, XML, CSV, görüntüler ve daha fazlası. Zor bir korpus: dosyalarının çoğu elektronik tablo ve veri dosyası, ve her farklı sayı ya da kod bir terim haline geliyor, bu yüzden indeks 285,6 milyon benzersiz terim ile sonuçlandı.
- Yöntem: belgelerin metni bir kez çıkarıldı ve dosyalara kaydedildi, böylece indeksleme kendi başına ölçülebildi. Veri daha sonra 4 indeksleme iş parçacığıyla 512 MB’a kadar partiler halinde yeni bir indekse eklendi, indeks optimize edildi ve 20 arama türü her biri 3 kez çalıştırıldı.
983.840 çıkarılan dosyadan, 63.943’ü metin üretmedi (PostScript, gzip, Flash ve dBase dosyaları ve okunamayan dosyalar gibi), ve bir belge indeks için çok büyük olduğundan, 919.896 belge indekslendi.
İndeksleme: Dört saatten az sürede 920 bin belge
İndeksleme 3 saat 48 dakika sürdü, ortalama saniyede 67 belge, ayrıca diskteki çıkarılan veriyi okuma için 28 dakika harcandı. İndeks 727 segmentte 60,2 GB yer kapladı.
Planlama için en faydalı bulgu, Index.Add çağrısının süresinin indeks büyüdükçe nasıl değiştiğidir:
| İndekste zaten bulunan belgeler | Bir çağrının ortalama süresi |
|---|---|
| 0 ile 27.000 | 12,7 s |
| 208.000 ile 338.000 | 52,7 s |
| 497.000 ile 639.000 | 98,9 s |
| 639.000 ile 920.000 | 109,4 s |
Son çağrı sadece 1.240 belge ekledi ve yine de 113 s sürdü, öncesindeki 9.000’den fazla belge içeren çağrılar kadar. Büyük bir indekste, indeksleme süresinin çoğunu belge sayısı değil, çağrı sayısı belirler. Bu yüzden belgeleri belleğinizin izin verdiği kadar büyük partiler halinde büyük bir indekse ekleyin.
Arama: Çoğu sorgu için saniyenin onda birleri
28 segmentten oluşan optimize edilmiş indeks 9,8 s’de açıldı. Her sorgu daha sonra üç kez çalıştırıldı: ilk çalışma, yeni başlatılmış bir uygulamanın ilk kullanıcısının beklediği şeydir ve tekrarlanan çalıştırmalar, çalışan bir hizmetin normal durumudur.
| Arama türü | Bulunan belge sayısı | İlk çalışma | Tekrarlanan çalıştırmalar |
|---|---|---|---|
| Basit kelime | 202,079 | 539 ms | 210 ms |
| Mantıksal | 44,626 | 251 ms | 149 ms |
| İfade | 241,277 | 591 ms | 539 ms |
| Joker karakterli ifade | 32,270 | 183 ms | 129 ms |
| Joker karakter | 267,231 | 347 ms | 287 ms |
| Bulanık | 202,183 | 207 ms | 157 ms |
| Büyük/küçük harfe duyarlı | 47,010 | 52 ms | 35 ms |
| Facet (bir alanda) | 151,413 | 148 ms | 124 ms |
| Kelime biçimleri | 150,522 | 163 ms | 140 ms |
| Eşanlamlılar | 202,299 | 211 ms | 168 ms |
| Eşsesliler | 206,431 | 208 ms | 160 ms |
| Yazım düzeltmesi | 213,795 | 168 ms | 174 ms |
| Klavye düzeni düzeltmesi | 213,720 | 182 ms | 168 ms |
| Takma adlar | 78,118 | 203 ms | 143 ms |
| Belge filtresi (sadece PDF) | 88,732 | 147 ms | 131 ms |
| Parçalarla arama | 202,079 | 155 ms | 137 ms |
| Nesne sorgusu | 37,935 | 456 ms | 236 ms |
| Sayısal aralık | 703,582 | 25,2 s | 8,5 s |
| Düzenli ifade | 609,547 | 27,9 s | 26,5 s |
| Bir yılın tarih aralığı | 138,876 | 92,1 s | 87,2 s |
Bulanık arama, yazım düzeltmesi ve klavye düzeni düzeltmesi burada basit kelime araması kadar hızlıdır, ancak indeks 285,6 milyon terim içeriyor.
Son üç satır kasıtlı olarak aşırıdır: düzenli ifade tüm belgelerin üçte ikisinde 310 milyon oluşum eşleştirdi, sayısal aralık 231 milyon oluşum üçte üçünü kapsadı ve tarih aralığı bir yılı kapsadı. 26.11’den beri, tekrarlanan çalıştırmalar ilk çalıştırmada eşleşen kelimeleri yeniden kullanır, bu yüzden tekrarlanan süreler zamanın nereye gittiğini gösterir: oluşumları toplamak. Bir kullanıcı nadiren bu kadar büyük bir sonuç ister ve daha kısa bir aralık, daha spesifik bir desen ya da bir belge filtresi sonucu ve zamanı küçültür.
Sorgular ve oluşum sayılarını içeren tam tablo belgelendirmede yer alıyor.
Optimizasyon: Gece için bir iş
Optimizasyon 727 segmenti 28’e birleştirdi ve indeksi 60,2 GB’dan 49,5 GB’a 12 saat 24 dakika içinde küçülttü. Birleştirilmiş bir segmentin boyutu sınırlıdır, bu yüzden büyük bir indeks bir segment yerine birkaç segmente optimize edilir. Bir indeks optimize edilirken aramalar engellenmez, bu yüzden büyük bir indeksin optimizasyonu arka planda, örneğin gece çalıştırılabilir.
Projeniz için beş çıkarım
- Bir kez çıkar, birçok kez indeksle. Ayrı veri çıkarma çıkarılan metni dosyalara kaydeder, böylece belgeleri tekrar çıkarmadan indeksi yeniden oluşturabilir veya başka ayarları deneyebilirsiniz.
- Büyük partiler halinde indeksle.
Index.Addçağrısının maliyeti indeks büyüdükçe artar, bu yüzden daha az ama daha büyük çağrılar büyük bir koleksiyonu çok daha hızlı indeksler. - İndeksi bir kez aç. Büyük bir indeksi açmak saniyeler sürer;
Indexnesnesini tutun ve tüm aramaları onun üzerinde çalıştırın – aramalar iş parçacığı güvenlidir. - Arka planda optimize et. İndeks optimize edilirken aramalar çalışmaya devam eder, bu yüzden optimizasyonu sessiz saatlere planlayın.
- En ağır sorguları dar tut. Yüz milyonlarca oluşumu eşleştiren düzenli ifadeler ve aralıklar saniyeler alır; filtreler ve daha dar desenler sonuçlarını ve süresini küçük tutar.
Benchmark’ı belgelerinizde çalıştırın
Belgeleriniz, sorgularınız ve donanımınız sayılarınızı belirler, bu yüzden ölçün. GroupDocs.Search for .NET benchmark’ları uygulaması çıkarma, indeksleme, optimizasyon ve 20 arama türünü ölçer, her işlemin süresini ve en yüksek bellek kullanımını raporlar ve her şeyi bir CSV dosyasına yazar:
git clone https://github.com/groupdocs-search/full-text-search-benchmark-net.git
cd full-text-search-benchmark-net
dotnet run -c Release --project src/GroupDocs.Search.Benchmark
Çalıştırmadan önce, lisansı, klasörleri ve belgelerinizin dili için sorguları Program.cs dosyasının üst kısmında ayarlayın. Ücretsiz bir geçici lisans yeterlidir: lisans olmadan, değerlendirme modu indekslenen ve bulunan belge sayısını sınırlar.
Kaynaklar
- GitHub’da Benchmark – https://github.com/groupdocs-search/full-text-search-benchmark-net
- Performans ve benchmark’lar – https://docs.groupdocs.com/search/net/performance-and-benchmarks/
- 26.11 sürüm notları – https://releases.groupdocs.com/search/net/release-notes/2026/groupdocs-search-for-net-26-11-release-notes/
- Belgelendirme – https://docs.groupdocs.com/search/net/
- API Referansı – https://reference.groupdocs.com/search/net/
- Kod Örnekleri – https://github.com/groupdocs-search/GroupDocs.Search-for-.NET/
- Ücretsiz Destek Forumu – https://forum.groupdocs.com/c/search/
- Geçici Lisans – https://purchase.groupdocs.com/temporary-license/