Bir sıradan bilgisayarda bir milyon belgeyi indekslemek ne kadar sürer? İndeks ne kadar büyür ve sonrasında arama ne kadar hızlıdır? Sentetik bir test yerine, neredeyse bir milyon dosyadan oluşan gerçek bir korpusu aldık, GroupDocs.Search for .NET 26.11 ile bir masaüstü PC’de indeksledik ve her adımı ölçtük.

Kısa cevap: 919.896 belge 3 saat 48 dakikada indekslendi, ve 20 arama türünden 17’si 35 ile 539 ms arasında yanıt verdi, ancak çoğu sorgu on binlerce ya da yüz binlerce belgede bulundu. Benchmark açık kaynaklıdır, böylece kendi belgelerinizi aynı şekilde ölçebilirsiniz.

Sonuçlar tek bir tabloda

Ne Sonuç
İndekslenen belgeler 919,896
İndeksleme 3 saat 48 dk, saniyede 67 belge
İndeks boyutu 60,2 GB, optimizasyondan sonra 49,5 GB
Optimize edilmiş indeksi açma 9,8 s
20 arama türünden 17’si 35 ile 539 ms arasında (medyan 158 ms) tekrarlanan çalışmalarda
En ağır sorgular Milyonlarca ile yüz milyonlarca oluşum için 8,5 ile 87 s arasında

Kurulum

  • Bilgisayar: Intel Core i5-11500 (6 çekirdek, 12 iş parçacığı), 32 GB RAM, bir SATA SSD, Windows 10 – sıradan bir masaüstü PC, sunucu değil.
  • Yazılım: .NET 10 üzerinde GroupDocs.Search for .NET 26.11, varsayılan indeks ayarlarıyla.
  • Belgeler: Digital Corpora’nın govdocs1 korpusu – ABD hükümetinin web sunucularından neredeyse bir milyon dosya: PDF, HTML, Word, Excel, PowerPoint, metin, XML, CSV, görüntüler ve daha fazlası. Zor bir korpus: dosyalarının çoğu elektronik tablo ve veri dosyası, ve her farklı sayı ya da kod bir terim haline geliyor, bu yüzden indeks 285,6 milyon benzersiz terim ile sonuçlandı.
  • Yöntem: belgelerin metni bir kez çıkarıldı ve dosyalara kaydedildi, böylece indeksleme kendi başına ölçülebildi. Veri daha sonra 4 indeksleme iş parçacığıyla 512 MB’a kadar partiler halinde yeni bir indekse eklendi, indeks optimize edildi ve 20 arama türü her biri 3 kez çalıştırıldı.

983.840 çıkarılan dosyadan, 63.943’ü metin üretmedi (PostScript, gzip, Flash ve dBase dosyaları ve okunamayan dosyalar gibi), ve bir belge indeks için çok büyük olduğundan, 919.896 belge indekslendi.

İndeksleme: Dört saatten az sürede 920 bin belge

İndeksleme 3 saat 48 dakika sürdü, ortalama saniyede 67 belge, ayrıca diskteki çıkarılan veriyi okuma için 28 dakika harcandı. İndeks 727 segmentte 60,2 GB yer kapladı.

Planlama için en faydalı bulgu, Index.Add çağrısının süresinin indeks büyüdükçe nasıl değiştiğidir:

İndekste zaten bulunan belgeler Bir çağrının ortalama süresi
0 ile 27.000 12,7 s
208.000 ile 338.000 52,7 s
497.000 ile 639.000 98,9 s
639.000 ile 920.000 109,4 s

Son çağrı sadece 1.240 belge ekledi ve yine de 113 s sürdü, öncesindeki 9.000’den fazla belge içeren çağrılar kadar. Büyük bir indekste, indeksleme süresinin çoğunu belge sayısı değil, çağrı sayısı belirler. Bu yüzden belgeleri belleğinizin izin verdiği kadar büyük partiler halinde büyük bir indekse ekleyin.

Arama: Çoğu sorgu için saniyenin onda birleri

28 segmentten oluşan optimize edilmiş indeks 9,8 s’de açıldı. Her sorgu daha sonra üç kez çalıştırıldı: ilk çalışma, yeni başlatılmış bir uygulamanın ilk kullanıcısının beklediği şeydir ve tekrarlanan çalıştırmalar, çalışan bir hizmetin normal durumudur.

Arama türü Bulunan belge sayısı İlk çalışma Tekrarlanan çalıştırmalar
Basit kelime 202,079 539 ms 210 ms
Mantıksal 44,626 251 ms 149 ms
İfade 241,277 591 ms 539 ms
Joker karakterli ifade 32,270 183 ms 129 ms
Joker karakter 267,231 347 ms 287 ms
Bulanık 202,183 207 ms 157 ms
Büyük/küçük harfe duyarlı 47,010 52 ms 35 ms
Facet (bir alanda) 151,413 148 ms 124 ms
Kelime biçimleri 150,522 163 ms 140 ms
Eşanlamlılar 202,299 211 ms 168 ms
Eşsesliler 206,431 208 ms 160 ms
Yazım düzeltmesi 213,795 168 ms 174 ms
Klavye düzeni düzeltmesi 213,720 182 ms 168 ms
Takma adlar 78,118 203 ms 143 ms
Belge filtresi (sadece PDF) 88,732 147 ms 131 ms
Parçalarla arama 202,079 155 ms 137 ms
Nesne sorgusu 37,935 456 ms 236 ms
Sayısal aralık 703,582 25,2 s 8,5 s
Düzenli ifade 609,547 27,9 s 26,5 s
Bir yılın tarih aralığı 138,876 92,1 s 87,2 s

Bulanık arama, yazım düzeltmesi ve klavye düzeni düzeltmesi burada basit kelime araması kadar hızlıdır, ancak indeks 285,6 milyon terim içeriyor.

Son üç satır kasıtlı olarak aşırıdır: düzenli ifade tüm belgelerin üçte ikisinde 310 milyon oluşum eşleştirdi, sayısal aralık 231 milyon oluşum üçte üçünü kapsadı ve tarih aralığı bir yılı kapsadı. 26.11’den beri, tekrarlanan çalıştırmalar ilk çalıştırmada eşleşen kelimeleri yeniden kullanır, bu yüzden tekrarlanan süreler zamanın nereye gittiğini gösterir: oluşumları toplamak. Bir kullanıcı nadiren bu kadar büyük bir sonuç ister ve daha kısa bir aralık, daha spesifik bir desen ya da bir belge filtresi sonucu ve zamanı küçültür.

Sorgular ve oluşum sayılarını içeren tam tablo belgelendirmede yer alıyor.

Optimizasyon: Gece için bir iş

Optimizasyon 727 segmenti 28’e birleştirdi ve indeksi 60,2 GB’dan 49,5 GB’a 12 saat 24 dakika içinde küçülttü. Birleştirilmiş bir segmentin boyutu sınırlıdır, bu yüzden büyük bir indeks bir segment yerine birkaç segmente optimize edilir. Bir indeks optimize edilirken aramalar engellenmez, bu yüzden büyük bir indeksin optimizasyonu arka planda, örneğin gece çalıştırılabilir.

Projeniz için beş çıkarım

  1. Bir kez çıkar, birçok kez indeksle. Ayrı veri çıkarma çıkarılan metni dosyalara kaydeder, böylece belgeleri tekrar çıkarmadan indeksi yeniden oluşturabilir veya başka ayarları deneyebilirsiniz.
  2. Büyük partiler halinde indeksle. Index.Add çağrısının maliyeti indeks büyüdükçe artar, bu yüzden daha az ama daha büyük çağrılar büyük bir koleksiyonu çok daha hızlı indeksler.
  3. İndeksi bir kez aç. Büyük bir indeksi açmak saniyeler sürer; Index nesnesini tutun ve tüm aramaları onun üzerinde çalıştırın – aramalar iş parçacığı güvenlidir.
  4. Arka planda optimize et. İndeks optimize edilirken aramalar çalışmaya devam eder, bu yüzden optimizasyonu sessiz saatlere planlayın.
  5. En ağır sorguları dar tut. Yüz milyonlarca oluşumu eşleştiren düzenli ifadeler ve aralıklar saniyeler alır; filtreler ve daha dar desenler sonuçlarını ve süresini küçük tutar.

Benchmark’ı belgelerinizde çalıştırın

Belgeleriniz, sorgularınız ve donanımınız sayılarınızı belirler, bu yüzden ölçün. GroupDocs.Search for .NET benchmark’ları uygulaması çıkarma, indeksleme, optimizasyon ve 20 arama türünü ölçer, her işlemin süresini ve en yüksek bellek kullanımını raporlar ve her şeyi bir CSV dosyasına yazar:

git clone https://github.com/groupdocs-search/full-text-search-benchmark-net.git
cd full-text-search-benchmark-net
dotnet run -c Release --project src/GroupDocs.Search.Benchmark

Çalıştırmadan önce, lisansı, klasörleri ve belgelerinizin dili için sorguları Program.cs dosyasının üst kısmında ayarlayın. Ücretsiz bir geçici lisans yeterlidir: lisans olmadan, değerlendirme modu indekslenen ve bulunan belge sayısını sınırlar.

Kaynaklar