Berapa lama waktu yang dibutuhkan untuk mengindeks satu juta dokumen pada komputer biasa? Seberapa besar ukuran indeks, dan seberapa cepat pencarian setelahnya? Alih‑alih tes sintetis, kami mengambil korpus nyata hampir satu juta file, mengindeksnya dengan GroupDocs.Search for .NET 26.11 pada PC desktop dan mengukur setiap langkah.

Jawaban singkat: 919.896 dokumen diindeks dalam 3 jam 48 menit, dan 17 dari 20 jenis pencarian dijawab dalam 35 hingga 539 ms, meskipun sebagian besar kueri ditemukan dalam puluhan atau ratusan ribu dokumen. Benchmark ini bersifat open source, jadi Anda dapat mengukur dokumen Anda sendiri dengan cara yang sama.

Hasil dalam satu tabel

Apa Hasil
Dokumen diindeks 919.896
Pengindeksan 3 jam 48 menit, 67 dokumen per detik
Ukuran indeks 60,2 GB, 49,5 GB setelah optimisasi
Membuka indeks yang dioptimalkan 9,8 dtk
17 dari 20 jenis pencarian 35 hingga 539 ms (median 158 ms) dalam run berulang
Kueri terberat 8,5 hingga 87 dtk untuk hasil jutaan hingga ratusan juta kemunculan

Pengaturan

  • Komputer: Intel Core i5-11500 (6 core, 12 thread), 32 GB RAM, SSD SATA, Windows 10 – PC desktop biasa, bukan server.
  • Perangkat lunak: GroupDocs.Search for .NET 26.11 pada .NET 10, dengan pengaturan indeks default.
  • Dokumen: korpus govdocs1 dari Digital Corpora – hampir satu juta file dari server web pemerintah AS: PDF, HTML, Word, Excel, PowerPoint, teks, XML, CSV, gambar, dan lainnya. Ini adalah korpus yang menantang: banyak file‑nya berupa spreadsheet dan file data, dan setiap angka atau kode yang berbeda menjadi istilah, sehingga indeks berakhir dengan 285,6 juta istilah unik.
  • Metode: teks dokumen diekstrak sekali dan disimpan ke file, sehingga pengindeksan dapat diukur secara terpisah. Data kemudian ditambahkan ke indeks baru dalam batch hingga 512 MB dengan 4 thread pengindeksan, indeks dioptimalkan, dan 20 jenis pencarian dijalankan masing‑masing 3 kali.

Dari 983.840 file yang diekstrak, 63.943 tidak menghasilkan teks (file PostScript, gzip, Flash, dBase, dan file yang tidak dapat dibaca, antara lain), dan satu dokumen terlalu besar untuk indeks, sehingga 919.896 dokumen diindeks.

Pengindeksan: 920 ribu dokumen dalam kurang dari empat jam

Pengindeksan memakan 3 jam 48 menit, atau rata‑rata 67 dokumen per detik, termasuk 28 menit yang dihabiskan untuk membaca data yang diekstrak dari disk. Indeks berukuran 60,2 GB dalam 727 segmen.

Temuan paling berguna untuk perencanaan adalah bagaimana waktu satu panggilan Index.Add berubah seiring pertumbuhan indeks:

Dokumen yang sudah ada di indeks Waktu rata‑rata per panggilan
0 hingga 27.000 12,7 dtk
208.000 hingga 338.000 52,7 dtk
497.000 hingga 639.000 98,9 dtk
639.000 hingga 920.000 109,4 dtk

Panggilan terakhir menambahkan hanya 1.240 dokumen dan masih memakan 113 dtk, sama lama dengan panggilan yang memiliki lebih dari 9.000 dokumen sebelumnya. Pada indeks besar, jumlah panggilan, bukan jumlah dokumen, yang menentukan sebagian besar waktu pengindeksan. Jadi tambahkan dokumen ke indeks besar dalam batch sebesar memori Anda memungkinkan.

Pencarian: sepersepuluh detik untuk kebanyakan kueri

Indeks yang dioptimalkan dengan 28 segmen dibuka dalam 9,8 dtk. Setiap kueri kemudian dijalankan tiga kali: run pertama adalah apa yang harus ditunggu pengguna pertama dari aplikasi yang baru dijalankan, dan run berulang adalah kasus biasa dari layanan yang berjalan.

Jenis pencarian Dokumen ditemukan Run pertama Run berulang
Kata sederhana 202.079 539 ms 210 ms
Boolean 44.626 251 ms 149 ms
Frasa 241.277 591 ms 539 ms
Frasa dengan wildcard 32.270 183 ms 129 ms
Wildcard 267.231 347 ms 287 ms
Fuzzy 202.183 207 ms 157 ms
Sensitif huruf 47.010 52 ms 35 ms
Faceted (di bidang) 151.413 148 ms 124 ms
Bentuk kata 150.522 163 ms 140 ms
Sinonim 202.299 211 ms 168 ms
Homofon 206.431 208 ms 160 ms
Koreksi ejaan 213.795 168 ms 174 ms
Koreksi tata letak keyboard 213.720 182 ms 168 ms
Alias 78.118 203 ms 143 ms
Filter dokumen (hanya PDF) 88.732 147 ms 131 ms
Pencarian per potongan 202.079 155 ms 137 ms
Kueri objek 37.935 456 ms 236 ms
Rentang numerik 703.582 25,2 s 8,5 s
Ekspresi reguler 609.547 27,9 s 26,5 s
Rentang tanggal satu tahun 138.876 92,1 s 87,2 s

Pencarian fuzzy, koreksi ejaan, dan koreksi tata letak keyboard hampir secepat pencarian kata sederhana di sini, meskipun indeks berisi 285,6 juta istilah.

Tiga baris terakhir sengaja ekstrem: ekspresi reguler mencocokkan 310 juta kemunculan pada dua pertiga semua dokumen, rentang numerik 231 juta kemunculan pada tiga perempatnya, dan rentang tanggal mencakup satu tahun penuh. Sejak 26.11, run berulang menggunakan kembali kata‑kata yang cocok pada run pertama, sehingga waktu berulang menunjukkan ke mana waktu digunakan: mengumpulkan kemunculan. Pengguna jarang membutuhkan hasil sebesar itu, dan rentang yang lebih pendek, pola yang lebih spesifik, atau filter dokumen menjaga hasil, dan waktunya, tetap kecil.

Tabel lengkap dengan kueri dan jumlah kemunculan ada di dokumentasi.

Optimisasi: pekerjaan untuk malam hari

Optimisasi menggabungkan 727 segmen menjadi 28 dan memperkecil indeks dari 60,2 GB menjadi 49,5 GB dalam 12 jam 24 menit. Ukuran segmen yang digabung terbatas, sehingga indeks besar dioptimalkan menjadi beberapa segmen bukan satu. Pencarian tidak terblokir saat indeks dioptimalkan, sehingga optimisasi indeks besar dapat berjalan di latar belakang, misalnya pada malam hari.

Lima pelajaran untuk proyek Anda

  1. Ekstrak sekali, indeks berkali‑kali. Ekstraksi data terpisah menyimpan teks yang diekstrak ke file, sehingga Anda dapat membangun kembali indeks atau mencoba pengaturan lain tanpa mengekstrak dokumen lagi.
  2. Indeks dalam batch besar. Setiap panggilan Index.Add menjadi lebih mahal seiring pertumbuhan indeks, sehingga panggilan yang lebih sedikit namun lebih besar mengindeks koleksi besar jauh lebih cepat.
  3. Buka indeks sekali saja. Membuka indeks besar memakan detik; pertahankan objek Index dan jalankan semua pencarian di atasnya – pencarian bersifat thread‑safe.
  4. Optimalkan di latar belakang. Pencarian tetap berfungsi saat indeks dioptimalkan, jadi jadwalkan optimisasi pada jam sepi.
  5. Jaga kueri terberat tetap sempit. Ekspresi reguler dan rentang yang mencocokkan ratusan juta kemunculan memakan detik; filter dan pola yang lebih sempit menjaga hasilnya, dan waktunya, tetap kecil.

Jalankan benchmark pada dokumen Anda

Dokumen, kueri, dan perangkat keras Anda menentukan angka Anda, jadi ukurlah. Aplikasi GroupDocs.Search for .NET benchmarks mengukur ekstraksi, pengindeksan, optimisasi, dan 20 jenis pencarian, melaporkan waktu dan memori puncak setiap operasi, serta menulis semuanya ke file CSV:

git clone https://github.com/groupdocs-search/full-text-search-benchmark-net.git
cd full-text-search-benchmark-net
dotnet run -c Release --project src/GroupDocs.Search.Benchmark

Sebelum menjalankan, atur lisensi, folder, dan kueri untuk bahasa dokumen Anda di bagian atas Program.cs. Sebuah lisensi sementara gratis sudah cukup: tanpa lisensi, mode evaluasi membatasi jumlah dokumen yang diindeks dan ditemukan.

Sumber Daya