Berapa lama waktu yang dibutuhkan untuk mengindeks satu juta dokumen pada komputer biasa? Seberapa besar ukuran indeks, dan seberapa cepat pencarian setelahnya? Alih‑alih tes sintetis, kami mengambil korpus nyata hampir satu juta file, mengindeksnya dengan GroupDocs.Search for .NET 26.11 pada PC desktop dan mengukur setiap langkah.
Jawaban singkat: 919.896 dokumen diindeks dalam 3 jam 48 menit, dan 17 dari 20 jenis pencarian dijawab dalam 35 hingga 539 ms, meskipun sebagian besar kueri ditemukan dalam puluhan atau ratusan ribu dokumen. Benchmark ini bersifat open source, jadi Anda dapat mengukur dokumen Anda sendiri dengan cara yang sama.
Hasil dalam satu tabel
| Apa | Hasil |
|---|---|
| Dokumen diindeks | 919.896 |
| Pengindeksan | 3 jam 48 menit, 67 dokumen per detik |
| Ukuran indeks | 60,2 GB, 49,5 GB setelah optimisasi |
| Membuka indeks yang dioptimalkan | 9,8 dtk |
| 17 dari 20 jenis pencarian | 35 hingga 539 ms (median 158 ms) dalam run berulang |
| Kueri terberat | 8,5 hingga 87 dtk untuk hasil jutaan hingga ratusan juta kemunculan |
Pengaturan
- Komputer: Intel Core i5-11500 (6 core, 12 thread), 32 GB RAM, SSD SATA, Windows 10 – PC desktop biasa, bukan server.
- Perangkat lunak: GroupDocs.Search for .NET 26.11 pada .NET 10, dengan pengaturan indeks default.
- Dokumen: korpus govdocs1 dari Digital Corpora – hampir satu juta file dari server web pemerintah AS: PDF, HTML, Word, Excel, PowerPoint, teks, XML, CSV, gambar, dan lainnya. Ini adalah korpus yang menantang: banyak file‑nya berupa spreadsheet dan file data, dan setiap angka atau kode yang berbeda menjadi istilah, sehingga indeks berakhir dengan 285,6 juta istilah unik.
- Metode: teks dokumen diekstrak sekali dan disimpan ke file, sehingga pengindeksan dapat diukur secara terpisah. Data kemudian ditambahkan ke indeks baru dalam batch hingga 512 MB dengan 4 thread pengindeksan, indeks dioptimalkan, dan 20 jenis pencarian dijalankan masing‑masing 3 kali.
Dari 983.840 file yang diekstrak, 63.943 tidak menghasilkan teks (file PostScript, gzip, Flash, dBase, dan file yang tidak dapat dibaca, antara lain), dan satu dokumen terlalu besar untuk indeks, sehingga 919.896 dokumen diindeks.
Pengindeksan: 920 ribu dokumen dalam kurang dari empat jam
Pengindeksan memakan 3 jam 48 menit, atau rata‑rata 67 dokumen per detik, termasuk 28 menit yang dihabiskan untuk membaca data yang diekstrak dari disk. Indeks berukuran 60,2 GB dalam 727 segmen.
Temuan paling berguna untuk perencanaan adalah bagaimana waktu satu panggilan Index.Add berubah seiring pertumbuhan indeks:
| Dokumen yang sudah ada di indeks | Waktu rata‑rata per panggilan |
|---|---|
| 0 hingga 27.000 | 12,7 dtk |
| 208.000 hingga 338.000 | 52,7 dtk |
| 497.000 hingga 639.000 | 98,9 dtk |
| 639.000 hingga 920.000 | 109,4 dtk |
Panggilan terakhir menambahkan hanya 1.240 dokumen dan masih memakan 113 dtk, sama lama dengan panggilan yang memiliki lebih dari 9.000 dokumen sebelumnya. Pada indeks besar, jumlah panggilan, bukan jumlah dokumen, yang menentukan sebagian besar waktu pengindeksan. Jadi tambahkan dokumen ke indeks besar dalam batch sebesar memori Anda memungkinkan.
Pencarian: sepersepuluh detik untuk kebanyakan kueri
Indeks yang dioptimalkan dengan 28 segmen dibuka dalam 9,8 dtk. Setiap kueri kemudian dijalankan tiga kali: run pertama adalah apa yang harus ditunggu pengguna pertama dari aplikasi yang baru dijalankan, dan run berulang adalah kasus biasa dari layanan yang berjalan.
| Jenis pencarian | Dokumen ditemukan | Run pertama | Run berulang |
|---|---|---|---|
| Kata sederhana | 202.079 | 539 ms | 210 ms |
| Boolean | 44.626 | 251 ms | 149 ms |
| Frasa | 241.277 | 591 ms | 539 ms |
| Frasa dengan wildcard | 32.270 | 183 ms | 129 ms |
| Wildcard | 267.231 | 347 ms | 287 ms |
| Fuzzy | 202.183 | 207 ms | 157 ms |
| Sensitif huruf | 47.010 | 52 ms | 35 ms |
| Faceted (di bidang) | 151.413 | 148 ms | 124 ms |
| Bentuk kata | 150.522 | 163 ms | 140 ms |
| Sinonim | 202.299 | 211 ms | 168 ms |
| Homofon | 206.431 | 208 ms | 160 ms |
| Koreksi ejaan | 213.795 | 168 ms | 174 ms |
| Koreksi tata letak keyboard | 213.720 | 182 ms | 168 ms |
| Alias | 78.118 | 203 ms | 143 ms |
| Filter dokumen (hanya PDF) | 88.732 | 147 ms | 131 ms |
| Pencarian per potongan | 202.079 | 155 ms | 137 ms |
| Kueri objek | 37.935 | 456 ms | 236 ms |
| Rentang numerik | 703.582 | 25,2 s | 8,5 s |
| Ekspresi reguler | 609.547 | 27,9 s | 26,5 s |
| Rentang tanggal satu tahun | 138.876 | 92,1 s | 87,2 s |
Pencarian fuzzy, koreksi ejaan, dan koreksi tata letak keyboard hampir secepat pencarian kata sederhana di sini, meskipun indeks berisi 285,6 juta istilah.
Tiga baris terakhir sengaja ekstrem: ekspresi reguler mencocokkan 310 juta kemunculan pada dua pertiga semua dokumen, rentang numerik 231 juta kemunculan pada tiga perempatnya, dan rentang tanggal mencakup satu tahun penuh. Sejak 26.11, run berulang menggunakan kembali kata‑kata yang cocok pada run pertama, sehingga waktu berulang menunjukkan ke mana waktu digunakan: mengumpulkan kemunculan. Pengguna jarang membutuhkan hasil sebesar itu, dan rentang yang lebih pendek, pola yang lebih spesifik, atau filter dokumen menjaga hasil, dan waktunya, tetap kecil.
Tabel lengkap dengan kueri dan jumlah kemunculan ada di dokumentasi.
Optimisasi: pekerjaan untuk malam hari
Optimisasi menggabungkan 727 segmen menjadi 28 dan memperkecil indeks dari 60,2 GB menjadi 49,5 GB dalam 12 jam 24 menit. Ukuran segmen yang digabung terbatas, sehingga indeks besar dioptimalkan menjadi beberapa segmen bukan satu. Pencarian tidak terblokir saat indeks dioptimalkan, sehingga optimisasi indeks besar dapat berjalan di latar belakang, misalnya pada malam hari.
Lima pelajaran untuk proyek Anda
- Ekstrak sekali, indeks berkali‑kali. Ekstraksi data terpisah menyimpan teks yang diekstrak ke file, sehingga Anda dapat membangun kembali indeks atau mencoba pengaturan lain tanpa mengekstrak dokumen lagi.
- Indeks dalam batch besar. Setiap panggilan
Index.Addmenjadi lebih mahal seiring pertumbuhan indeks, sehingga panggilan yang lebih sedikit namun lebih besar mengindeks koleksi besar jauh lebih cepat. - Buka indeks sekali saja. Membuka indeks besar memakan detik; pertahankan objek
Indexdan jalankan semua pencarian di atasnya – pencarian bersifat thread‑safe. - Optimalkan di latar belakang. Pencarian tetap berfungsi saat indeks dioptimalkan, jadi jadwalkan optimisasi pada jam sepi.
- Jaga kueri terberat tetap sempit. Ekspresi reguler dan rentang yang mencocokkan ratusan juta kemunculan memakan detik; filter dan pola yang lebih sempit menjaga hasilnya, dan waktunya, tetap kecil.
Jalankan benchmark pada dokumen Anda
Dokumen, kueri, dan perangkat keras Anda menentukan angka Anda, jadi ukurlah. Aplikasi GroupDocs.Search for .NET benchmarks mengukur ekstraksi, pengindeksan, optimisasi, dan 20 jenis pencarian, melaporkan waktu dan memori puncak setiap operasi, serta menulis semuanya ke file CSV:
git clone https://github.com/groupdocs-search/full-text-search-benchmark-net.git
cd full-text-search-benchmark-net
dotnet run -c Release --project src/GroupDocs.Search.Benchmark
Sebelum menjalankan, atur lisensi, folder, dan kueri untuk bahasa dokumen Anda di bagian atas Program.cs. Sebuah lisensi sementara gratis sudah cukup: tanpa lisensi, mode evaluasi membatasi jumlah dokumen yang diindeks dan ditemukan.
Sumber Daya
- Benchmark di GitHub – https://github.com/groupdocs-search/full-text-search-benchmark-net
- Kinerja dan benchmark – https://docs.groupdocs.com/search/net/performance-and-benchmarks/
- Catatan rilis 26.11 – https://releases.groupdocs.com/search/net/release-notes/2026/groupdocs-search-for-net-26-11-release-notes/
- Dokumentasi – https://docs.groupdocs.com/search/net/
- Referensi API – https://reference.groupdocs.com/search/net/
- Contoh Kode – https://github.com/groupdocs-search/GroupDocs.Search-for-.NET/
- Forum Dukungan Gratis – https://forum.groupdocs.com/c/search/
- Lisensi Sementara – https://purchase.groupdocs.com/temporary-license/