Mất bao lâu để lập chỉ mục một triệu tài liệu trên một máy tính thông thường? Chỉ mục sẽ lớn bao nhiêu, và tốc độ tìm kiếm sau đó ra sao? Thay vì một bài kiểm tra tổng hợp, chúng tôi đã lấy một tập hợp thực tế gần một triệu tệp, lập chỉ mục chúng bằng GroupDocs.Search for .NET 26.11 trên máy tính để bàn và đo lường mọi bước.
Câu trả lời ngắn gọn: 919.896 tài liệu đã được lập chỉ mục trong 3 giờ 48 phút, và 17 trong số 20 loại tìm kiếm trả lời trong 35 đến 539 ms, mặc dù hầu hết các truy vấn được tìm thấy trong hàng chục hoặc hàng trăm nghìn tài liệu. Bộ kiểm tra này là mã nguồn mở, vì vậy bạn có thể đo lường tài liệu của mình theo cùng cách.
Kết quả trong một bảng
| Mục | Kết quả |
|---|---|
| Tài liệu đã lập chỉ mục | 919,896 |
| Lập chỉ mục | 3 giờ 48 phút, 67 tài liệu mỗi giây |
| Kích thước chỉ mục | 60,2 GB, 49,5 GB sau khi tối ưu |
| Mở chỉ mục đã tối ưu | 9,8 s |
| 17 trong số 20 loại tìm kiếm | 35 đến 539 ms (trung vị 158 ms) trong các lần chạy lặp lại |
| Các truy vấn nặng nhất | 8,5 đến 87 s cho kết quả từ hàng triệu đến hàng trăm triệu lần xuất hiện |
Cấu hình
- Máy tính: Intel Core i5-11500 (6 lõi, 12 luồng), 32 GB RAM, ổ SSD SATA, Windows 10 – một máy tính để bàn thông thường, không phải máy chủ.
- Phần mềm: GroupDocs.Search for .NET 26.11 trên .NET 10, với cài đặt chỉ mục mặc định.
- Tài liệu: tập hợp govdocs1 của Digital Corpora – gần một triệu tệp từ các máy chủ web của chính phủ Mỹ: PDF, HTML, Word, Excel, PowerPoint, văn bản, XML, CSV, hình ảnh và hơn nữa. Đây là một tập hợp khó: nhiều tệp là bảng tính và tệp dữ liệu, và mỗi số hoặc mã riêng biệt trở thành một thuật ngữ, vì vậy chỉ mục cuối cùng có 285,6 triệu thuật ngữ duy nhất.
- Phương pháp: văn bản của các tài liệu được trích xuất một lần và lưu vào các tệp, vì vậy việc lập chỉ mục có thể được đo lường riêng. Dữ liệu sau đó được thêm vào một chỉ mục mới theo các lô lên tới 512 MB với 4 luồng lập chỉ mục, chỉ mục được tối ưu, và 20 loại tìm kiếm được chạy 3 lần mỗi loại.
Trong số 983.840 tệp đã trích xuất, 63.943 không có văn bản (PostScript, gzip, Flash và các tệp dBase và các tệp không thể đọc được, trong số những thứ khác), và một tài liệu quá lớn để đưa vào chỉ mục, vì vậy 919.896 tài liệu đã được lập chỉ mục.
Lập chỉ mục: 920 nghìn tài liệu trong chưa đầy bốn giờ
Việc lập chỉ mục mất 3 giờ 48 phút, trung bình 67 tài liệu mỗi giây, bao gồm 28 phút dành cho việc đọc dữ liệu đã trích xuất từ đĩa. Chỉ mục chiếm 60,2 GB trong 727 đoạn.
Phát hiện hữu ích nhất cho việc lập kế hoạch là thời gian của một lần gọi Index.Add thay đổi như thế nào khi chỉ mục lớn lên:
| Tài liệu đã có trong chỉ mục | Thời gian trung bình của một lần gọi |
|---|---|
| 0 đến 27 000 | 12,7 s |
| 208 000 đến 338 000 | 52,7 s |
| 497 000 đến 639 000 | 98,9 s |
| 639 000 đến 920 000 | 109,4 s |
Lần gọi cuối cùng chỉ thêm 1.240 tài liệu nhưng vẫn mất 113 s, tương đương với các lần gọi có hơn 9.000 tài liệu trước đó. Trong một chỉ mục lớn, số lần gọi, chứ không phải số tài liệu, quyết định phần lớn thời gian lập chỉ mục. Vì vậy hãy thêm tài liệu vào một chỉ mục lớn theo các lô lớn nhất mà bộ nhớ của bạn cho phép.
Tìm kiếm: vài chục mili giây cho hầu hết các truy vấn
Chỉ mục đã tối ưu gồm 28 đoạn được mở trong 9,8 s. Mỗi truy vấn sau đó được chạy ba lần: lần chạy đầu tiên là thời gian người dùng đầu tiên của một ứng dụng mới khởi động phải chờ, và các lần chạy lặp lại là trường hợp thường gặp của một dịch vụ đang chạy.
| Loại tìm kiếm | Tài liệu tìm được | Lần chạy đầu tiên | Các lần chạy lặp lại |
|---|---|---|---|
| Từ đơn giản | 202,079 | 539 ms | 210 ms |
| Boolean | 44,626 | 251 ms | 149 ms |
| Cụm từ | 241,277 | 591 ms | 539 ms |
| Cụm từ có ký tự đại diện | 32,270 | 183 ms | 129 ms |
| Ký tự đại diện | 267,231 | 347 ms | 287 ms |
| Xấp xỉ | 202,183 | 207 ms | 157 ms |
| Phân biệt chữ hoa/thường | 47,010 | 52 ms | 35 ms |
| Phân lớp (trong một trường) | 151,413 | 148 ms | 124 ms |
| Dạng từ | 150,522 | 163 ms | 140 ms |
| Từ đồng nghĩa | 202,299 | 211 ms | 168 ms |
| Từ đồng âm | 206,431 | 208 ms | 160 ms |
| Sửa lỗi chính tả | 213,795 | 168 ms | 174 ms |
| Sửa lỗi bố cục bàn phím | 213,720 | 182 ms | 168 ms |
| Bí danh | 78,118 | 203 ms | 143 ms |
| Lọc tài liệu (chỉ PDF) | 88,732 | 147 ms | 131 ms |
| Tìm kiếm theo đoạn | 202,079 | 155 ms | 137 ms |
| Truy vấn đối tượng | 37,935 | 456 ms | 236 ms |
| Khoảng số | 703,582 | 25,2 s | 8,5 s |
| Biểu thức chính quy | 609,547 | 27,9 s | 26,5 s |
| Khoảng ngày trong một năm | 138,876 | 92,1 s | 87,2 s |
Tìm kiếm xấp xỉ, sửa lỗi chính tả và sửa lỗi bố cục bàn phím ở đây có tốc độ gần như tương đương với tìm kiếm từ đơn giản, mặc dù chỉ mục chứa 285,6 triệu thuật ngữ.
Ba hàng cuối cùng được thiết kế cố ý để cực đoan: biểu thức chính quy khớp 310 triệu lần xuất hiện trong hai phần ba của tất cả các tài liệu, khoảng số 231 triệu lần xuất hiện trong ba phần tư của chúng, và khoảng ngày bao phủ cả một năm. Kể từ phiên bản 26.11, các lần chạy lặp lại tái sử dụng các từ đã khớp trong lần chạy đầu tiên, vì vậy thời gian lặp lại cho thấy thời gian đi vào việc thu thập các lần xuất hiện. Người dùng hiếm khi cần một kết quả có kích thước như vậy, và một khoảng ngắn hơn, một mẫu cụ thể hơn hoặc một bộ lọc tài liệu sẽ giữ cho kết quả, và thời gian, nhỏ.
Bảng đầy đủ với các truy vấn và số lần xuất hiện có trong tài liệu.
Tối ưu hóa: công việc cho ban đêm
Tối ưu hóa đã hợp nhất 727 đoạn thành 28 và thu nhỏ chỉ mục từ 60,2 GB xuống 49,5 GB trong 12 giờ 24 phút. Kích thước của một đoạn đã hợp nhất có giới hạn, vì vậy một chỉ mục lớn được tối ưu thành nhiều đoạn thay vì một. Các tìm kiếm không bị chặn trong khi chỉ mục đang được tối ưu, vì vậy việc tối ưu một chỉ mục lớn có thể chạy nền, ví dụ vào ban đêm.
Năm bài học cho dự án của bạn
- Trích xuất một lần, lập chỉ mục nhiều lần. Trích xuất dữ liệu riêng biệt lưu văn bản đã trích xuất vào các tệp, vì vậy bạn có thể xây dựng lại chỉ mục hoặc thử các cài đặt khác mà không cần trích xuất lại tài liệu.
- Lập chỉ mục theo lô lớn. Mỗi lần gọi
Index.Addtốn nhiều hơn khi chỉ mục lớn lên, vì vậy ít lần gọi, nhưng lớn hơn, sẽ lập chỉ mục một bộ sưu tập lớn nhanh hơn nhiều. - Mở chỉ mục một lần. Mở một chỉ mục lớn mất vài giây; giữ lại đối tượng
Indexvà chạy mọi tìm kiếm trên nó – các tìm kiếm là thread-safe. - Tối ưu trong nền. Các tìm kiếm vẫn tiếp tục hoạt động trong khi chỉ mục đang được tối ưu, vì vậy hãy lên lịch tối ưu vào giờ yên tĩnh.
- Giữ các truy vấn nặng nhất hẹp. Các biểu thức chính quy và khoảng mà khớp hàng trăm triệu lần xuất hiện mất vài giây; bộ lọc và mẫu hẹp hơn sẽ giữ kết quả và thời gian của chúng nhỏ.
Chạy benchmark trên tài liệu của bạn
Tài liệu, truy vấn và phần cứng của bạn quyết định các con số, vì vậy hãy đo lường chúng. Ứng dụng GroupDocs.Search for .NET benchmarks đo lường việc trích xuất, lập chỉ mục, tối ưu và 20 loại tìm kiếm, báo cáo thời gian và mức bộ nhớ tối đa của mỗi thao tác và ghi mọi thứ vào tệp CSV:
git clone https://github.com/groupdocs-search/full-text-search-benchmark-net.git
cd full-text-search-benchmark-net
dotnet run -c Release --project src/GroupDocs.Search.Benchmark
Trước khi chạy, hãy đặt giấy phép, các thư mục và các truy vấn cho ngôn ngữ của tài liệu của bạn ở đầu tệp Program.cs. Một giấy phép tạm thời miễn phí là đủ: nếu không có giấy phép, chế độ đánh giá sẽ giới hạn số lượng tài liệu được lập chỉ mục và tìm thấy.
Tài nguyên
- Benchmark trên GitHub – https://github.com/groupdocs-search/full-text-search-benchmark-net
- Hiệu năng và benchmark – https://docs.groupdocs.com/search/net/performance-and-benchmarks/
- Ghi chú phát hành của 26.11 – https://releases.groupdocs.com/search/net/release-notes/2026/groupdocs-search-for-net-26-11-release-notes/
- Tài liệu – https://docs.groupdocs.com/search/net/
- Tham chiếu API – https://reference.groupdocs.com/search/net/
- Ví dụ mã – https://github.com/groupdocs-search/GroupDocs.Search-for-.NET/
- Diễn đàn hỗ trợ miễn phí – https://forum.groupdocs.com/c/search/
- Giấy phép tạm thời – https://purchase.groupdocs.com/temporary-license/