在普通電腦上索引一百萬份文件需要多長時間?索引會增長到多大,之後的搜尋速度又如何?我們沒有使用合成測試,而是取了一個接近一百萬檔案的真實語料庫,在桌上型電腦上使用 GroupDocs.Search for .NET 26.11 進行索引,並測量了每一步。
簡短的答案是:919,896 份文件在 3 小時 48 分鐘內完成索引,且 20 種搜尋中有 17 種在 35 至 539 毫秒內回應,儘管大多數查詢會在數萬或數十萬份文件中找到結果。此基準測試是 open source,因此您可以用相同方式測量自己的文件。
一個表格的結果
| 項目 | 結果 |
|---|---|
| 已索引文件數 | 919,896 |
| 索引時間 | 3 小時 48 分鐘,67 份文件每秒 |
| 索引大小 | 60.2 GB,優化後 49.5 GB |
| 開啟優化後的索引 | 9.8 秒 |
| 20 種搜尋中 17 種 | 35 至 539 毫秒(中位數 158 毫秒)於重複執行 |
| 最繁重的查詢 | 8.5 至 87 秒,結果為數百萬至數億次出現 |
設定
- Computer: Intel Core i5-11500(6 核心,12 執行緒),32 GB 記憶體,SATA SSD,Windows 10 – 一台普通的桌上型電腦,非伺服器。
- Software: GroupDocs.Search for .NET 26.11 在 .NET 10 上,使用預設的索引設定。
- Documents: Digital Corpora 的 govdocs1 語料庫 – 接近一百萬個來自美國政府網站的檔案:PDF、HTML、Word、Excel、PowerPoint、文字、XML、CSV、影像等。這是一個艱難的語料庫:許多檔案是試算表與資料檔,每個不同的數字或代碼都會成為詞彙,因此索引最終包含 285.6 百萬個唯一詞彙。
- Method: 文件的文字先一次性抽取並儲存為檔案,以便單獨測量索引時間。之後將資料以最多 512 MB 為一批、使用 4 個索引執行緒加入新索引,接著對索引進行優化,並對 20 種搜尋各執行 3 次。
在 983,840 個抽取出的檔案中,有 63,943 個未產生文字(包括 PostScript、gzip、Flash、dBase 檔案以及其他無法讀取的檔案),且有一份文件過大無法納入索引,最終索引了 919,896 份文件。
索引:在四小時內處理 92 萬文件
索引耗時 3 小時 48 分鐘,平均每秒 67 份文件,當中包含 28 分鐘用於從磁碟讀取抽取的資料。索引佔用 60.2 GB,分為 727 個段落。
對於規劃最有用的發現是 Index.Add 單次呼叫的時間如何隨索引增長而變化:
| 已在索引中的文件數 | 單次呼叫的平均時間 |
|---|---|
| 0 至 27,000 | 12.7 s |
| 208,000 至 338,000 | 52.7 s |
| 497,000 至 639,000 | 98.9 s |
| 639,000 至 920,000 | 109.4 s |
最後一次呼叫僅加入 1,240 份文件,仍耗時 113 秒,與之前加入超過 9,000 份文件的呼叫時間相同。在大型索引中,呼叫次數而非文件數量決定了大部分的索引時間。因此,請以記憶體允許的最大批次將文件加入大型索引。
搜尋:大多數查詢在十分之一秒內完成
優化後的 28 個段落的索引在 9.8 秒內開啟。每個查詢接著執行三次:第一次執行是剛啟動應用程式的第一位使用者需要等待的時間,之後的重複執行則是服務持續運行時的常態。
| 搜尋類型 | 找到的文件數 | 首次執行 | 重複執行 |
|---|---|---|---|
| 簡單字詞 | 202,079 | 539 ms | 210 ms |
| 布林 | 44,626 | 251 ms | 149 ms |
| 片語 | 241,277 | 591 ms | 539 ms |
| 含通配符的片語 | 32,270 | 183 ms | 129 ms |
| 通配符 | 267,231 | 347 ms | 287 ms |
| 模糊 | 202,183 | 207 ms | 157 ms |
| 區分大小寫 | 47,010 | 52 ms | 35 ms |
| 分面(於欄位) | 151,413 | 148 ms | 124 ms |
| 詞形變化 | 150,522 | 163 ms | 140 ms |
| 同義詞 | 202,299 | 211 ms | 168 ms |
| 同音詞 | 206,431 | 208 ms | 160 ms |
| 拼寫校正 | 213,795 | 168 ms | 174 ms |
| 鍵盤佈局校正 | 213,720 | 182 ms | 168 ms |
| 別名 | 78,118 | 203 ms | 143 ms |
| 文件過濾(僅 PDF) | 88,732 | 147 ms | 131 ms |
| 分塊搜尋 | 202,079 | 155 ms | 137 ms |
| 物件查詢 | 37,935 | 456 ms | 236 ms |
| 數值範圍 | 703,582 | 25.2 s | 8.5 s |
| 正規表達式 | 609,547 | 27.9 s | 26.5 s |
| 一年日期範圍 | 138,876 | 92.1 s | 87.2 s |
在此情況下,模糊搜尋、拼寫校正與鍵盤佈局校正的速度與簡單字詞搜尋相當,儘管索引包含 285.6 百萬個詞彙。
最後三列刻意設為極端情況:正規表達式在全部文件的三分之二中匹配了 3.1 億次出現,數值範圍在四分之三的文件中匹配了 2.31 億次出現,而日期範圍則涵蓋整整一年。自 26.11 版起,重複執行會重用首次執行匹配的詞彙,因此重複執行的時間顯示了時間花費在收集出現次數上。使用者很少需要如此龐大的結果,使用較短的範圍、較具體的模式或 document filter 可使結果與時間保持在較小規模。
完整的查詢與出現次數表格位於 documentation。
優化:夜間工作
optimization 將 727 個段落合併為 28 個,並在 12 小時 24 分鐘內將索引從 60.2 GB 縮減至 49.5 GB。合併段落的大小有限制,因此大型索引會被優化成多個段落而非單一段落。搜尋在索引優化期間不會被阻斷,因此大型索引的優化可在背景執行,例如於夜間。
您專案的五項要點
- 一次抽取,多次索引。 Separate data extraction 會將抽取的文字儲存為檔案,讓您可以在不重新抽取文件的情況下重建索引或嘗試其他設定。
- 以大批次索引。 隨著索引增長,
Index.Add的每次呼叫成本會提升,因此較少且較大的呼叫能更快地索引大量集合。 - 一次開啟索引。 開啟大型索引需要數秒;保留
Index物件並在其上執行所有搜尋 – searches are thread-safe。 - 在背景優化。 索引優化期間搜尋仍可繼續運作,請將優化排程於較安靜的時段。
- 將最繁重的查詢保持窄範圍。 匹配數億次出現的正規表達式與範圍會耗時數秒;使用過濾器與較窄的模式可使結果與時間保持在較小規模。
在您的文件上執行基準測試
您的文件、查詢與硬體決定最終數據,請自行測量。GroupDocs.Search for .NET benchmarks 應用程式會測量抽取、索引、優化以及 20 種搜尋,報告每項操作的時間與峰值記憶體,並將所有結果寫入 CSV 檔案:
git clone https://github.com/groupdocs-search/full-text-search-benchmark-net.git
cd full-text-search-benchmark-net
dotnet run -c Release --project src/GroupDocs.Search.Benchmark
執行前,請在 Program.cs 頂部設定授權、資料夾以及文件語言的查詢。免費的 temporary license 已足夠:若未授權,評估模式會限制可索引與找到的文件數量。
資源
- GitHub 上的基準測試 – https://github.com/groupdocs-search/full-text-search-benchmark-net
- 效能與基準測試 – https://docs.groupdocs.com/search/net/performance-and-benchmarks/
- 26.11 版發行說明 – https://releases.groupdocs.com/search/net/release-notes/2026/groupdocs-search-for-net-26-11-release-notes/
- 文件 – https://docs.groupdocs.com/search/net/
- API 參考 – https://reference.groupdocs.com/search/net/
- 程式碼範例 – https://github.com/groupdocs-search/GroupDocs.Search-for-.NET/
- 免費支援論壇 – https://forum.groupdocs.com/c/search/
- 臨時授權 – https://purchase.groupdocs.com/temporary-license/