在普通電腦上索引一百萬份文件需要多長時間?索引會增長到多大,之後的搜尋速度又如何?我們沒有使用合成測試,而是取了一個接近一百萬檔案的真實語料庫,在桌上型電腦上使用 GroupDocs.Search for .NET 26.11 進行索引,並測量了每一步。

簡短的答案是:919,896 份文件在 3 小時 48 分鐘內完成索引,且 20 種搜尋中有 17 種在 35 至 539 毫秒內回應,儘管大多數查詢會在數萬或數十萬份文件中找到結果。此基準測試是 open source,因此您可以用相同方式測量自己的文件。

一個表格的結果

項目 結果
已索引文件數 919,896
索引時間 3 小時 48 分鐘,67 份文件每秒
索引大小 60.2 GB,優化後 49.5 GB
開啟優化後的索引 9.8 秒
20 種搜尋中 17 種 35 至 539 毫秒(中位數 158 毫秒)於重複執行
最繁重的查詢 8.5 至 87 秒,結果為數百萬至數億次出現

設定

  • Computer: Intel Core i5-11500(6 核心,12 執行緒),32 GB 記憶體,SATA SSD,Windows 10 – 一台普通的桌上型電腦,非伺服器。
  • Software: GroupDocs.Search for .NET 26.11 在 .NET 10 上,使用預設的索引設定。
  • Documents: Digital Corpora 的 govdocs1 語料庫 – 接近一百萬個來自美國政府網站的檔案:PDF、HTML、Word、Excel、PowerPoint、文字、XML、CSV、影像等。這是一個艱難的語料庫:許多檔案是試算表與資料檔,每個不同的數字或代碼都會成為詞彙,因此索引最終包含 285.6 百萬個唯一詞彙。
  • Method: 文件的文字先一次性抽取並儲存為檔案,以便單獨測量索引時間。之後將資料以最多 512 MB 為一批、使用 4 個索引執行緒加入新索引,接著對索引進行優化,並對 20 種搜尋各執行 3 次。

在 983,840 個抽取出的檔案中,有 63,943 個未產生文字(包括 PostScript、gzip、Flash、dBase 檔案以及其他無法讀取的檔案),且有一份文件過大無法納入索引,最終索引了 919,896 份文件。

索引:在四小時內處理 92 萬文件

索引耗時 3 小時 48 分鐘,平均每秒 67 份文件,當中包含 28 分鐘用於從磁碟讀取抽取的資料。索引佔用 60.2 GB,分為 727 個段落。

對於規劃最有用的發現是 Index.Add 單次呼叫的時間如何隨索引增長而變化:

已在索引中的文件數 單次呼叫的平均時間
0 至 27,000 12.7 s
208,000 至 338,000 52.7 s
497,000 至 639,000 98.9 s
639,000 至 920,000 109.4 s

最後一次呼叫僅加入 1,240 份文件,仍耗時 113 秒,與之前加入超過 9,000 份文件的呼叫時間相同。在大型索引中,呼叫次數而非文件數量決定了大部分的索引時間。因此,請以記憶體允許的最大批次將文件加入大型索引。

搜尋:大多數查詢在十分之一秒內完成

優化後的 28 個段落的索引在 9.8 秒內開啟。每個查詢接著執行三次:第一次執行是剛啟動應用程式的第一位使用者需要等待的時間,之後的重複執行則是服務持續運行時的常態。

搜尋類型 找到的文件數 首次執行 重複執行
簡單字詞 202,079 539 ms 210 ms
布林 44,626 251 ms 149 ms
片語 241,277 591 ms 539 ms
含通配符的片語 32,270 183 ms 129 ms
通配符 267,231 347 ms 287 ms
模糊 202,183 207 ms 157 ms
區分大小寫 47,010 52 ms 35 ms
分面(於欄位) 151,413 148 ms 124 ms
詞形變化 150,522 163 ms 140 ms
同義詞 202,299 211 ms 168 ms
同音詞 206,431 208 ms 160 ms
拼寫校正 213,795 168 ms 174 ms
鍵盤佈局校正 213,720 182 ms 168 ms
別名 78,118 203 ms 143 ms
文件過濾(僅 PDF) 88,732 147 ms 131 ms
分塊搜尋 202,079 155 ms 137 ms
物件查詢 37,935 456 ms 236 ms
數值範圍 703,582 25.2 s 8.5 s
正規表達式 609,547 27.9 s 26.5 s
一年日期範圍 138,876 92.1 s 87.2 s

在此情況下,模糊搜尋、拼寫校正與鍵盤佈局校正的速度與簡單字詞搜尋相當,儘管索引包含 285.6 百萬個詞彙。

最後三列刻意設為極端情況:正規表達式在全部文件的三分之二中匹配了 3.1 億次出現,數值範圍在四分之三的文件中匹配了 2.31 億次出現,而日期範圍則涵蓋整整一年。自 26.11 版起,重複執行會重用首次執行匹配的詞彙,因此重複執行的時間顯示了時間花費在收集出現次數上。使用者很少需要如此龐大的結果,使用較短的範圍、較具體的模式或 document filter 可使結果與時間保持在較小規模。

完整的查詢與出現次數表格位於 documentation。

優化:夜間工作

optimization 將 727 個段落合併為 28 個,並在 12 小時 24 分鐘內將索引從 60.2 GB 縮減至 49.5 GB。合併段落的大小有限制,因此大型索引會被優化成多個段落而非單一段落。搜尋在索引優化期間不會被阻斷,因此大型索引的優化可在背景執行,例如於夜間。

您專案的五項要點

  1. 一次抽取,多次索引。 Separate data extraction 會將抽取的文字儲存為檔案,讓您可以在不重新抽取文件的情況下重建索引或嘗試其他設定。
  2. 以大批次索引。 隨著索引增長,Index.Add 的每次呼叫成本會提升,因此較少且較大的呼叫能更快地索引大量集合。
  3. 一次開啟索引。 開啟大型索引需要數秒;保留 Index 物件並在其上執行所有搜尋 – searches are thread-safe。
  4. 在背景優化。 索引優化期間搜尋仍可繼續運作,請將優化排程於較安靜的時段。
  5. 將最繁重的查詢保持窄範圍。 匹配數億次出現的正規表達式與範圍會耗時數秒;使用過濾器與較窄的模式可使結果與時間保持在較小規模。

在您的文件上執行基準測試

您的文件、查詢與硬體決定最終數據,請自行測量。GroupDocs.Search for .NET benchmarks 應用程式會測量抽取、索引、優化以及 20 種搜尋,報告每項操作的時間與峰值記憶體,並將所有結果寫入 CSV 檔案:

git clone https://github.com/groupdocs-search/full-text-search-benchmark-net.git
cd full-text-search-benchmark-net
dotnet run -c Release --project src/GroupDocs.Search.Benchmark

執行前,請在 Program.cs 頂部設定授權、資料夾以及文件語言的查詢。免費的 temporary license 已足夠:若未授權,評估模式會限制可索引與找到的文件數量。

資源