在普通电脑上索引一百万个文档需要多长时间?索引会增长到多大,之后的搜索速度如何?我们没有使用合成测试,而是使用了接近一百万个文件的真实语料库,在桌面 PC 上使用 GroupDocs.Search for .NET 26.11 进行索引,并测量了每一步。

简短的答案:在 3 小时 48 分钟内完成了 919,896 个文档的索引,并且 在 20 种搜索中有 17 种的响应时间为 35 到 539 毫秒,尽管大多数查询涉及数万或数十万文档。该基准是 开源 的,您可以用相同方式测量自己的文档。

结果一览表

项目 结果
已索引文档数 919,896
索引耗时 3 小时 48 分钟, 每秒 67 文档
索引大小 60.2 GB, 优化后 49.5 GB
打开优化后索引 9.8 秒
20 种搜索中的 17 种 重复运行时 35 到 539 毫秒(中位数 158 毫秒)
最耗时的查询 结果为数百万到数亿次出现时耗时 8.5 到 87 秒

环境配置

  • 计算机:Intel Core i5-11500(6 核心,12 线程),32 GB RAM,SATA SSD,Windows 10 —— 普通桌面 PC,非服务器。
  • 软件:GroupDocs.Search for .NET 26.11,运行于 .NET 10,使用默认索引设置。
  • 文档:来自 Digital Corpora 的 govdocs1 语料库——近一百万个来自美国政府网站的文件,包括 PDF、HTML、Word、Excel、PowerPoint、文本、XML、CSV、图像等。该语料库非常苛刻:许多文件是电子表格和数据文件,每个不同的数字或代码都会成为一个词项,导致索引中出现 285.6 百万唯一词项。
  • 方法:文档的文本一次性提取并保存为文件,以便单独测量索引过程。随后将数据分批(每批最多 512 MB)使用 4 条索引线程添加到新索引中,随后对索引进行优化,并对 20 种搜索各运行 3 次。

在 983,840 个已提取的文件中,有 63,943 个未产生文本(如 PostScript、gzip、Flash、dBase 文件以及其他无法读取的文件),还有一个文档因过大而无法加入索引,最终索引了 919,896 个文档。

索引:在四小时内完成 92 万文档

索引耗时 3 小时 48 分钟,平均每秒 67 个文档,其中包括 28 分钟用于从磁盘读取已提取的数据。索引占用 60.2 GB,分为 727 个段。

对规划最有价值的发现是,Index.Add 单次调用的耗时随索引规模的变化情况:

索引中已有文档数 单次调用的平均耗时
0 到 27,000 12.7 秒
208,000 到 338,000 52.7 秒
497,000 到 639,000 98.9 秒
639,000 到 920,000 109.4 秒

最后一次调用仅添加了 1,240 个文档,却仍耗时 113 秒,与之前添加超过 9,000 个文档的调用耗时相当。在大型索引中,调用次数而非文档数量决定了大部分索引时间。因此,应尽可能以大批量(受内存限制)向大型索引添加文档。

搜索:大多数查询耗时十毫秒级

优化后的 28 段索引在 9.8 秒内打开。随后每个查询运行三次:第一次运行对应新启动应用的首位用户的等待时间,后续重复运行对应服务持续运行时的常规情况。

搜索类型 找到的文档数 首次运行 重复运行
简单词 202,079 539 ms 210 ms
布尔 44,626 251 ms 149 ms
短语 241,277 591 ms 539 ms
带通配符的短语 32,270 183 ms 129 ms
通配符 267,231 347 ms 287 ms
模糊 202,183 207 ms 157 ms
区分大小写 47,010 52 ms 35 ms
分面(字段内) 151,413 148 ms 124 ms
词形 150,522 163 ms 140 ms
同义词 202,299 211 ms 168 ms
同音词 206,431 208 ms 160 ms
拼写纠正 213,795 168 ms 174 ms
键盘布局纠正 213,720 182 ms 168 ms
别名 78,118 203 ms 143 ms
文档过滤(仅 PDF) 88,732 147 ms 131 ms
分块搜索 202,079 155 ms 137 ms
对象查询 37,935 456 ms 236 ms
数值范围 703,582 25.2 s 8.5 s
正则表达式 609,547 27.9 s 26.5 s
一年日期范围 138,876 92.1 s 87.2 s

在本次测试中,模糊搜索、拼写纠正和键盘布局纠正的速度与简单词搜索相当,尽管索引中包含 285.6 百万词项。

最后三行故意设置为极端情况:正则表达式匹配了 3.1 亿次出现,覆盖了全部文档的三分之二;数值范围匹配了 2.31 亿次出现,覆盖了四分之三的文档;日期范围覆盖了一整年。自 26.11 起,重复运行会复用首次运行匹配的词项,因此重复时间展示了时间花费在收集出现位置上。用户通常不需要如此规模的结果,使用更短的范围、更具体的模式或 文档过滤 可以保持结果和耗时都较小。

完整的查询表及出现次数统计请参见 文档。

优化:夜间任务

优化 将 727 个段合并为 28 个,并在 12 小时 24 分钟 内将索引大小从 60.2 GB 缩减至 49.5 GB。合并后段的大小受限,因此大型索引会被优化为多个段而非单一段。优化期间搜索仍可进行,因此大型索引的优化可在后台运行,例如在夜间。

项目中的五点经验

  1. 一次提取,多次索引。 单独的数据提取 将提取的文本保存为文件,这样您可以在不重新提取文档的情况下重建索引或尝试其他设置。
  2. 大批量索引。 随着索引规模增长,Index.Add 的每次调用耗时会增加,因此使用更少但更大的批次可以更快地索引大规模集合。
  3. 一次性打开索引。 打开大型索引需要数秒;保持 Index 对象并在其上执行所有搜索 —— 搜索是线程安全的。
  4. 后台优化。 索引优化期间搜索仍可工作,因此可将优化安排在安静时段进行。
  5. 让最耗时的查询保持窄范围。 正则表达式和匹配数亿次出现的范围查询会耗时数秒;使用过滤器和更窄的模式可以使结果及其耗时保持在较小范围。

在您的文档上运行基准测试

文档、查询和硬件决定了您的指标,请自行测量。GroupDocs.Search for .NET 基准测试 应用程序会测量提取、索引、优化以及 20 种搜索的时间和峰值内存,并将所有结果写入 CSV 文件:

git clone https://github.com/groupdocs-search/full-text-search-benchmark-net.git
cd full-text-search-benchmark-net
dotnet run -c Release --project src/GroupDocs.Search.Benchmark

运行前,请在 Program.cs 顶部设置许可证、文件夹路径以及针对文档语言的查询。免费 临时许可证 已足够使用:若未提供许可证,评估模式会限制可索引和可检索的文档数量。

资源