在普通电脑上索引一百万个文档需要多长时间?索引会增长到多大,之后的搜索速度如何?我们没有使用合成测试,而是使用了接近一百万个文件的真实语料库,在桌面 PC 上使用 GroupDocs.Search for .NET 26.11 进行索引,并测量了每一步。
简短的答案:在 3 小时 48 分钟内完成了 919,896 个文档的索引,并且 在 20 种搜索中有 17 种的响应时间为 35 到 539 毫秒,尽管大多数查询涉及数万或数十万文档。该基准是 开源 的,您可以用相同方式测量自己的文档。
结果一览表
| 项目 | 结果 |
|---|---|
| 已索引文档数 | 919,896 |
| 索引耗时 | 3 小时 48 分钟, 每秒 67 文档 |
| 索引大小 | 60.2 GB, 优化后 49.5 GB |
| 打开优化后索引 | 9.8 秒 |
| 20 种搜索中的 17 种 | 重复运行时 35 到 539 毫秒(中位数 158 毫秒) |
| 最耗时的查询 | 结果为数百万到数亿次出现时耗时 8.5 到 87 秒 |
环境配置
- 计算机:Intel Core i5-11500(6 核心,12 线程),32 GB RAM,SATA SSD,Windows 10 —— 普通桌面 PC,非服务器。
- 软件:GroupDocs.Search for .NET 26.11,运行于 .NET 10,使用默认索引设置。
- 文档:来自 Digital Corpora 的 govdocs1 语料库——近一百万个来自美国政府网站的文件,包括 PDF、HTML、Word、Excel、PowerPoint、文本、XML、CSV、图像等。该语料库非常苛刻:许多文件是电子表格和数据文件,每个不同的数字或代码都会成为一个词项,导致索引中出现 285.6 百万唯一词项。
- 方法:文档的文本一次性提取并保存为文件,以便单独测量索引过程。随后将数据分批(每批最多 512 MB)使用 4 条索引线程添加到新索引中,随后对索引进行优化,并对 20 种搜索各运行 3 次。
在 983,840 个已提取的文件中,有 63,943 个未产生文本(如 PostScript、gzip、Flash、dBase 文件以及其他无法读取的文件),还有一个文档因过大而无法加入索引,最终索引了 919,896 个文档。
索引:在四小时内完成 92 万文档
索引耗时 3 小时 48 分钟,平均每秒 67 个文档,其中包括 28 分钟用于从磁盘读取已提取的数据。索引占用 60.2 GB,分为 727 个段。
对规划最有价值的发现是,Index.Add 单次调用的耗时随索引规模的变化情况:
| 索引中已有文档数 | 单次调用的平均耗时 |
|---|---|
| 0 到 27,000 | 12.7 秒 |
| 208,000 到 338,000 | 52.7 秒 |
| 497,000 到 639,000 | 98.9 秒 |
| 639,000 到 920,000 | 109.4 秒 |
最后一次调用仅添加了 1,240 个文档,却仍耗时 113 秒,与之前添加超过 9,000 个文档的调用耗时相当。在大型索引中,调用次数而非文档数量决定了大部分索引时间。因此,应尽可能以大批量(受内存限制)向大型索引添加文档。
搜索:大多数查询耗时十毫秒级
优化后的 28 段索引在 9.8 秒内打开。随后每个查询运行三次:第一次运行对应新启动应用的首位用户的等待时间,后续重复运行对应服务持续运行时的常规情况。
| 搜索类型 | 找到的文档数 | 首次运行 | 重复运行 |
|---|---|---|---|
| 简单词 | 202,079 | 539 ms | 210 ms |
| 布尔 | 44,626 | 251 ms | 149 ms |
| 短语 | 241,277 | 591 ms | 539 ms |
| 带通配符的短语 | 32,270 | 183 ms | 129 ms |
| 通配符 | 267,231 | 347 ms | 287 ms |
| 模糊 | 202,183 | 207 ms | 157 ms |
| 区分大小写 | 47,010 | 52 ms | 35 ms |
| 分面(字段内) | 151,413 | 148 ms | 124 ms |
| 词形 | 150,522 | 163 ms | 140 ms |
| 同义词 | 202,299 | 211 ms | 168 ms |
| 同音词 | 206,431 | 208 ms | 160 ms |
| 拼写纠正 | 213,795 | 168 ms | 174 ms |
| 键盘布局纠正 | 213,720 | 182 ms | 168 ms |
| 别名 | 78,118 | 203 ms | 143 ms |
| 文档过滤(仅 PDF) | 88,732 | 147 ms | 131 ms |
| 分块搜索 | 202,079 | 155 ms | 137 ms |
| 对象查询 | 37,935 | 456 ms | 236 ms |
| 数值范围 | 703,582 | 25.2 s | 8.5 s |
| 正则表达式 | 609,547 | 27.9 s | 26.5 s |
| 一年日期范围 | 138,876 | 92.1 s | 87.2 s |
在本次测试中,模糊搜索、拼写纠正和键盘布局纠正的速度与简单词搜索相当,尽管索引中包含 285.6 百万词项。
最后三行故意设置为极端情况:正则表达式匹配了 3.1 亿次出现,覆盖了全部文档的三分之二;数值范围匹配了 2.31 亿次出现,覆盖了四分之三的文档;日期范围覆盖了一整年。自 26.11 起,重复运行会复用首次运行匹配的词项,因此重复时间展示了时间花费在收集出现位置上。用户通常不需要如此规模的结果,使用更短的范围、更具体的模式或 文档过滤 可以保持结果和耗时都较小。
完整的查询表及出现次数统计请参见 文档。
优化:夜间任务
优化 将 727 个段合并为 28 个,并在 12 小时 24 分钟 内将索引大小从 60.2 GB 缩减至 49.5 GB。合并后段的大小受限,因此大型索引会被优化为多个段而非单一段。优化期间搜索仍可进行,因此大型索引的优化可在后台运行,例如在夜间。
项目中的五点经验
- 一次提取,多次索引。 单独的数据提取 将提取的文本保存为文件,这样您可以在不重新提取文档的情况下重建索引或尝试其他设置。
- 大批量索引。 随着索引规模增长,
Index.Add的每次调用耗时会增加,因此使用更少但更大的批次可以更快地索引大规模集合。 - 一次性打开索引。 打开大型索引需要数秒;保持
Index对象并在其上执行所有搜索 —— 搜索是线程安全的。 - 后台优化。 索引优化期间搜索仍可工作,因此可将优化安排在安静时段进行。
- 让最耗时的查询保持窄范围。 正则表达式和匹配数亿次出现的范围查询会耗时数秒;使用过滤器和更窄的模式可以使结果及其耗时保持在较小范围。
在您的文档上运行基准测试
文档、查询和硬件决定了您的指标,请自行测量。GroupDocs.Search for .NET 基准测试 应用程序会测量提取、索引、优化以及 20 种搜索的时间和峰值内存,并将所有结果写入 CSV 文件:
git clone https://github.com/groupdocs-search/full-text-search-benchmark-net.git
cd full-text-search-benchmark-net
dotnet run -c Release --project src/GroupDocs.Search.Benchmark
运行前,请在 Program.cs 顶部设置许可证、文件夹路径以及针对文档语言的查询。免费 临时许可证 已足够使用:若未提供许可证,评估模式会限制可索引和可检索的文档数量。
资源
- GitHub 上的基准 – https://github.com/groupdocs-search/full-text-search-benchmark-net
- 性能与基准 – https://docs.groupdocs.com/search/net/performance-and-benchmarks/
- 26.11 发行说明 – https://releases.groupdocs.com/search/net/release-notes/2026/groupdocs-search-for-net-26-11-release-notes/
- 文档 – https://docs.groupdocs.com/search/net/
- API 参考 – https://reference.groupdocs.com/search/net/
- 代码示例 – https://github.com/groupdocs-search/GroupDocs.Search-for-.NET/
- 免费支持论坛 – https://forum.groupdocs.com/c/search/
- 临时许可证 – https://purchase.groupdocs.com/temporary-license/