Como tempo leva para indexar um milhão de documentos em um computador comum? Qual o tamanho que o índice atinge e quão rápida é a pesquisa depois? Em vez de um teste sintético, usamos um corpus real de quase um milhão de arquivos, indexamos com GroupDocs.Search for .NET 26.11 em um PC de mesa e medimos cada etapa.
A resposta curta: 919.896 documentos foram indexados em 3 horas 48 minutos, e 17 dos 20 tipos de pesquisa responderam em 35 a 539 ms, embora a maioria das consultas tenha sido encontrada em dezenas ou centenas de milhares de documentos. O benchmark é código aberto, então você pode medir seus próprios documentos da mesma forma.
Os resultados em uma tabela
| O que | Resultado |
|---|---|
| Documentos indexados | 919.896 |
| Indexação | 3 h 48 min, 67 documentos por segundo |
| Tamanho do índice | 60.2 GB, 49.5 GB após otimização |
| Abrindo o índice otimizado | 9.8 s |
| 17 de 20 tipos de pesquisa | 35 a 539 ms (mediana 158 ms) em execuções repetidas |
| As consultas mais pesadas | 8.5 a 87 s para resultados de milhões a centenas de milhões de ocorrências |
Configuração
- Computador: Intel Core i5-11500 (6 núcleos, 12 threads), 32 GB de RAM, um SSD SATA, Windows 10 – um PC de mesa comum, não um servidor.
- Software: GroupDocs.Search for .NET 26.11 on .NET 10, com as configurações padrão de índice.
- Documentos: o corpus govdocs1 da Digital Corpora – quase um milhão de arquivos de servidores web do governo dos EUA: PDF, HTML, Word, Excel, PowerPoint, texto, XML, CSV, imagens e mais. É um corpus difícil: muitos de seus arquivos são planilhas e arquivos de dados, e cada número ou código distinto torna‑se um termo, de modo que o índice acabou com 285,6 milhões de termos únicos.
- Método: o texto dos documentos foi extraído uma vez e salvo em arquivos, para que a indexação pudesse ser medida isoladamente. Os dados foram então adicionados a um novo índice em lotes de até 512 MB com 4 threads de indexação, o índice foi otimizado, e 20 tipos de pesquisa foram executados 3 vezes cada.
De 983.840 arquivos extraídos, 63.943 não continham texto (arquivos PostScript, gzip, Flash e dBase e arquivos que não puderam ser lidos, entre outros), e um documento era grande demais para o índice, portanto 919.896 documentos foram indexados.
Indexação: 920 mil documentos em menos de quatro horas
A indexação levou 3 horas 48 minutos, ou 67 documentos por segundo em média, incluindo 28 minutos gastos lendo os dados extraídos do disco. O índice ocupou 60,2 GB em 727 segmentos.
A descoberta mais útil para planejamento é como o tempo de uma chamada de Index.Add mudou à medida que o índice crescia:
| Documentos já no índice | Tempo médio de uma chamada |
|---|---|
| 0 a 27.000 | 12.7 s |
| 208.000 a 338.000 | 52.7 s |
| 497.000 a 639.000 | 98.9 s |
| 639.000 a 920.000 | 109.4 s |
A última chamada adicionou apenas 1.240 documentos e ainda levou 113 s, tanto quanto as chamadas com mais de 9.000 documentos antes dela. Em um índice grande, o número de chamadas, não o número de documentos, determina a maior parte do tempo de indexação. Portanto, adicione documentos a um índice grande em lotes tão grandes quanto sua memória permitir.
Pesquisa: décimos de segundo para a maioria das consultas
O índice otimizado de 28 segmentos foi aberto em 9,8 s. Cada consulta foi então executada três vezes: a primeira execução é o que o primeiro usuário de uma aplicação recém‑iniciada espera, e as execuções repetidas são o caso usual de um serviço em execução.
| Tipo de pesquisa | Documentos encontrados | Primeira execução | Execuções repetidas |
|---|---|---|---|
| Palavra simples | 202.079 | 539 ms | 210 ms |
| Booleano | 44.626 | 251 ms | 149 ms |
| Frase | 241.277 | 591 ms | 539 ms |
| Frase com curingas | 32.270 | 183 ms | 129 ms |
| Curinga | 267.231 | 347 ms | 287 ms |
| Fuzzy | 202.183 | 207 ms | 157 ms |
| Sensível a maiúsculas/minúsculas | 47.010 | 52 ms | 35 ms |
| Facetado (em um campo) | 151.413 | 148 ms | 124 ms |
| Formas de palavra | 150.522 | 163 ms | 140 ms |
| Sinônimos | 202.299 | 211 ms | 168 ms |
| Homófonos | 206.431 | 208 ms | 160 ms |
| Correção ortográfica | 213.795 | 168 ms | 174 ms |
| Correção de layout de teclado | 213.720 | 182 ms | 168 ms |
| Apelidos | 78.118 | 203 ms | 143 ms |
| Filtro de documento (somente PDF) | 88.732 | 147 ms | 131 ms |
| Pesquisa por blocos | 202.079 | 155 ms | 137 ms |
| Consulta de objeto | 37.935 | 456 ms | 236 ms |
| Intervalo numérico | 703.582 | 25.2 s | 8.5 s |
| Expressão regular | 609.547 | 27.9 s | 26.5 s |
| Intervalo de datas de um ano | 138.876 | 92.1 s | 87.2 s |
A pesquisa fuzzy, a correção ortográfica e a correção de layout de teclado são quase tão rápidas quanto uma pesquisa de palavra simples aqui, embora o índice contenha 285,6 milhões de termos.
As três últimas linhas são deliberadamente extremas: a expressão regular correspondeu a 310 milhões de ocorrências em dois terços de todos os documentos, o intervalo numérico 231 milhões de ocorrências em três quartos deles, e o intervalo de datas cobriu um ano inteiro. Desde a 26.11, execuções repetidas reutilizam as palavras correspondidas pela primeira execução, de modo que os tempos repetidos mostram onde o tempo vai: para a coleta das ocorrências. Um usuário raramente precisa de um resultado desse tamanho, e um intervalo mais curto, um padrão mais específico ou um filtro de documento mantém o resultado, e o tempo, pequenos.
A tabela completa com as consultas e o número de ocorrências está na documentação.
Otimização: um trabalho para a noite
A otimização mesclou os 727 segmentos em 28 e reduziu o índice de 60,2 GB para 49,5 GB em 12 horas 24 minutos. O tamanho de um segmento mesclado é limitado, portanto um índice grande é otimizado em vários segmentos ao invés de um só. As pesquisas não são bloqueadas enquanto um índice está sendo otimizado, de modo que a otimização de um índice grande pode ser executada em segundo plano, por exemplo à noite.
Cinco lições para o seu projeto
- Extrair uma vez, indexar muitas vezes. Extração de dados separada salva o texto extraído em arquivos, para que você possa reconstruir o índice ou testar outras configurações sem extrair os documentos novamente.
- Indexar em lotes grandes. Cada chamada de
Index.Addcusta mais à medida que o índice cresce, portanto menos chamadas, porém maiores, indexam uma grande coleção muito mais rápido. - Abrir o índice uma única vez. Abrir um índice grande leva segundos; mantenha o objeto
Indexe execute todas as pesquisas nele – as pesquisas são thread‑safe. - Otimizar em segundo plano. As pesquisas continuam funcionando enquanto o índice é otimizado, então agende a otimização para horários de pouca atividade.
- Mantenha as consultas mais pesadas restritas. Expressões regulares e intervalos que correspondem a centenas de milhões de ocorrências levam segundos; filtros e padrões mais restritos mantêm seus resultados, e seu tempo, pequenos.
Execute o benchmark em seus documentos
Seus documentos, consultas e hardware determinam seus números, portanto meça-os. O aplicativo de GroupDocs.Search for .NET benchmarks mede a extração, a indexação, a otimização e 20 tipos de pesquisa, relata o tempo e o pico de memória de cada operação e grava tudo em um arquivo CSV:
git clone https://github.com/groupdocs-search/full-text-search-benchmark-net.git
cd full-text-search-benchmark-net
dotnet run -c Release --project src/GroupDocs.Search.Benchmark
Antes da execução, configure a licença, as pastas e as consultas para o idioma de seus documentos no início do Program.cs. Uma licença temporária gratuita é suficiente: sem licença, o modo de avaliação limita o número de documentos indexados e encontrados.
Recursos
- Benchmark no GitHub – https://github.com/groupdocs-search/full-text-search-benchmark-net
- Desempenho e benchmarks – https://docs.groupdocs.com/search/net/performance-and-benchmarks/
- Notas de versão da 26.11 – https://releases.groupdocs.com/search/net/release-notes/2026/groupdocs-search-for-net-26-11-release-notes/
- Documentação – https://docs.groupdocs.com/search/net/
- Referência da API – https://reference.groupdocs.com/search/net/
- Exemplos de código – https://github.com/groupdocs-search/GroupDocs.Search-for-.NET/
- Free Support Forum – https://forum.groupdocs.com/c/search/
- Licença Temporária – https://purchase.groupdocs.com/temporary-license/