Como tempo leva para indexar um milhão de documentos em um computador comum? Qual o tamanho que o índice atinge e quão rápida é a pesquisa depois? Em vez de um teste sintético, usamos um corpus real de quase um milhão de arquivos, indexamos com GroupDocs.Search for .NET 26.11 em um PC de mesa e medimos cada etapa.

A resposta curta: 919.896 documentos foram indexados em 3 horas 48 minutos, e 17 dos 20 tipos de pesquisa responderam em 35 a 539 ms, embora a maioria das consultas tenha sido encontrada em dezenas ou centenas de milhares de documentos. O benchmark é código aberto, então você pode medir seus próprios documentos da mesma forma.

Os resultados em uma tabela

O que Resultado
Documentos indexados 919.896
Indexação 3 h 48 min, 67 documentos por segundo
Tamanho do índice 60.2 GB, 49.5 GB após otimização
Abrindo o índice otimizado 9.8 s
17 de 20 tipos de pesquisa 35 a 539 ms (mediana 158 ms) em execuções repetidas
As consultas mais pesadas 8.5 a 87 s para resultados de milhões a centenas de milhões de ocorrências

Configuração

  • Computador: Intel Core i5-11500 (6 núcleos, 12 threads), 32 GB de RAM, um SSD SATA, Windows 10 – um PC de mesa comum, não um servidor.
  • Software: GroupDocs.Search for .NET 26.11 on .NET 10, com as configurações padrão de índice.
  • Documentos: o corpus govdocs1 da Digital Corpora – quase um milhão de arquivos de servidores web do governo dos EUA: PDF, HTML, Word, Excel, PowerPoint, texto, XML, CSV, imagens e mais. É um corpus difícil: muitos de seus arquivos são planilhas e arquivos de dados, e cada número ou código distinto torna‑se um termo, de modo que o índice acabou com 285,6 milhões de termos únicos.
  • Método: o texto dos documentos foi extraído uma vez e salvo em arquivos, para que a indexação pudesse ser medida isoladamente. Os dados foram então adicionados a um novo índice em lotes de até 512 MB com 4 threads de indexação, o índice foi otimizado, e 20 tipos de pesquisa foram executados 3 vezes cada.

De 983.840 arquivos extraídos, 63.943 não continham texto (arquivos PostScript, gzip, Flash e dBase e arquivos que não puderam ser lidos, entre outros), e um documento era grande demais para o índice, portanto 919.896 documentos foram indexados.

Indexação: 920 mil documentos em menos de quatro horas

A indexação levou 3 horas 48 minutos, ou 67 documentos por segundo em média, incluindo 28 minutos gastos lendo os dados extraídos do disco. O índice ocupou 60,2 GB em 727 segmentos.

A descoberta mais útil para planejamento é como o tempo de uma chamada de Index.Add mudou à medida que o índice crescia:

Documentos já no índice Tempo médio de uma chamada
0 a 27.000 12.7 s
208.000 a 338.000 52.7 s
497.000 a 639.000 98.9 s
639.000 a 920.000 109.4 s

A última chamada adicionou apenas 1.240 documentos e ainda levou 113 s, tanto quanto as chamadas com mais de 9.000 documentos antes dela. Em um índice grande, o número de chamadas, não o número de documentos, determina a maior parte do tempo de indexação. Portanto, adicione documentos a um índice grande em lotes tão grandes quanto sua memória permitir.

Pesquisa: décimos de segundo para a maioria das consultas

O índice otimizado de 28 segmentos foi aberto em 9,8 s. Cada consulta foi então executada três vezes: a primeira execução é o que o primeiro usuário de uma aplicação recém‑iniciada espera, e as execuções repetidas são o caso usual de um serviço em execução.

Tipo de pesquisa Documentos encontrados Primeira execução Execuções repetidas
Palavra simples 202.079 539 ms 210 ms
Booleano 44.626 251 ms 149 ms
Frase 241.277 591 ms 539 ms
Frase com curingas 32.270 183 ms 129 ms
Curinga 267.231 347 ms 287 ms
Fuzzy 202.183 207 ms 157 ms
Sensível a maiúsculas/minúsculas 47.010 52 ms 35 ms
Facetado (em um campo) 151.413 148 ms 124 ms
Formas de palavra 150.522 163 ms 140 ms
Sinônimos 202.299 211 ms 168 ms
Homófonos 206.431 208 ms 160 ms
Correção ortográfica 213.795 168 ms 174 ms
Correção de layout de teclado 213.720 182 ms 168 ms
Apelidos 78.118 203 ms 143 ms
Filtro de documento (somente PDF) 88.732 147 ms 131 ms
Pesquisa por blocos 202.079 155 ms 137 ms
Consulta de objeto 37.935 456 ms 236 ms
Intervalo numérico 703.582 25.2 s 8.5 s
Expressão regular 609.547 27.9 s 26.5 s
Intervalo de datas de um ano 138.876 92.1 s 87.2 s

A pesquisa fuzzy, a correção ortográfica e a correção de layout de teclado são quase tão rápidas quanto uma pesquisa de palavra simples aqui, embora o índice contenha 285,6 milhões de termos.

As três últimas linhas são deliberadamente extremas: a expressão regular correspondeu a 310 milhões de ocorrências em dois terços de todos os documentos, o intervalo numérico 231 milhões de ocorrências em três quartos deles, e o intervalo de datas cobriu um ano inteiro. Desde a 26.11, execuções repetidas reutilizam as palavras correspondidas pela primeira execução, de modo que os tempos repetidos mostram onde o tempo vai: para a coleta das ocorrências. Um usuário raramente precisa de um resultado desse tamanho, e um intervalo mais curto, um padrão mais específico ou um filtro de documento mantém o resultado, e o tempo, pequenos.

A tabela completa com as consultas e o número de ocorrências está na documentação.

Otimização: um trabalho para a noite

A otimização mesclou os 727 segmentos em 28 e reduziu o índice de 60,2 GB para 49,5 GB em 12 horas 24 minutos. O tamanho de um segmento mesclado é limitado, portanto um índice grande é otimizado em vários segmentos ao invés de um só. As pesquisas não são bloqueadas enquanto um índice está sendo otimizado, de modo que a otimização de um índice grande pode ser executada em segundo plano, por exemplo à noite.

Cinco lições para o seu projeto

  1. Extrair uma vez, indexar muitas vezes. Extração de dados separada salva o texto extraído em arquivos, para que você possa reconstruir o índice ou testar outras configurações sem extrair os documentos novamente.
  2. Indexar em lotes grandes. Cada chamada de Index.Add custa mais à medida que o índice cresce, portanto menos chamadas, porém maiores, indexam uma grande coleção muito mais rápido.
  3. Abrir o índice uma única vez. Abrir um índice grande leva segundos; mantenha o objeto Index e execute todas as pesquisas nele – as pesquisas são thread‑safe.
  4. Otimizar em segundo plano. As pesquisas continuam funcionando enquanto o índice é otimizado, então agende a otimização para horários de pouca atividade.
  5. Mantenha as consultas mais pesadas restritas. Expressões regulares e intervalos que correspondem a centenas de milhões de ocorrências levam segundos; filtros e padrões mais restritos mantêm seus resultados, e seu tempo, pequenos.

Execute o benchmark em seus documentos

Seus documentos, consultas e hardware determinam seus números, portanto meça-os. O aplicativo de GroupDocs.Search for .NET benchmarks mede a extração, a indexação, a otimização e 20 tipos de pesquisa, relata o tempo e o pico de memória de cada operação e grava tudo em um arquivo CSV:

git clone https://github.com/groupdocs-search/full-text-search-benchmark-net.git
cd full-text-search-benchmark-net
dotnet run -c Release --project src/GroupDocs.Search.Benchmark

Antes da execução, configure a licença, as pastas e as consultas para o idioma de seus documentos no início do Program.cs. Uma licença temporária gratuita é suficiente: sem licença, o modo de avaliação limita o número de documentos indexados e encontrados.

Recursos