¿Cómo de rápido se tarda en indexar un millón de documentos en un ordenador ordinario? ¿Cuánto crece el índice y qué tan rápida es la búsqueda después? En lugar de una prueba sintética, tomamos un corpus real de casi un millón de archivos, lo indexamos con GroupDocs.Search for .NET 26.11 en un PC de escritorio y medimos cada paso.
La respuesta corta: 919 896 documentos fueron indexados en 3 horas 48 minutos, y 17 de 20 tipos de búsqueda respondieron en 35 a 539 ms, aunque la mayoría de las consultas se encontraron en decenas o cientos de miles de documentos. La prueba de referencia es código abierto, por lo que puedes medir tus propios documentos de la misma manera.
Los resultados en una tabla
| Qué | Resultado |
|---|---|
| Documentos indexados | 919 896 |
| Indexación | 3 h 48 min, 67 documentos por segundo |
| Tamaño del índice | 60,2 GB, 49,5 GB después de la optimización |
| Apertura del índice optimizado | 9,8 s |
| 17 de 20 tipos de búsqueda | 35 a 539 ms (mediana 158 ms) en ejecuciones repetidas |
| Las consultas más pesadas | 8,5 a 87 s para resultados de millones a cientos de millones de ocurrencias |
La configuración
- Ordenador: Intel Core i5‑11500 (6 núcleos, 12 hilos), 32 GB de RAM, SSD SATA, Windows 10 – un PC de escritorio ordinario, no un servidor.
- Software: GroupDocs.Search for .NET 26.11 sobre .NET 10, con la configuración de índice predeterminada.
- Documentos: el corpus govdocs1 de Digital Corpora – casi un millón de archivos de servidores web del gobierno de EE. UU: PDF, HTML, Word, Excel, PowerPoint, texto, XML, CSV, imágenes y más. Es un corpus difícil: muchos de sus archivos son hojas de cálculo y datos, y cada número o código distinto se convierte en un término, de modo que el índice terminó con 285,6 millones de términos únicos.
- Método: el texto de los documentos se extrajo una vez y se guardó en archivos, de modo que la indexación pudiera medirse por sí sola. Luego los datos se añadieron a un nuevo índice en lotes de hasta 512 MB con 4 hilos de indexación, el índice se optimizó y se ejecutaron 20 tipos de búsqueda 3 veces cada uno.
De los 983 840 archivos extraídos, 63 943 no devolvieron texto (archivos PostScript, gzip, Flash y dBase y archivos que no pudieron leerse, entre otros), y un documento era demasiado grande para el índice, por lo que 919 896 documentos fueron indexados.
Indexación: 920 mil documentos en menos de cuatro horas
La indexación tomó 3 horas 48 minutos, o 67 documentos por segundo en promedio, incluyendo 28 minutos dedicados a leer los datos extraídos del disco. El índice ocupó 60,2 GB en 727 segmentos.
El hallazgo más útil para la planificación es cómo cambió el tiempo de una llamada a Index.Add a medida que el índice crecía:
| Documentos ya en el índice | Tiempo medio de una llamada |
|---|---|
| 0 a 27 000 | 12,7 s |
| 208 000 a 338 000 | 52,7 s |
| 497 000 a 639 000 | 98,9 s |
| 639 000 a 920 000 | 109,4 s |
La última llamada añadió solo 1 240 documentos y aun así tardó 113 s, al igual que las llamadas con más de 9 000 documentos antes de ella. En un índice grande, el número de llamadas, no el número de documentos, decide la mayor parte del tiempo de indexación. Así que añade documentos a un índice grande en lotes tan grandes como permita tu memoria.
Búsqueda: décimas de segundo para la mayoría de consultas
El índice optimizado de 28 segmentos se abrió en 9,8 s. Cada consulta se ejecutó entonces tres veces: la primera ejecución es lo que el primer usuario de una aplicación recién iniciada espera, y las ejecuciones repetidas son el caso habitual de un servicio en funcionamiento.
| Tipo de búsqueda | Documentos encontrados | Primera ejecución | Ejecuciones repetidas |
|---|---|---|---|
| Palabra simple | 202 079 | 539 ms | 210 ms |
| Booleana | 44 626 | 251 ms | 149 ms |
| Frase | 241 277 | 591 ms | 539 ms |
| Frase con comodines | 32 270 | 183 ms | 129 ms |
| Comodín | 267 231 | 347 ms | 287 ms |
| Difusa | 202 183 | 207 ms | 157 ms |
| Sensible a mayúsculas | 47 010 | 52 ms | 35 ms |
| Facetada (en un campo) | 151 413 | 148 ms | 124 ms |
| Formas de palabra | 150 522 | 163 ms | 140 ms |
| Sinónimos | 202 299 | 211 ms | 168 ms |
| Homófonos | 206 431 | 208 ms | 160 ms |
| Corrección ortográfica | 213 795 | 168 ms | 174 ms |
| Corrección de distribución de teclado | 213 720 | 182 ms | 168 ms |
| Alias | 78 118 | 203 ms | 143 ms |
| Filtro de documento (solo PDF) | 88 732 | 147 ms | 131 ms |
| Búsqueda por fragmentos | 202 079 | 155 ms | 137 ms |
| Consulta de objeto | 37 935 | 456 ms | 236 ms |
| Rango numérico | 703 582 | 25,2 s | 8,5 s |
| Expresión regular | 609 547 | 27,9 s | 26,5 s |
| Rango de fechas de un año | 138 876 | 92,1 s | 87,2 s |
La búsqueda difusa, la corrección ortográfica y la corrección de distribución de teclado son casi tan rápidas como una búsqueda de palabra simple aquí, aunque el índice contiene 285,6 millones de términos.
Las tres filas finales son deliberadamente extremas: la expresión regular coincidió con 310 millones de ocurrencias en dos tercios de todos los documentos, el rango numérico con 231 millones de ocurrencias en tres cuartas partes de ellos, y el rango de fechas cubrió un año completo. Desde la versión 26.11, las ejecuciones repetidas reutilizan las palabras coincididas en la primera ejecución, de modo que los tiempos repetidos muestran a dónde va el tiempo: a la recolección de ocurrencias. Un usuario rara vez necesita un resultado de ese tamaño, y un rango más corto, un patrón más específico o un filtro de documento mantiene el resultado, y el tiempo, pequeños.
La tabla completa con las consultas y el número de ocurrencias está en la documentación.
Optimización: una tarea para la noche
La optimización fusionó los 727 segmentos en 28 y redujo el índice de 60,2 GB a 49,5 GB en 12 horas 24 minutos. El tamaño de un segmento fusionado está limitado, por lo que un índice grande se optimiza en varios segmentos en lugar de uno solo. Las búsquedas no se bloquean mientras se optimiza un índice, de modo que la optimización de un índice grande puede ejecutarse en segundo plano, por ejemplo por la noche.
Cinco conclusiones para su proyecto
- Extraiga una vez, indexe muchas veces. La extracción de datos separada guarda el texto extraído en archivos, de modo que puedes reconstruir el índice o probar otras configuraciones sin volver a extraer los documentos.
- Indexe en lotes grandes. Cada llamada a
Index.Addcuesta más a medida que el índice crece, por lo que menos llamadas, pero más grandes, indexan una colección grande mucho más rápido. - Abra el índice una sola vez. Abrir un índice grande lleva segundos; mantenga el objeto
Indexy ejecute todas las búsquedas sobre él – las búsquedas son seguras para hilos. - Optimice en segundo plano. Las búsquedas continúan funcionando mientras el índice se optimiza, así que programe la optimización para horas de poca actividad.
- Mantenga las consultas más pesadas estrechas. Las expresiones regulares y los rangos que coinciden con cientos de millones de ocurrencias tardan segundos; los filtros y patrones más específicos mantienen sus resultados, y su tiempo, pequeños.
Ejecute la prueba de referencia en sus documentos
Sus documentos, consultas y hardware determinan sus números, así que mídalos. La aplicación de GroupDocs.Search for .NET benchmarks mide la extracción, la indexación, la optimización y 20 tipos de búsqueda, informa el tiempo y la memoria máxima de cada operación y escribe todo en un archivo CSV:
git clone https://github.com/groupdocs-search/full-text-search-benchmark-net.git
cd full-text-search-benchmark-net
dotnet run -c Release --project src/GroupDocs.Search.Benchmark
Antes de ejecutar, establezca la licencia, las carpetas y las consultas para el idioma de sus documentos al inicio de Program.cs. Una licencia temporal gratuita es suficiente: sin licencia, el modo de evaluación limita el número de documentos indexados y encontrados.
Recursos
- Benchmark en GitHub – https://github.com/groupdocs-search/full-text-search-benchmark-net
- Rendimiento y pruebas de referencia – https://docs.groupdocs.com/search/net/performance-and-benchmarks/
- Notas de la versión 26.11 – https://releases.groupdocs.com/search/net/release-notes/2026/groupdocs-search-for-net-26-11-release-notes/
- Documentación – https://docs.groupdocs.com/search/net/
- Referencia de API – https://reference.groupdocs.com/search/net/
- Ejemplos de código – https://github.com/groupdocs-search/GroupDocs.Search-for-.NET/
- Free Support Forum – https://forum.groupdocs.com/c/search/
- Licencia Temporal – https://purchase.groupdocs.com/temporary-license/