GroupDocs.Search for .NET 26.11 ya está disponible. Esta versión hace que las búsquedas repetidas y simultáneas sean mucho más rápidas, reduce la memoria asignada por la indexación hasta 4.5 veces y asegura la red de búsqueda con autenticación de nodos. La indexación en una red de búsqueda es de 5 a 20 veces más rápida, y el paquete NuGet de GroupDocs.Search ahora incluye compilaciones para .NET Framework 4.8, .NET 6.0, .NET 8.0 y .NET 10.0.

Los índices creados con la versión 26.10 se abren sin conversión. La versión contiene 18 cambios: 5 nuevas características, 12 mejoras y 1 corrección.

Aspectos destacados de rendimiento

El texto completo de notas de la versión describe la configuración de prueba de cada figura.

Qué Mejora en 26.11
Búsqueda repetida de expresiones regulares Hasta 300 veces más rápida
Búsqueda difusa repetida De 4 a 30 veces más rápida
Búsquedas simultáneas de un índice Tiempo medio de 8 búsquedas simultáneas de 5.6 ms a 0.18 ms; de 4 a 18% más búsquedas por segundo
Búsqueda difusa con un error 1.8 veces más rápida, 4.5 veces más rápida con 8 hilos de búsqueda
Búsqueda por rango de fechas Hasta 10 veces más rápida, hasta 59 veces más rápida por fragmentos; los rangos largos devuelven resultados completos
Memoria asignada por la indexación Hasta 4.5 veces menos
Indexación con texto de documento almacenado Hasta 2.2 veces más rápida
Recuperación del texto de documento almacenado 3.5 veces más rápida, 11 veces menos memoria
Fusión de índices 3.5 veces más rápida, casi 50 veces menos memoria
Indexación en una red de búsqueda De 5 a 20 veces más rápida, con muchos menos segmentos de índice en los fragmentos
Registro de 20,000 documentos en el nodo maestro De 27.1 s a 0.12 s, 0.8 MB escritos en disco en lugar de 7.6 GB
Espacio en disco de un índice Puede reducirse a costa de la velocidad de carga

Novedades en esta versión

Clave Resumen Categoría
SEARCHNET-3729 Implementar una opción para reducir el espacio en disco ocupado por un índice a costa de la velocidad de carga Funcionalidad
SEARCHNET-3730 Implementar autenticación de los nodos de la red de búsqueda Funcionalidad
SEARCHNET-3731 Implementar soporte OCR para la extracción de documentos en un proceso separado Funcionalidad
SEARCHNET-3732 Implementar búsqueda por fragmentos en un repositorio de índices Funcionalidad
SEARCHNET-3733 Implementar resaltado de palabras producidas por un divisor de palabras personalizado Funcionalidad
SEARCHNET-3734 Optimizar la búsqueda por fragmentos Mejora
SEARCHNET-3735 Implementar un pool de hilos compartido para búsquedas concurrentes de un índice Mejora
SEARCHNET-3736 Implementar reutilización de palabras coincidentes en búsquedas repetidas Mejora
SEARCHNET-3737 Implementar la interfaz IDisposable en la clase Cancellation Mejora
SEARCHNET-3738 Ampliar el alfabeto predeterminado con scripts adicionales Mejora
SEARCHNET-3739 Acelerar la búsqueda por rango de fechas y garantizar resultados completos para rangos de fechas largos Mejora
SEARCHNET-3740 Reducir el consumo de memoria de la indexación y de las operaciones con textos de documentos almacenados Mejora
SEARCHNET-3741 Acelerar la indexación en una red de búsqueda con un gran número de documentos Mejora
SEARCHNET-3742 Implementar indexación por lotes y procesamiento paralelo de solicitudes de fragmentos en una red de búsqueda Mejora
SEARCHNET-3743 Implementar el patrón de disposición en las clases Index, IndexRepository, Cancellation, ExtractionHost y SearchNetworkNode Mejora
SEARCHNET-3693 Implementar la estrategia de empaquetado TFM-Split para el paquete NuGet de GroupDocs.Search Mejora
SEARCHNET-3747 Implementar paquetes NuGet para .NET Framework 4.8, .NET 6.0, .NET 8.0, .NET 10.0 Mejora
SEARCHNET-3746 Corregido esperas indefinidas de una red de búsqueda por nodos perdidos o no responsivos Corrección

Características principales

Búsqueda

  • Las búsquedas repetidas de comodines, expresiones regulares, rangos numéricos y difusas reutilizan las palabras encontradas por búsquedas anteriores con la misma consulta hasta que el índice cambie. Las palabras guardadas ocupan hasta 8 MB de memoria por índice.
  • Las búsquedas simultáneas de un índice comparten sus hilos de búsqueda (IndexSettings.SearchThreads), por lo que las búsquedas cortas ya no esperan a las largas.
  • La búsqueda por rango de fechas lee cada día, mes y año del índice una sola vez en lugar de buscar cada fecha del rango por separado. Los rangos largos ya no se recortan al límite de ocurrencias, y un rango de todas las fechas posibles, que antes fallaba, ahora se busca en segundos.
  • La búsqueda por fragmentos obtiene todas estas ventajas, y un repositorio de índices ahora también puede buscarse por fragmentos: IndexRepository.SearchNext continúa la búsqueda índice por índice.
  • El resaltado y Index.GetDocumentText pueden dividir el texto con el divisor de palabras personalizado usado para la indexación, de modo que las palabras que produce el divisor, por ejemplo palabras de un texto sin espacios, también se resaltan.
  • El alfabeto predeterminado de los índices nuevos incluye hebreo, devanagari, georgiano, latín extendido, griego y letras hangul y marcas diacríticas combinadas. Palabras como “Việt” ya no se dividen en partes, y las palabras coreanas y hebreas se indexan y encuentran completas.

Indexación y almacenamiento de índices

  • La nueva configuración IndexSettings.UseFastLoading permite que un índice en disco elimine los datos adicionales que hacen que su carga sea varias veces más rápida: el índice ocupa menos espacio en disco pero tarda más en cargarse. La configuración puede cambiarse en cualquier momento, también para un índice que ya contiene documentos.
  • La indexación asigna hasta 4.5 veces menos memoria por documento y, con texto de documento almacenado, se ejecuta hasta 2.2 veces más rápido. Recuperar el texto almacenado es 3.5 veces más rápido con 11 veces menos memoria, y fusionar índices es 3.5 veces más rápido con casi 50 veces menos memoria.
  • El texto de imágenes en documentos extraído en un proceso separado ahora puede reconocerse: ExtractionHost.OcrConnector establece el conector OCR del proceso de extracción. Si el reconocimiento está habilitado pero el proceso de extracción no tiene conector OCR, el índice lo informa mediante el evento ErrorOccurred.

Red de búsqueda

  • Los nodos se autentican entre sí con una clave secreta compartida (TcpSettings.NetworkKey), y cada mensaje está firmado: un equipo sin la clave no puede dar órdenes a un nodo ni responder por él. La clave nunca se envía por la red. Un nodo esclavo también puede restringir las direcciones desde las que acepta al nodo maestro (TcpSettings.AllowedMasterAddresses).
  • La indexación es de 5 a 20 veces más rápida y crea muchos menos segmentos de índice: los documentos que llegan mientras un fragmento está ocupado se indexan en lotes de hasta 1 000 documentos o 16 MB, y los fragmentos de un nodo procesan sus solicitudes en paralelo.
  • El registro de documentos indexados en el nodo maestro ya no se ralentiza a medida que aumenta su número, y la lista de documentos de un fragmento se mantiene segura cuando una escritura falla o el proceso se bloquea.
  • El nodo maestro detecta nodos perdidos e irresponsivos: un nodo esclavo informa cada 5 segundos, y las llamadas ya no esperan indefinidamente a un nodo que se ha ido. TcpSettings.ResponseTimeout también puede limitar cuánto tiempo espera el nodo maestro por una respuesta.

API y empaquetado

  • Index, IndexRepository, Cancellation, ExtractionHost y SearchNetworkNode implementan el patrón de disposición estándar de .NET, de modo que las clases derivadas pueden liberar sus propios recursos. Disponer un Cancellation libera el temporizador de una cancelación programada mediante CancelAfter.
  • El paquete NuGet de GroupDocs.Search ahora incluye compilaciones para .NET Framework 4.8, .NET 6.0, .NET 8.0 y .NET 10.0, además de .NET Framework 4.6.2 y .NET Standard 2.1, y selecciona automáticamente la compilación para el framework objetivo de un proyecto.

Cambios en la API pública

Se han añadido los siguientes miembros:

  • GroupDocs.Search.IndexSettings:
    • Boolean UseFastLoading – mantiene los datos adicionales que hacen que un índice en disco cargue varias veces más rápido. Habilitado por defecto; establézcalo en false para ahorrar espacio en disco.
  • GroupDocs.Search.Scaling.Configuring.TcpSettings:
    • String NetworkKey – la clave secreta de la red de búsqueda, de al menos 16 caracteres y la misma en todos los nodos.
    • String[] AllowedMasterAddresses – direcciones IPv4 o nombres de host desde los que un nodo esclavo acepta la conexión del nodo maestro.
    • Int32 ResponseTimeout – el tiempo en milisegundos que el nodo maestro espera la respuesta de un nodo a una solicitud. Sin límite por defecto.
  • GroupDocs.Search.ExtractionHost:
    • IOcrConnector OcrConnector – el conector OCR del proceso de extracción separado.
  • GroupDocs.Search.IndexRepository:
    • SearchResult SearchNext(ChunkSearchToken) y SearchResult SearchNext(ChunkSearchToken, Cancellation) – continúan una búsqueda por fragmentos en un repositorio de índices.
  • GroupDocs.Search.Options.TextOptions:
    • IWordSplitter WordSplitter – el divisor de palabras usado por el resaltado y Index.GetDocumentText; heredado por HighlightOptions.
  • GroupDocs.Search.Common.Cancellation ahora implementa IDisposable:
    • void Dispose() – libera el temporizador de una cancelación programada; la cancelación programada no se solicita.
  • Index, IndexRepository, Cancellation, ExtractionHost y SearchNetworkNode:
    • protected virtual void Dispose(Boolean disposing) – el método del patrón de disposición para clases derivadas.

Los cambios de comportamiento que pueden requerir modificaciones en su código se enumeran en las notas de actualización a continuación.

Ejemplos de código

Buscar en un repositorio de índices por fragmentos

El siguiente ejemplo busca dos índices de un repositorio fragmento a fragmento, un índice tras otro.

string indexFolder1 = @"c:\MyIndex1\"; // Specify the path to the first index folder
string indexFolder2 = @"c:\MyIndex2\"; // Specify the path to the second index folder
string documentsFolder1 = @"c:\MyDocuments1\"; // Specify the path to a folder containing documents to index
string documentsFolder2 = @"c:\MyDocuments2\"; // Specify the path to another folder containing documents to index

using (IndexRepository repository = new IndexRepository()) // Creating an index repository
{
    Index index1 = repository.Create(indexFolder1); // Creating the first index in the repository
    index1.Add(documentsFolder1); // Indexing documents from the first folder
    Index index2 = repository.Create(indexFolder2); // Creating the second index in the repository
    index2.Add(documentsFolder2); // Indexing documents from the second folder

    SearchOptions options = new SearchOptions();
    options.IsChunkSearch = true; // Enabling search by chunks

    SearchResult result = repository.Search("Einstein", options); // Getting the first chunk of the first index
    Console.WriteLine("Documents: " + result.DocumentCount);
    while (result.NextChunkSearchToken != null)
    {
        result = repository.SearchNext(result.NextChunkSearchToken); // Getting the next chunk, index by index
        Console.WriteLine("Documents: " + result.DocumentCount);
    }
}

Proteger una red de búsqueda con una clave compartida

Cada nodo de una red de búsqueda recibe la misma clave secreta. Un nodo esclavo acepta al nodo maestro solo desde su dirección, y el nodo maestro limita la espera de respuestas de los nodos.

string basePath = @"c:\SearchNetwork\"; // Specify the path to the folder of the search network
string networkKey = Environment.GetEnvironmentVariable("SEARCH_NETWORK_KEY"); // The same key of at least 16 characters on every node

// On the server of slave node 1: the connection of the master node is accepted from 10.0.0.5 only
TcpSettings slaveSettings = new TcpSettings(49101, 10000, 10000, 10000, 1000);
slaveSettings.NetworkKey = networkKey;
slaveSettings.AllowedMasterAddresses = new string[] { "10.0.0.5" };
SearchNetworkNode node1 = SearchNetworkNode.CreateSlaveNode(1, basePath + "Node1", slaveSettings);
node1.Start();

// On the server of the master node (10.0.0.5): the responses of the nodes are awaited no longer than 10 minutes
Configuration configuration = Configuration.Load(basePath + "Configuration.xml"); // Loading the search network configuration
TcpSettings masterSettings = new TcpSettings(49100, 10000, 10000, 10000, 1000);
masterSettings.NetworkKey = networkKey;
masterSettings.ResponseTimeout = 600000;
SearchNetworkNode node0 = SearchNetworkNode.CreateMasterNode(
    0, basePath + "Node0", masterSettings, new FileLogger(basePath + "Log.txt", 4.0), configuration);
node0.ConfigureAllNodes();
node0.Start();

Reducir el espacio en disco de un índice

El siguiente ejemplo crea un índice que ocupa menos espacio en disco y luego lo hace cargar rápidamente de nuevo.

string indexFolder = @"c:\MyIndex\"; // Specify the path to the index folder
string documentsFolder = @"c:\MyDocuments\"; // Specify the path to a folder containing documents to index

IndexSettings settings = new IndexSettings();
settings.UseFastLoading = false; // The index takes less disk space but loads longer
using (Index index = new Index(indexFolder, settings, true)) // Creating an index with the settings
{
    index.Add(documentsFolder); // Indexing documents from the specified folder
}

using (Index index = new Index(indexFolder)) // Opening the existing index
{
    index.IndexSettings.UseFastLoading = true; // The data is created the next time the index is loaded
}

Notas de actualización

Tenga en cuenta los siguientes cambios al actualizar desde una versión anterior:

  • Los índices modificados por la versión 26.11 no pueden ser abiertos por versiones anteriores. La versión 26.11 abre índices de la versión 26.10 sin conversión, pero una vez que crea o modifica un índice (mediante indexación, eliminación de documentos, optimización o cambio de configuraciones), las versiones anteriores ya no pueden abrirlo. Actualice todas las aplicaciones que compartan una carpeta de índices al mismo tiempo, incluidos los nodos de una red de búsqueda.
  • Los proyectos de .NET Framework usan el paquete GroupDocs.Search. Reemplace GroupDocs.Search.NETFramework por GroupDocs.Search, que ahora incluye las compilaciones para .NET Framework 4.6.2 y 4.8 y selecciona la compilación correcta automáticamente. No existe la versión 26.11 de GroupDocs.Search.NETFramework.
  • Todos los nodos de una red de búsqueda se actualizan juntos. Los nodos de las versiones 26.10 y 26.11 no se conectan. Para proteger la red, establezca la misma TcpSettings.NetworkKey en cada nodo: los nodos con claves diferentes, o un nodo con clave y otro sin ella, no se conectan, y ambos escriben la razón en sus registros. Un nodo sin clave funciona como antes y escribe una advertencia en su registro.
  • Los mensajes de una red de búsqueda están firmados pero no cifrados. Mantenga los nodos en una red de confianza o conéctelos a través de un túnel cifrado.
  • Se detectan nodos perdidos. Un nodo que no envía nada durante 15 segundos, por ejemplo un proceso pausado en un depurador, se trata como perdido: las llamadas que esperan por él lanzan SearchException, y sus documentos se envían a otros nodos o se informan mediante el evento ErrorOccurred. Por defecto el nodo maestro espera respuestas sin límite; establezca TcpSettings.ResponseTimeout para limitar la espera.
  • IndexSettings.SearchThreads se comparte entre todas las búsquedas de un índice. Una búsqueda usa tantos hilos como antes, pero K búsquedas simultáneas ahora se ejecutan en max(K, SearchThreads) hilos en lugar de K × SearchThreads.
  • Solo los índices nuevos obtienen el alfabeto ampliado. Los índices de versiones anteriores, incluidos los actualizados por IndexUpdater, dividen las palabras de estos scripts como antes, y Index.Merge se niega a fusionar un índice nuevo con uno más antiguo. Para fusionarlos, exporte el Alphabet y TokenizationDictionary del índice antiguo con ExportDictionary e impórtelos en el índice nuevo con Clear e ImportDictionary antes de añadir documentos.
  • Los límites de ocurrencia cuentan las partes de las fechas una sola vez. SearchOptions.MaxTotalOccurrenceCount y MaxOccurrenceCountPerTerm cuentan cada ocurrencia de un día, mes o año una vez por búsqueda, o una vez por fragmento, en lugar de una vez por cada fecha del rango. Un rango de fechas que antes alcanzó un límite ahora puede encontrar todas sus fechas.
  • La búsqueda por fragmentos en un repositorio de índices avanza índice por índice. IndexRepository.Search con IsChunkSearch devuelve el primer fragmento del primer índice. Continúe con IndexRepository.SearchNext mientras SearchResult.NextChunkSearchToken no sea nulo, o busque sin fragmentos para obtener todos los documentos en un solo resultado.
  • El OCR en un proceso de extracción separado usa ExtractionHost.OcrConnector. Establezca el conector en el programa del proceso de extracción y compile ese programa con la misma versión de GroupDocs.Search que la aplicación. El conector OCR de las opciones de indexación no se usa allí.
  • El progreso de la indexación en red se informa por respuesta de fragmento. NodeEventHub.IndexingProgressChanged ocurre una vez por cada respuesta de un fragmento, que puede informar varios documentos, por lo que ProcessedDocuments puede crecer en más de uno.

Cómo obtener la actualización

NuGet

  • NuGet – Instale el paquete más reciente. Funciona en proyectos .NET y .NET Framework y selecciona automáticamente la compilación para el framework objetivo: .NET Framework 4.6.2 o 4.8, .NET Standard 2.1, .NET 6.0, .NET 8.0 o .NET 10.0.
# Package Manager
NuGet\Install-Package GroupDocs.Search -Version 26.11.0

# .NET CLI
dotnet add package GroupDocs.Search --version 26.11.0

Descarga directa

Recursos