GroupDocs.Search pro .NET 26.11 je nyní k dispozici. Toto vydání zrychluje opakované a souběžné vyhledávání, snižuje paměť alokovanou při indexování až 4,5‑krát a zabezpečuje síť vyhledávání pomocí autentizace uzlů. Indexování v síti vyhledávání je 5 až 20‑krát rychlejší a balíček GroupDocs.Search NuGet nyní obsahuje sestavení pro .NET Framework 4.8, .NET 6.0, .NET 8.0 a .NET 10.0.

Indexy vytvořené verzí 26.10 se otevírají bez konverze. Vydání obsahuje 18 změn: 5 nových funkcí, 12 vylepšení a 1 opravu.

Přehled výkonu

Úplné poznámky k vydání popisují nastavení testu u každého obrázku.

Co Zisk ve verzi 26.11
Opakované vyhledávání regulárním výrazem Až 300‑krát rychlejší
Opakované fuzzy vyhledávání 4 až 30‑krát rychlejší
Souběžné vyhledávání v indexu Medián času 8 souběžných vyhledávání z 5,6 ms na 0,18 ms; 4 až 18 % více vyhledávání za sekundu
Fuzzy vyhledávání s jednou chybou 1,8‑krát rychlejší, 4,5‑krát rychlejší při 8 vyhledávacích vláknech
Vyhledávání v rozmezí dat Až 10‑krát rychlejší, až 59‑krát rychlejší po částech; dlouhá rozmezí vracejí úplné výsledky
Paměť alokovaná při indexování Až 4,5‑krát méně
Indexování se uloženým textem dokumentu Až 2,2‑krát rychlejší
Načítání uloženého textu dokumentu 3,5‑krát rychlejší, 11‑krát méně paměti
Sloučení indexů 3,5‑krát rychlejší, téměř 50‑krát méně paměti
Indexování v síti vyhledávání 5 až 20‑krát rychlejší, mnohem méně segmentů indexu v shardech
Registrace 20 000 dokumentů na hlavním uzlu Z 27,1 s na 0,12 s, 0,8 MB zapsáno na disk místo 7,6 GB
Místo na disku indexu Lze snížit za cenu rychlosti načítání

Co je nového v tomto vydání

Klíč Shrnutí Kategorie
SEARCHNET-3729 Implementovat možnost snížit místo na disku zabrané indexem za cenu rychlosti načítání Funkce
SEARCHNET-3730 Implementovat autentizaci uzlů sítě vyhledávání Funkce
SEARCHNET-3731 Implementovat podporu OCR pro extrakci dokumentů v samostatném procesu Funkce
SEARCHNET-3732 Implementovat vyhledávání po částech v úložišti indexů Funkce
SEARCHNET-3733 Implementovat zvýraznění slov vytvořených vlastním rozdělováním slov Funkce
SEARCHNET-3734 Optimalizovat vyhledávání po částech Vylepšení
SEARCHNET-3735 Implementovat sdílený pool vláken pro souběžná vyhledávání v indexu Vylepšení
SEARCHNET-3736 Implementovat opětovné použití nalezených slov v opakovaných vyhledáváních Vylepšení
SEARCHNET-3737 Implementovat rozhraní IDisposable ve třídě Cancellation Vylepšení
SEARCHNET-3738 Rozšířit výchozí abecedu o další skripty Vylepšení
SEARCHNET-3739 Zrychlit vyhledávání v rozmezí dat a zajistit úplné výsledky pro dlouhá rozmezí dat Vylepšení
SEARCHNET-3740 Snížit spotřebu paměti při indexování a operacích s uloženými texty dokumentů Vylepšení
SEARCHNET-3741 Zrychlit indexování v síti vyhledávání s velkým počtem dokumentů Vylepšení
SEARCHNET-3742 Implementovat dávkové indexování a paralelní zpracování požadavků shardů v síti vyhledávání Vylepšení
SEARCHNET-3743 Implementovat vzor dispose v třídách Index, IndexRepository, Cancellation, ExtractionHost a SearchNetworkNode Vylepšení
SEARCHNET-3693 Implementovat strategii balíčkování TFM-Split pro balíček GroupDocs.Search NuGet Vylepšení
SEARCHNET-3747 Implementovat NuGet balíčky pro .NET Framework 4.8, .NET 6.0, .NET 8.0, .NET 10.0 Vylepšení
SEARCHNET-3746 Opraveno neomezené čekání sítě vyhledávání na ztracené nebo neodpovídající uzly Oprava

Hlavní funkce

Vyhledávání

  • Opakovaná vyhledávání pomocí zástupných znaků, regulárních výrazů, číselných rozsahů a fuzzy znovu používají slova nalezená dřívějšími vyhledáváními se stejným dotazem, dokud se index nezmění. Uchovaná slova zabírají až 8 MB paměti na index.
  • Souběžná vyhledávání v indexu sdílejí jeho vyhledávací vlákna (IndexSettings.SearchThreads), takže krátká vyhledávání již nečekají na dlouhá.
  • Vyhledávání v rozmezí dat načítá každý den, měsíc a rok z indexu jednou místo vyhledávání každého data v rozmezí zvlášť. Dlouhá rozmezí již nejsou oříznuta limitem výskytů a rozmezí všech možných dat, které dříve selhalo, je nyní prohledáno během sekund.
  • Vyhledávání po částech získává všechny tyto výhody a úložiště indexů lze nyní také prohledávat po částech: IndexRepository.SearchNext pokračuje ve vyhledávání index po indexu.
  • Zvýrazňování a Index.GetDocumentText mohou rozdělit text pomocí vlastního rozdělování slov použitého při indexování, takže slova, která rozdělovací nástroj vytvoří, například slova v textu bez mezer, jsou také zvýrazněna.
  • Výchozí abeceda nových indexů zahrnuje hebrejské, devanagari, gruzínské, rozšířené latinské, řecké a hangulové znaky a kombinované diakritické značky. Slova jako „Việt“ již nejsou rozdělena na části a korejská a hebrejská slova jsou indexována a nalezena celá.

Indexování a úložiště indexu

  • Nové nastavení IndexSettings.UseFastLoading umožňuje indexu na disku vynechat dodatečná data, která zajišťují několikanásobně rychlejší načítání: index zabírá méně místa na disku, ale načítá se déle. Nastavení lze změnit kdykoli, také pro index, který již obsahuje dokumenty.
  • Indexování alokuje až 4,5‑krát méně paměti na dokument a při použití uloženého textu dokumentu běží až 2,2‑krát rychleji. Načítání uloženého textu je 3,5‑krát rychlejší s 11‑krát menší pamětí a sloučení indexů je 3,5‑krát rychlejší s téměř 50‑krát menší pamětí.
  • Text obrázků v dokumentech extrahovaný v samostatném procesu lze nyní rozpoznat: ExtractionHost.OcrConnector nastavuje OCR konektor extrakčního procesu. Pokud je rozpoznávání povoleno, ale extrakční proces nemá OCR konektor, index to hlásí prostřednictvím události ErrorOccurred.

Síť vyhledávání

  • Uzly se navzájem autentizují pomocí sdíleného tajného klíče (TcpSettings.NetworkKey) a každá zpráva je podepsána: počítač bez klíče nemůže ani posílat příkazy uzlu, ani na něj odpovídat. Klíč se nikdy nepřenáší po síti. Slave uzel může také omezit adresy, ze kterých přijímá hlavní uzel (TcpSettings.AllowedMasterAddresses).
  • Indexování je 5 až 20‑krát rychlejší a vytváří mnohem méně segmentů indexu: dokumenty, které přijdou, když je shard zaneprázdněn, jsou indexovány ve dávkách až 1 000 dokumentů nebo 16 MB a shardy uzlu zpracovávají své požadavky paralelně.
  • Registrace indexovaných dokumentů na hlavním uzlu již nebrzdí s růstem jejich počtu a seznam dokumentů shardu je bezpečně uchován při selhání zápisu nebo pádu procesu.
  • Hlavní uzel detekuje ztracené a neodpovídající uzly: slave uzel hlásí každých 5 sekund a volání již nečekají donekonečna na uzel, který zmizel. TcpSettings.ResponseTimeout může také omezit, jak dlouho hlavní uzel čeká na odpověď.

API a balíčkování

  • Index, IndexRepository, Cancellation, ExtractionHost a SearchNetworkNode implementují standardní .NET vzor dispose, takže odvozené třídy mohou uvolnit své vlastní prostředky. Uvolnění (Dispose) objektu Cancellation uvolní časovač zrušení naplánovaného pomocí CancelAfter.
  • Balíček GroupDocs.Search NuGet nyní obsahuje sestavení pro .NET Framework 4.8, .NET 6.0, .NET 8.0 a .NET 10.0 kromě .NET Framework 4.6.2 a .NET Standard 2.1 a automaticky vybírá sestavení pro cílový framework projektu.

Změny veřejného API

Byly přidány následující členy:

  • GroupDocs.Search.IndexSettings:
    • Boolean UseFastLoading – uchovává dodatečná data, která umožňují načíst index na disku několikanásobně rychleji. Ve výchozím nastavení povoleno; nastavte na false pro úsporu místa na disku.
  • GroupDocs.Search.Scaling.Configuring.TcpSettings:
    • String NetworkKey – tajný klíč sítě vyhledávání, dlouhý alespoň 16 znaků a stejný na všech uzlech.
    • String[] AllowedMasterAddresses – IPv4 adresy nebo názvy hostitelů, ze kterých slave uzel přijímá připojení hlavního uzlu.
    • Int32 ResponseTimeout – čas v milisekundách, po který hlavní uzel čeká na odpověď uzlu na požadavek. Ve výchozím nastavení bez limitu.
  • GroupDocs.Search.ExtractionHost:
    • IOcrConnector OcrConnector – OCR konektor samostatného extrakčního procesu.
  • GroupDocs.Search.IndexRepository:
    • SearchResult SearchNext(ChunkSearchToken) a SearchResult SearchNext(ChunkSearchToken, Cancellation) – pokračují ve vyhledávání po částech v úložišti indexů.
  • GroupDocs.Search.Options.TextOptions:
    • IWordSplitter WordSplitter – rozdělovací nástroj slov používaný při zvýrazňování a Index.GetDocumentText; děděno v HighlightOptions.
  • GroupDocs.Search.Common.Cancellation now implements IDisposable:
    • void Dispose() – uvolní časovač naplánovaného zrušení; naplánované zrušení není požadováno.
  • Index, IndexRepository, Cancellation, ExtractionHost and SearchNetworkNode:
    • protected virtual void Dispose(Boolean disposing) – metoda vzoru dispose pro odvozené třídy.

Změny chování, které mohou vyžadovat úpravy ve vašem kódu, jsou uvedeny v níže uvedených poznámkách k aktualizaci.

Příklady kódu

Vyhledávání úložiště indexů po částech

Následující příklad prohledává dva indexy úložiště po částech, jeden po druhém.

string indexFolder1 = @"c:\MyIndex1\"; // Specify the path to the first index folder
string indexFolder2 = @"c:\MyIndex2\"; // Specify the path to the second index folder
string documentsFolder1 = @"c:\MyDocuments1\"; // Specify the path to a folder containing documents to index
string documentsFolder2 = @"c:\MyDocuments2\"; // Specify the path to another folder containing documents to index

using (IndexRepository repository = new IndexRepository()) // Creating an index repository
{
    Index index1 = repository.Create(indexFolder1); // Creating the first index in the repository
    index1.Add(documentsFolder1); // Indexing documents from the first folder
    Index index2 = repository.Create(indexFolder2); // Creating the second index in the repository
    index2.Add(documentsFolder2); // Indexing documents from the second folder

    SearchOptions options = new SearchOptions();
    options.IsChunkSearch = true; // Enabling search by chunks

    SearchResult result = repository.Search("Einstein", options); // Getting the first chunk of the first index
    Console.WriteLine("Documents: " + result.DocumentCount);
    while (result.NextChunkSearchToken != null)
    {
        result = repository.SearchNext(result.NextChunkSearchToken); // Getting the next chunk, index by index
        Console.WriteLine("Documents: " + result.DocumentCount);
    }
}

Ochrana sítě vyhledávání sdíleným klíčem

Každý uzel sítě vyhledávání získá stejný tajný klíč. Slave uzel přijímá hlavní uzel pouze z jeho adresy a hlavní uzel omezuje čekání na odpovědi uzlů.

string basePath = @"c:\SearchNetwork\"; // Specify the path to the folder of the search network
string networkKey = Environment.GetEnvironmentVariable("SEARCH_NETWORK_KEY"); // The same key of at least 16 characters on every node

// On the server of slave node 1: the connection of the master node is accepted from 10.0.0.5 only
TcpSettings slaveSettings = new TcpSettings(49101, 10000, 10000, 10000, 1000);
slaveSettings.NetworkKey = networkKey;
slaveSettings.AllowedMasterAddresses = new string[] { "10.0.0.5" };
SearchNetworkNode node1 = SearchNetworkNode.CreateSlaveNode(1, basePath + "Node1", slaveSettings);
node1.Start();

// On the server of the master node (10.0.0.5): the responses of the nodes are awaited no longer than 10 minutes
Configuration configuration = Configuration.Load(basePath + "Configuration.xml"); // Loading the search network configuration
TcpSettings masterSettings = new TcpSettings(49100, 10000, 10000, 10000, 1000);
masterSettings.NetworkKey = networkKey;
masterSettings.ResponseTimeout = 600000;
SearchNetworkNode node0 = SearchNetworkNode.CreateMasterNode(
    0, basePath + "Node0", masterSettings, new FileLogger(basePath + "Log.txt", 4.0), configuration);
node0.ConfigureAllNodes();
node0.Start();

Snížení místa na disku indexu

Následující příklad vytvoří index, který zabírá méně místa na disku, a poté jej opět učiní rychle načitatelným.

string indexFolder = @"c:\MyIndex\"; // Specify the path to the index folder
string documentsFolder = @"c:\MyDocuments\"; // Specify the path to a folder containing documents to index

IndexSettings settings = new IndexSettings();
settings.UseFastLoading = false; // The index takes less disk space but loads longer
using (Index index = new Index(indexFolder, settings, true)) // Creating an index with the settings
{
    index.Add(documentsFolder); // Indexing documents from the specified folder
}

using (Index index = new Index(indexFolder)) // Opening the existing index
{
    index.IndexSettings.UseFastLoading = true; // The data is created the next time the index is loaded
}

Poznámky k aktualizaci

Zohledněte následující změny při aktualizaci z předchozí verze:

  • Indexy změněné ve verzi 26.11 nelze otevřít staršími verzemi. Verze 26.11 otevírá indexy verze 26.10 bez konverze, ale jakmile vytvoří nebo změní index (indexováním, mazáním dokumentů, optimalizací nebo změnou nastavení), starší verze jej již nemohou otevřít. Aktualizujte všechny aplikace, které sdílejí složku s indexem současně, včetně uzlů sítě vyhledávání.
  • Projekty .NET Framework používají balíček GroupDocs.Search. Nahraďte GroupDocs.Search.NETFramework balíčkem GroupDocs.Search, který nyní zahrnuje sestavení pro .NET Framework 4.6.2 a 4.8 a automaticky vybírá správné sestavení. Verze 26.11 balíčku GroupDocs.Search.NETFramework neexistuje.
  • Všechny uzly sítě vyhledávání jsou aktualizovány společně. Uzly verzí 26.10 a 26.11 se nepropojují. Pro ochranu sítě nastavte stejný TcpSettings.NetworkKey na každém uzlu: uzly s různými klíči nebo uzel s klíčem a uzel bez něj se nepropojují a oba zapíší důvod do svých logů. Uzlu bez klíče funguje jako dříve a zapíše varování do svého logu.
  • Zprávy sítě vyhledávání jsou podepsány, ale nešifrovány. Udržujte uzly v důvěryhodné síti nebo je propojte přes šifrovaný tunel.
  • Ztracené uzly jsou detekovány. Uzlu, který po dobu 15 sekund nic neodesílá (např. proces pozastavený v debuggeru), se přistupuje jako ke ztracenému: volání, která na něj čekají, vyhodí SearchException a jeho dokumenty jsou odeslány ostatním uzlům nebo hlášeny událostí ErrorOccurred. Ve výchozím nastavení hlavní uzel čeká na odpovědi bez limitu; nastavte TcpSettings.ResponseTimeout pro omezení čekání.
  • IndexSettings.SearchThreads je sdíleno všemi vyhledáváními v indexu. Jedno vyhledávání používá tolik vláken jako dříve, ale K souběžných vyhledávání nyní běží na max(K, SearchThreads) vláknech místo K × SearchThreads.
  • Rozšířená abeceda je k dispozici jen u nových indexů. Indexy starších verzí, včetně těch aktualizovaných pomocí IndexUpdater, rozdělují slova těchto skriptů jako dříve a Index.Merge odmítá sloučit nový index se starším. Pro sloučení exportujte Alphabet a TokenizationDictionary staršího indexu pomocí ExportDictionary a importujte je do nového indexu pomocí Clear a ImportDictionary před přidáním dokumentů.
  • Limity výskytů počítají části dat jen jednou. SearchOptions.MaxTotalOccurrenceCount a MaxOccurrenceCountPerTerm počítají každý výskyt dne, měsíce nebo roku jednou na vyhledávání, nebo jednou na chunk, místo jednou pro každé datum v rozmezí. Rozmezí dat, které dříve dosáhlo limitu, nyní může najít všechna svá data.
  • Vyhledávání po částech v úložišti indexů probíhá index po indexu. IndexRepository.Search s IsChunkSearch vrací první chunk prvního indexu. Pokračujte pomocí IndexRepository.SearchNext, dokud SearchResult.NextChunkSearchToken není null, nebo vyhledávejte bez chunků pro získání všech dokumentů v jednom výsledku.
  • OCR v samostatném extrakčním procesu používá ExtractionHost.OcrConnector. Nastavte konektor v programu extrakčního procesu a sestavte tento program se stejnou verzí GroupDocs.Search jako aplikace. OCR konektor možností indexování se tam nepoužívá.
  • Pokrok síťového indexování je hlášen po každé odpovědi shardu. NodeEventHub.IndexingProgressChanged nastane jednou pro každou odpověď shardu, která může hlásit několik dokumentů, takže ProcessedDocuments může růst o více než jedno.

Jak získat aktualizaci

NuGet

  • NuGet – Nainstalujte nejnovější balíček. Funguje v projektech .NET i .NET Framework a automaticky vybírá sestavení pro cílový framework: .NET Framework 4.6.2 nebo 4.8, .NET Standard 2.1, .NET 6.0, .NET 8.0 nebo .NET 10.0.
# Package Manager
NuGet\Install-Package GroupDocs.Search -Version 26.11.0

# .NET CLI
dotnet add package GroupDocs.Search --version 26.11.0

Přímé stažení

Zdroje