GroupDocs.Search for .NET 26.11 jest już dostępny. To wydanie sprawia, że powtarzalne i jednoczesne wyszukiwania są znacznie szybsze, zmniejsza pamięć przydzielaną podczas indeksowania nawet do 4,5‑krotnie i zabezpiecza sieć wyszukiwania dzięki uwierzytelnianiu węzłów. Indeksowanie w sieci wyszukiwania jest od 5 do 20 razy szybsze, a pakiet GroupDocs.Search NuGet zawiera teraz kompilacje dla .NET Framework 4.8, .NET 6.0, .NET 8.0 i .NET 10.0.

Indeksy utworzone w wersji 26.10 otwierają się bez konwersji. Wydanie zawiera 18 zmian: 5 nowych funkcji, 12 ulepszeń i 1 poprawkę.

Najważniejsze informacje o wydajności

Pełne notatki wydania opisują konfigurację testów dla każdej figury.

Co Zysk w 26.11
Powtarzalne wyszukiwanie wyrażeń regularnych Do 300 razy szybciej
Powtarzalne wyszukiwanie przybliżone 4‑30 razy szybciej
Jednoczesne wyszukiwania w indeksie Średni czas 8 jednoczesnych wyszukiwań od 5,6 ms do 0,18 ms; 4‑18 % więcej wyszukiwań na sekundę
Wyszukiwanie przybliżone z jedną pomyłką 1,8 razy szybciej, 4,5 razy szybciej przy 8 wątkach wyszukiwania
Wyszukiwanie zakresu dat Do 10 razy szybciej, do 59 razy szybciej przy podziale na fragmenty; długie zakresy zwracają kompletne wyniki
Pamięć przydzielana przy indeksowaniu Do 4,5‑krotnie mniej
Indeksowanie z przechowywanym tekstem dokumentu Do 2,2 razy szybciej
Pobieranie przechowywanego tekstu dokumentu 3,5 razy szybciej, 11‑krotnie mniej pamięci
Scalanie indeksów 3,5 razy szybciej, prawie 50‑krotnie mniej pamięci
Indeksowanie w sieci wyszukiwania 5‑20 razy szybciej, znacznie mniej segmentów indeksu w fragmentach
Rejestrowanie 20 000 dokumentów na węźle głównym Z 27,1 s do 0,12 s, 0,8 MB zapisane na dysku zamiast 7,6 GB
Miejsce na dysku zajmowane przez indeks Można zmniejszyć kosztem szybkości ładowania

Co nowego w tym wydaniu

Klucz Podsumowanie Kategoria
SEARCHNET-3729 Wdrożenie opcji zmniejszenia zajętości dysku przez indeks kosztem szybkości ładowania Funkcja
SEARCHNET-3730 Wdrożenie uwierzytelniania węzłów sieci wyszukiwania Funkcja
SEARCHNET-3731 Wdrożenie obsługi OCR dla wyodrębniania dokumentów w osobnym procesie Funkcja
SEARCHNET-3732 Wdrożenie wyszukiwania po fragmentach w repozytorium indeksu Funkcja
SEARCHNET-3733 Wdrożenie podświetlania słów generowanych przez własny podzielnik słów Funkcja
SEARCHNET-3734 Optymalizacja wyszukiwania po fragmentach Ulepszenie
SEARCHNET-3735 Wdrożenie współdzielonej puli wątków dla równoczesnych wyszukiwań w indeksie Ulepszenie
SEARCHNET-3736 Wdrożenie ponownego użycia dopasowanych słów w powtarzalnych wyszukiwaniach Ulepszenie
SEARCHNET-3737 Wdrożenie interfejsu IDisposable w klasie Cancellation Ulepszenie
SEARCHNET-3738 Rozszerzenie domyślnego alfabetu o dodatkowe skrypty Ulepszenie
SEARCHNET-3739 Przyspieszenie wyszukiwania zakresu dat i zapewnienie pełnych wyników dla długich zakresów dat Ulepszenie
SEARCHNET-3740 Zmniejszenie zużycia pamięci przy indeksowaniu i operacjach z przechowywanymi tekstami dokumentów Ulepszenie
SEARCHNET-3741 Przyspieszenie indeksowania w sieci wyszukiwania przy dużej liczbie dokumentów Ulepszenie
SEARCHNET-3742 Wdrożenie indeksowania wsadowego i równoległego przetwarzania żądań fragmentów w sieci wyszukiwania Ulepszenie
SEARCHNET-3743 Wdrożenie wzorca zwalniania w klasach Index, IndexRepository, Cancellation, ExtractionHost i SearchNetworkNode Ulepszenie
SEARCHNET-3693 Wdrożenie strategii pakowania TFM‑Split dla pakietu GroupDocs.Search NuGet Ulepszenie
SEARCHNET-3747 Wdrożenie pakietów NuGet dla .NET Framework 4.8, .NET 6.0, .NET 8.0, .NET 10.0 Ulepszenie
SEARCHNET-3746 Naprawiono nieokreślone oczekiwania sieci wyszukiwania na utracone lub nieodpowiadające węzły Poprawka

Główne funkcje

Wyszukiwanie

  • Powtarzalne wyszukiwania przy użyciu znaków wieloznacznych, wyrażeń regularnych, zakresów numerycznych i przybliżonych ponownie wykorzystują słowa znalezione w poprzednich wyszukiwaniach z tym samym zapytaniem, dopóki indeks nie ulegnie zmianie. Zachowane słowa zajmują do 8 MB pamięci na indeks.
  • Jednoczesne wyszukiwania w indeksie współdzielą jego wątki wyszukiwania (IndexSettings.SearchThreads), więc krótkie wyszukiwania nie czekają już na długie.
  • Wyszukiwanie zakresu dat odczytuje każdy dzień, miesiąc i rok z indeksu raz, zamiast przeszukiwać każdą datę w zakresie osobno. Długie zakresy nie są już odcinane przy limicie wystąpień, a zakres wszystkich możliwych dat, który wcześniej nie działał, jest teraz przeszukiwany w ciągu kilku sekund.
  • Wyszukiwanie po fragmentach przynosi wszystkie te korzyści, a repozytorium indeksu może teraz być przeszukiwane po fragmentach: IndexRepository.SearchNext kontynuuje wyszukiwanie indeks po indeksie.
  • Podświetlanie i Index.GetDocumentText mogą dzielić tekst przy użyciu własnego podzielnika słów używanego przy indeksowaniu, więc słowa generowane przez podzielnik, np. słowa w tekście bez spacji, są również podświetlane.
  • Domyślny alfabet nowych indeksów obejmuje hebrajski, devanagari, gruziński, rozszerzoną łacinę, greckie i hangul oraz znaki diakrytyczne łączące. Słowa takie jak „Việt” nie są już dzielone na części, a słowa koreańskie i hebrajskie są indeksowane i znajdowane w całości.

Indeksowanie i przechowywanie indeksu

  • Nowe ustawienie IndexSettings.UseFastLoading pozwala indeksowi na dysku pominąć dodatkowe dane, które sprawiają, że jego ładowanie jest kilka razy szybsze: indeks zajmuje mniej miejsca na dysku, ale ładuje się dłużej. Ustawienie można zmienić w dowolnym momencie, także dla indeksu, który już zawiera dokumenty.
  • Indeksowanie przydziela do 4,5‑krotnie mniej pamięci na dokument i, przy przechowywanym tekście dokumentu, działa do 2,2‑krotnie szybciej. Pobieranie przechowywanego tekstu jest 3,5‑krotnie szybsze przy 11‑krotnie mniejszym zużyciu pamięci, a scalanie indeksów jest 3,5‑krotnie szybsze przy prawie 50‑krotnie mniejszym zużyciu pamięci.
  • Tekst obrazów w dokumentach wyodrębniany w osobnym procesie może teraz być rozpoznawany: ExtractionHost.OcrConnector ustawia łącznik OCR procesu wyodrębniania. Jeśli rozpoznawanie jest włączone, ale proces wyodrębniania nie ma łącznika OCR, indeks zgłasza to za pośrednictwem zdarzenia ErrorOccurred.

Sieć wyszukiwania

  • Węzły uwierzytelniają się nawzajem przy użyciu współdzielonego tajnego klucza (TcpSettings.NetworkKey), a każda wiadomość jest podpisana: komputer bez klucza nie może wydawać poleceń węzłowi ani na nie odpowiadać. Klucz nigdy nie jest przesyłany przez sieć. Węzeł podrzędny może także ograniczyć adresy, z których akceptuje węzeł główny (TcpSettings.AllowedMasterAddresses).
  • Indeksowanie jest od 5 do 20 razy szybsze i tworzy znacznie mniej segmentów indeksu: dokumenty, które przychodzą, gdy fragment jest zajęty, są indeksowane w partiach do 1 000 dokumentów lub 16 MB, a fragmenty węzła przetwarzają swoje żądania równolegle.
  • Rejestrowanie indeksowanych dokumentów na węźle głównym nie spowalnia już wraz ze wzrostem ich liczby, a lista dokumentów fragmentu jest bezpiecznie przechowywana, gdy zapis się nie powiedzie lub proces ulegnie awarii.
  • Węzeł główny wykrywa utracone i nieodpowiadające węzły: węzeł podrzędny zgłasza się co 5 sekund, a wywołania nie czekają już w nieskończoność na nieistniejący węzeł. TcpSettings.ResponseTimeout może także ograniczyć, jak długo węzeł główny czeka na odpowiedź.

API i pakowanie

  • Index, IndexRepository, Cancellation, ExtractionHost i SearchNetworkNode implementują standardowy wzorzec zwalniania .NET, więc klasy pochodne mogą zwalniać własne zasoby. Zwalnianie obiektu Cancellation zwalnia timer zaplanowanego anulowania przez CancelAfter.
  • Pakiet GroupDocs.Search NuGet zawiera teraz kompilacje dla .NET Framework 4.8, .NET 6.0, .NET 8.0 i .NET 10.0 oprócz .NET Framework 4.6.2 i .NET Standard 2.1, i automatycznie wybiera kompilację odpowiednią dla docelowego frameworku projektu.

Zmiany w publicznym API

Dodano następujące elementy:

  • GroupDocs.Search.IndexSettings:
    • Boolean UseFastLoading – zachowuje dodatkowe dane, które sprawiają, że indeks na dysku ładuje się kilka razy szybciej. Domyślnie włączone; ustaw na false, aby zaoszczędzić miejsce na dysku.
  • GroupDocs.Search.Scaling.Configuring.TcpSettings:
    • String NetworkKey – tajny klucz sieci wyszukiwania, co najmniej 16‑znakowy i taki sam na wszystkich węzłach.
    • String[] AllowedMasterAddresses – adresy IPv4 lub nazwy hostów, z których węzeł podrzędny akceptuje połączenie węzła głównego.
    • Int32 ResponseTimeout – czas w milisekundach, jaki węzeł główny czeka na odpowiedź węzła na żądanie. Domyślnie brak limitu.
  • GroupDocs.Search.ExtractionHost:
    • IOcrConnector OcrConnector – łącznik OCR osobnego procesu wyodrębniania.
  • GroupDocs.Search.IndexRepository:
    • SearchResult SearchNext(ChunkSearchToken) oraz SearchResult SearchNext(ChunkSearchToken, Cancellation) – kontynuują wyszukiwanie po fragmentach w repozytorium indeksu.
  • GroupDocs.Search.Options.TextOptions:
    • IWordSplitter WordSplitter – podzielnik słów używany przy podświetlaniu i Index.GetDocumentText; dziedziczony przez HighlightOptions.
  • GroupDocs.Search.Common.Cancellation teraz implementuje IDisposable:
    • void Dispose() – zwalnia timer zaplanowanego anulowania; zaplanowane anulowanie nie jest żądane.
  • Index, IndexRepository, Cancellation, ExtractionHost i SearchNetworkNode:
    • protected virtual void Dispose(Boolean disposing) – metoda wzorca zwalniania dla klas pochodnych.

Zmiany zachowania, które mogą wymagać modyfikacji w kodzie, są wymienione w poniższych notatkach aktualizacyjnych.

Przykłady kodu

Wyszukiwanie repozytorium indeksu po fragmentach

Poniższy przykład przeszukuje dwa indeksy repozytorium kawałek po kawałku, jeden indeks po drugim.

string indexFolder1 = @"c:\MyIndex1\"; // Specify the path to the first index folder
string indexFolder2 = @"c:\MyIndex2\"; // Specify the path to the second index folder
string documentsFolder1 = @"c:\MyDocuments1\"; // Specify the path to a folder containing documents to index
string documentsFolder2 = @"c:\MyDocuments2\"; // Specify the path to another folder containing documents to index

using (IndexRepository repository = new IndexRepository()) // Creating an index repository
{
    Index index1 = repository.Create(indexFolder1); // Creating the first index in the repository
    index1.Add(documentsFolder1); // Indexing documents from the first folder
    Index index2 = repository.Create(indexFolder2); // Creating the second index in the repository
    index2.Add(documentsFolder2); // Indexing documents from the second folder

    SearchOptions options = new SearchOptions();
    options.IsChunkSearch = true; // Enabling search by chunks

    SearchResult result = repository.Search("Einstein", options); // Getting the first chunk of the first index
    Console.WriteLine("Documents: " + result.DocumentCount);
    while (result.NextChunkSearchToken != null)
    {
        result = repository.SearchNext(result.NextChunkSearchToken); // Getting the next chunk, index by index
        Console.WriteLine("Documents: " + result.DocumentCount);
    }
}

Zabezpieczenie sieci wyszukiwania wspólnym kluczem

Każdy węzeł sieci wyszukiwania otrzymuje ten sam tajny klucz. Węzeł podrzędny akceptuje węzeł nadrzędny tylko z jego adresu, a węzeł nadrzędny ogranicza czas oczekiwania na odpowiedzi węzłów.

string basePath = @"c:\SearchNetwork\"; // Specify the path to the folder of the search network
string networkKey = Environment.GetEnvironmentVariable("SEARCH_NETWORK_KEY"); // The same key of at least 16 characters on every node

// On the server of slave node 1: the connection of the master node is accepted from 10.0.0.5 only
TcpSettings slaveSettings = new TcpSettings(49101, 10000, 10000, 10000, 1000);
slaveSettings.NetworkKey = networkKey;
slaveSettings.AllowedMasterAddresses = new string[] { "10.0.0.5" };
SearchNetworkNode node1 = SearchNetworkNode.CreateSlaveNode(1, basePath + "Node1", slaveSettings);
node1.Start();

// On the server of the master node (10.0.0.5): the responses of the nodes are awaited no longer than 10 minutes
Configuration configuration = Configuration.Load(basePath + "Configuration.xml"); // Loading the search network configuration
TcpSettings masterSettings = new TcpSettings(49100, 10000, 10000, 10000, 1000);
masterSettings.NetworkKey = networkKey;
masterSettings.ResponseTimeout = 600000;
SearchNetworkNode node0 = SearchNetworkNode.CreateMasterNode(
    0, basePath + "Node0", masterSettings, new FileLogger(basePath + "Log.txt", 4.0), configuration);
node0.ConfigureAllNodes();
node0.Start();

Zmniejszenie miejsca na dysku zajmowanego przez indeks

Poniższy przykład tworzy indeks, który zajmuje mniej miejsca na dysku, a następnie przyspiesza jego ładowanie.

string indexFolder = @"c:\MyIndex\"; // Specify the path to the index folder
string documentsFolder = @"c:\MyDocuments\"; // Specify the path to a folder containing documents to index

IndexSettings settings = new IndexSettings();
settings.UseFastLoading = false; // The index takes less disk space but loads longer
using (Index index = new Index(indexFolder, settings, true)) // Creating an index with the settings
{
    index.Add(documentsFolder); // Indexing documents from the specified folder
}

using (Index index = new Index(indexFolder)) // Opening the existing index
{
    index.IndexSettings.UseFastLoading = true; // The data is created the next time the index is loaded
}

Notatki aktualizacyjne

Weź pod uwagę następujące zmiany przy aktualizacji z poprzedniej wersji:

  • Indeksy zmienione w wersji 26.11 nie mogą być otwierane przez wcześniejsze wersje. Wersja 26.11 otwiera indeksy wersji 26.10 bez konwersji, ale po utworzeniu lub zmianie indeksu (poprzez indeksowanie, usuwanie dokumentów, optymalizację lub zmianę ustawień) wcześniejsze wersje nie mogą już go otworzyć. Zaktualizuj wszystkie aplikacje współdzielące folder indeksu jednocześnie, w tym węzły sieci wyszukiwania.
  • Projekty .NET Framework używają pakietu GroupDocs.Search. Zastąp GroupDocs.Search.NETFramework pakietem GroupDocs.Search, który teraz zawiera kompilacje .NET Framework 4.6.2 i 4.8 oraz automatycznie wybiera właściwą kompilację. Nie istnieje wersja 26.11 pakietu GroupDocs.Search.NETFramework.
  • Wszystkie węzły sieci wyszukiwania są aktualizowane razem. Węzły wersji 26.10 i 26.11 nie łączą się. Aby zabezpieczyć sieć, ustaw ten sam TcpSettings.NetworkKey na każdym węźle: węzły z różnymi kluczami, lub węzeł z kluczem i węzeł bez klucza, nie łączą się i oba zapisują przyczynę w swoich logach. Węzeł bez klucza działa jak wcześniej i zapisuje ostrzeżenie w swoim logu.
  • Wiadomości w sieci wyszukiwania są podpisane, ale nie szyfrowane. Trzymaj węzły w zaufanej sieci lub łącz je przez zaszyfrowany tunel.
  • Utracone węzły są wykrywane. Węzeł, który nie wysyła nic przez 15 sekund, np. proces wstrzymany w debugerze, jest traktowany jako utracony: wywołania czekające na niego rzucają SearchException, a jego dokumenty są wysyłane do innych węzłów lub zgłaszane przez zdarzenie ErrorOccurred. Domyślnie węzeł główny czeka na odpowiedzi bez limitu; ustaw TcpSettings.ResponseTimeout, aby ograniczyć oczekiwanie.
  • IndexSettings.SearchThreads jest współdzielone przez wszystkie wyszukiwania w indeksie. Jedno wyszukiwanie używa tyle samo wątków co wcześniej, ale K jednoczesnych wyszukiwań działa teraz na maksymalnie max(K, SearchThreads) wątkach zamiast K × SearchThreads.
  • Tylko nowe indeksy otrzymują rozszerzony alfabet. Indeksy wcześniejszych wersji, w tym te zaktualizowane przez IndexUpdater, dzielą słowa tych skryptów jak wcześniej, a Index.Merge odmawia scalenia nowego indeksu ze starszym. Aby je scalić, wyeksportuj Alphabet i TokenizationDictionary starszego indeksu przy pomocy ExportDictionary i zaimportuj je do nowego indeksu przy użyciu Clear i ImportDictionary przed dodaniem dokumentów.
  • Limity wystąpień liczą części dat jednokrotnie. SearchOptions.MaxTotalOccurrenceCount i MaxOccurrenceCountPerTerm liczą każde wystąpienie dnia, miesiąca lub roku raz na wyszukiwanie, lub raz na fragment, zamiast raz dla każdej daty w zakresie. Zakres dat, który wcześniej osiągnął limit, może teraz znaleźć wszystkie swoje daty.
  • Wyszukiwanie po fragmentach w repozytorium indeksu przebiega indeks po indeksie. IndexRepository.Search z IsChunkSearch zwraca pierwszy fragment pierwszego indeksu. Kontynuuj przy użyciu IndexRepository.SearchNext, dopóki SearchResult.NextChunkSearchToken nie jest null, lub wyszukuj bez fragmentów, aby uzyskać wszystkie dokumenty w jednym wyniku.
  • OCR w osobnym procesie wyodrębniania używa ExtractionHost.OcrConnector. Ustaw łącznik w programie procesu wyodrębniania i zbuduj ten program z tą samą wersją GroupDocs.Search co aplikacja. Łącznik OCR opcji indeksowania nie jest tam używany.
  • Postęp indeksowania w sieci jest zgłaszany per odpowiedź fragmentu. NodeEventHub.IndexingProgressChanged występuje raz dla każdej odpowiedzi fragmentu, która może zgłaszać kilka dokumentów, więc ProcessedDocuments może rosnąć o więcej niż jeden.

Jak uzyskać aktualizację

NuGet

  • NuGet – Zainstaluj najnowszy pakiet. Działa w projektach .NET i .NET Framework i automatycznie wybiera kompilację odpowiednią dla docelowego frameworku: .NET Framework 4.6.2 lub 4.8, .NET Standard 2.1, .NET 6.0, .NET 8.0 lub .NET 10.0.
# Package Manager
NuGet\Install-Package GroupDocs.Search -Version 26.11.0

# .NET CLI
dotnet add package GroupDocs.Search --version 26.11.0

Bezpośrednie pobranie

Zasoby