GroupDocs.Search for .NET 26.11 тепер доступний. Це випуск робить повторні та одночасні пошуки значно швидшими, зменшує пам’ять, виділену індексацією, до 4,5 рази і забезпечує безпеку мережі пошуку за допомогою автентифікації вузлів. Індексація в мережі пошуку в 5–20 разів швидша, а пакет GroupDocs.Search NuGet тепер включає збірки для .NET Framework 4.8, .NET 6.0, .NET 8.0 і .NET 10.0.

Індекси, створені версією 26.10, відкриваються без конвертації. У випуску 18 змін: 5 нових функцій, 12 покращень і 1 виправлення.

Основні показники продуктивності

Повні нотатки про випуск описують налаштування тесту для кожної діаграми.

Що Покращення у 26.11
Повторний пошук за регулярним виразом До 300 разів швидше
Повторний нечіткий пошук Від 4 до 30 разів швидше
Одночасні пошуки індексу Медіанний час 8 одночасних пошуків від 5,6 мс до 0,18 мс; від 4 до 18% більше пошуків за секунду
Нечіткий пошук з однією помилкою 1,8 рази швидше, 4,5 рази швидше з 8 потоками пошуку
Пошук за діапазоном дат До 10 разів швидше, до 59 разів швидше по частинах; довгі діапазони повертають повні результати
Пам’ять, виділена індексацією До 4,5 рази менше
Індексація зі збереженим текстом документа До 2,2 разів швидше
Отримання збереженого тексту документа В 3,5 рази швидше, у 11 разів менше пам’яті
Об’єднання індексів В 3,5 рази швидше, майже у 50 разів менше пам’яті
Індексація в мережі пошуку Від 5 до 20 разів швидше, значно менше сегментів індексу у шардах
Реєстрація 20 000 документів на головному вузлі З 27,1 с до 0,12 с, записано 0,8 МБ на диск замість 7,6 ГБ
Дисковий простір індексу Може бути зменшений за рахунок швидкості завантаження

Що нового у цьому випуску

Ключ Опис Категорія
SEARCHNET-3729 Реалізувати опцію зменшення дискового простору, зайнятого індексом, за рахунок швидкості завантаження Функція
SEARCHNET-3730 Реалізувати автентифікацію вузлів мережі пошуку Функція
SEARCHNET-3731 Реалізувати підтримку OCR для вилучення документів у окремому процесі Функція
SEARCHNET-3732 Реалізувати пошук по частинах у репозиторії індексів Функція
SEARCHNET-3733 Реалізувати підсвічування слів, створених користувацьким роздільником слів Функція
SEARCHNET-3734 Оптимізувати пошук по частинах Покращення
SEARCHNET-3735 Реалізувати спільний пул потоків для одночасних пошуків індексу Покращення
SEARCHNET-3736 Реалізувати повторне використання знайдених слів у повторних пошуках Покращення
SEARCHNET-3737 Реалізувати інтерфейс IDisposable у класі Cancellation Покращення
SEARCHNET-3738 Розширити алфавіт за замовчуванням додатковими скриптами Покращення
SEARCHNET-3739 Прискорити пошук за діапазоном дат і забезпечити повні результати для довгих діапазонів дат Покращення
SEARCHNET-3740 Зменшити споживання пам’яті під час індексації та операцій зі збереженими текстами документів Покращення
SEARCHNET-3741 Прискорити індексацію в мережі пошуку з великою кількістю документів Покращення
SEARCHNET-3742 Реалізувати пакетну індексацію та паралельну обробку запитів шардів у мережі пошуку Покращення
SEARCHNET-3743 Реалізувати патерн Dispose у класах Index, IndexRepository, Cancellation, ExtractionHost та SearchNetworkNode Покращення
SEARCHNET-3693 Реалізувати стратегію пакування TFM-Split для пакету GroupDocs.Search NuGet Покращення
SEARCHNET-3747 Реалізувати пакети NuGet для .NET Framework 4.8, .NET 6.0, .NET 8.0, .NET 10.0 Покращення
SEARCHNET-3746 Виправлено безкінечне очікування в мережі пошуку втрачених або не реагуючих вузлів Виправлення

Основні функції

Пошук

  • Повторні пошуки за шаблоном, регулярним виразом, числовим діапазоном та нечіткі пошуки повторно використовують слова, знайдені попередніми пошуками з тим же запитом, доки індекс не зміниться. Збережені слова займають до 8 МБ пам’яті на індекс.
  • Одночасні пошуки індексу ділять його потоки пошуку (IndexSettings.SearchThreads), тому короткі пошуки більше не чекають на довгі.
  • Пошук за діапазоном дат читає кожен день, місяць і рік з індексу один раз, замість пошуку кожної дати окремо. Довгі діапазони більше не обрізаються за межами ліміту появ, і діапазон усіх можливих дат, який раніше не працював, тепер шукається за секунди.
  • Пошук по частинах отримує всі ці переваги, і репозиторій індексів тепер також можна шукати по частинах: IndexRepository.SearchNext продовжує пошук індекс за індексом.
  • Підсвічування та Index.GetDocumentText можуть розбивати текст за допомогою користувацького роздільника слів, що використовується під час індексації, тому слова, які створює роздільник, наприклад слова в тексті без пробілів, також підсвічуються.
  • Алфавіт за замовчуванням нових індексів включає іврит, деванагарі, грузинську, розширений латинський, грецький та хангильські літери та комбіновані діакритичні знаки. Слова типу “Việt” більше не розбиваються на частини, а корейські та івритські слова індексуються та знаходяться цілком.

Індексація та зберігання індексу

  • Нове налаштування IndexSettings.UseFastLoading дозволяє індексу на диску відкинути додаткові дані, які роблять його завантаження в кілька разів швидшим: індекс займає менше дискового простору, але завантажується довше. Це налаштування можна змінювати в будь-який час, навіть для індексу, що вже містить документи.
  • Індексація виділяє до 4,5 рази менше пам’яті на документ і, зі збереженим текстом документа, працює до 2,2 разу швидше. Отримання збереженого тексту в 3,5 рази швидше при 11 разів меншій пам’яті, а об’єднання індексів — в 3,5 рази швидше при майже 50 разів меншій пам’яті.
  • Текст зображень у документах, вилучений в окремому процесі, тепер може бути розпізнаний: ExtractionHost.OcrConnector встановлює OCR‑конектор процесу вилучення. Якщо розпізнавання увімкнено, а процес вилучення не має OCR‑конектора, індекс повідомляє про це через подію ErrorOccurred.

Мережа пошуку

  • Вузли автентифікуються один одним за допомогою спільного секретного ключа (TcpSettings.NetworkKey), і кожне повідомлення підписується: комп’ютер без ключа не може ні надсилати команди вузлу, ні відповідати за нього. Ключ ніколи не передається по мережі. Вузол‑слейв також може обмежити адреси, з яких приймає головний вузол (TcpSettings.AllowedMasterAddresses).
  • Індексація в 5–20 разів швидша і створює значно менше сегментів індексу: документи, що надходять під час зайнятості шарда, індексуються пакетами до 1 000 документів або 16 МБ, а шарди вузла обробляють свої запити паралельно.
  • Реєстрація індексованих документів на головному вузлі більше не сповільнюється зі збільшенням їх кількості, і список документів шарда зберігається безпечно, коли запис не вдається або процес падає.
  • Головний вузол виявляє втрачені та не реагуючі вузли: слейв‑вузол повідомляє кожні 5 секунд, і виклики більше не чекають вічно на відсутній вузол. TcpSettings.ResponseTimeout також може обмежувати час очікування відповіді головним вузлом.

API та пакування

  • Index, IndexRepository, Cancellation, ExtractionHost та SearchNetworkNode реалізують стандартний патерн .NET dispose, тому похідні класи можуть звільняти власні ресурси. При знищенні Cancellation звільняється таймер запланованого скасування, встановленого через CancelAfter.
  • Пакет GroupDocs.Search NuGet тепер включає збірки для .NET Framework 4.8, .NET 6.0, .NET 8.0 і .NET 10.0, крім .NET Framework 4.6.2 і .NET Standard 2.1, і автоматично вибирає збірку для цільової платформи проєкту.

Зміни у публічному API

Додані наступні члени:

  • GroupDocs.Search.IndexSettings:
    • Boolean UseFastLoading – зберігає додаткові дані, які роблять завантаження індексу на диску в кілька разів швидшим. Увімкнено за замовчуванням; встановіть false, щоб заощадити дисковий простір.
  • GroupDocs.Search.Scaling.Configuring.TcpSettings:
    • String NetworkKey – секретний ключ мережі пошуку, довжиною не менше 16 символів і однаковий на всіх вузлах.
    • String[] AllowedMasterAddresses – IPv4‑адреси або імена хостів, з яких слейв‑вузол приймає підключення головного вузла.
    • Int32 ResponseTimeout – час у мілісекундах, який головний вузол чекає на відповідь вузла на запит. За замовчуванням без обмеження.
  • GroupDocs.Search.ExtractionHost:
    • IOcrConnector OcrConnector – OCR‑конектор окремого процесу вилучення.
  • GroupDocs.Search.IndexRepository:
    • SearchResult SearchNext(ChunkSearchToken) та SearchResult SearchNext(ChunkSearchToken, Cancellation) – продовжують пошук по частинах у репозиторії індексів.
  • GroupDocs.Search.Options.TextOptions:
    • IWordSplitter WordSplitter – роздільник слів, який використовується під час підсвічування та Index.GetDocumentText; успадковується HighlightOptions.
  • GroupDocs.Search.Common.Cancellation now implements IDisposable:
    • void Dispose() – звільняє таймер запланованого скасування; заплановане скасування не запитується.
  • Index, IndexRepository, Cancellation, ExtractionHost and SearchNetworkNode:
    • protected virtual void Dispose(Boolean disposing) – метод патерну Dispose для похідних класів.

Зміни в поведінці, які можуть вимагати змін у вашому коді, наведені в нотатках про оновлення нижче.

Приклади коду

Пошук репозиторію індексів по частинах

Наступний приклад шукає два індекси репозиторію по частинах, один індекс за іншим.

string indexFolder1 = @"c:\MyIndex1\"; // Specify the path to the first index folder
string indexFolder2 = @"c:\MyIndex2\"; // Specify the path to the second index folder
string documentsFolder1 = @"c:\MyDocuments1\"; // Specify the path to a folder containing documents to index
string documentsFolder2 = @"c:\MyDocuments2\"; // Specify the path to a folder containing documents to index

using (IndexRepository repository = new IndexRepository()) // Creating an index repository
{
    Index index1 = repository.Create(indexFolder1); // Creating the first index in the repository
    index1.Add(documentsFolder1); // Indexing documents from the first folder
    Index index2 = repository.Create(indexFolder2); // Creating the second index in the repository
    index2.Add(documentsFolder2); // Indexing documents from the second folder

    SearchOptions options = new SearchOptions();
    options.IsChunkSearch = true; // Enabling search by chunks

    SearchResult result = repository.Search("Einstein", options); // Getting the first chunk of the first index
    Console.WriteLine("Documents: " + result.DocumentCount);
    while (result.NextChunkSearchToken != null)
    {
        result = repository.SearchNext(result.NextChunkSearchToken); // Getting the next chunk, index by index
        Console.WriteLine("Documents: " + result.DocumentCount);
    }
}

Захист мережі пошуку спільним ключем

Кожен вузол мережі пошуку отримує один і той же секретний ключ. Слейв‑вузол приймає головний вузол лише з його адреси, а головний вузол обмежує очікування відповідей від вузлів.

string basePath = @"c:\SearchNetwork\"; // Specify the path to the folder of the search network
string networkKey = Environment.GetEnvironmentVariable("SEARCH_NETWORK_KEY"); // The same key of at least 16 characters on every node

// On the server of slave node 1: the connection of the master node is accepted from 10.0.0.5 only
TcpSettings slaveSettings = new TcpSettings(49101, 10000, 10000, 10000, 1000);
slaveSettings.NetworkKey = networkKey;
slaveSettings.AllowedMasterAddresses = new string[] { "10.0.0.5" };
SearchNetworkNode node1 = SearchNetworkNode.CreateSlaveNode(1, basePath + "Node1", slaveSettings);
node1.Start();

// On the server of the master node (10.0.0.5): the responses of the nodes are awaited no longer than 10 minutes
Configuration configuration = Configuration.Load(basePath + "Configuration.xml"); // Loading the search network configuration
TcpSettings masterSettings = new TcpSettings(49100, 10000, 10000, 10000, 1000);
masterSettings.NetworkKey = networkKey;
masterSettings.ResponseTimeout = 600000;
SearchNetworkNode node0 = SearchNetworkNode.CreateMasterNode(
    0, basePath + "Node0", masterSettings, new FileLogger(basePath + "Log.txt", 4.0), configuration);
node0.ConfigureAllNodes();
node0.Start();

Зменшення дискового простору індексу

Наступний приклад створює індекс, який займає менше дискового простору, а потім знову робить його швидким при завантаженні.

string indexFolder = @"c:\MyIndex\"; // Specify the path to the index folder
string documentsFolder = @"c:\MyDocuments\"; // Specify the path to a folder containing documents to index

IndexSettings settings = new IndexSettings();
settings.UseFastLoading = false; // The index takes less disk space but loads longer
using (Index index = new Index(indexFolder, settings, true)) // Creating an index with the settings
{
    index.Add(documentsFolder); // Indexing documents from the specified folder
}

using (Index index = new Index(indexFolder)) // Opening the existing index
{
    index.IndexSettings.UseFastLoading = true; // The data is created the next time the index is loaded
}

Примітки щодо оновлення

Врахуйте наступні зміни при оновленні з попередньої версії:

  • Індекси, змінені у версії 26.11, не можуть бути відкриті раннішими версіями. Версія 26.11 відкриває індекси версії 26.10 без конвертації, але після створення або зміни індексу (через індексацію, видалення документів, оптимізацію або зміну налаштувань) ранніші версії більше не зможуть його відкрити. Оновіть усі застосунки, які спільно використовують папку індексів, одночасно, включаючи вузли мережі пошуку.
  • Проекти .NET Framework використовують пакет GroupDocs.Search. Замініть GroupDocs.Search.NETFramework на GroupDocs.Search, який тепер включає збірки .NET Framework 4.6.2 і 4.8 і автоматично вибирає потрібну збірку. Версії 26.11 GroupDocs.Search.NETFramework не існує.
  • Усі вузли мережі пошуку оновлюються одночасно. Вузли версій 26.10 і 26.11 не підключаються один до одного. Щоб захистити мережу, встановіть однаковий TcpSettings.NetworkKey на кожному вузлі: вузли з різними ключами, або вузол з ключем і вузол без нього, не підключаються, і обидва записують причину у свої журнали. Вузол без ключа працює як раніше і записує попередження у свій журнал.
  • Повідомлення мережі пошуку підписані, але не зашифровані. Тримайте вузли у довіреній мережі або підключайте їх через зашифрований тунель.
  • Втрачені вузли виявляються. Вузол, який не надсилає нічого протягом 15 секунд, наприклад процес, зупинений у відладчику, розглядається як втрачене: виклики, що чекають на нього, викидають SearchException, а його документи надсилаються іншим вузлам або повідомляються через подію ErrorOccurred. За замовчуванням головний вузол чекає на відповіді без обмеження; встановіть TcpSettings.ResponseTimeout, щоб обмежити очікування.
  • IndexSettings.SearchThreads спільний для всіх пошуків індексу. Один пошук використовує стільки ж потоків, скільки раніше, але K одночасних пошуків тепер працюють на max(K, SearchThreads) потоках замість K × SearchThreads.
  • Тільки нові індекси отримують розширений алфавіт. Індекси ранніх версій, включаючи оновлені за допомогою IndexUpdater, розбивають слова цих скриптів, як раніше, і Index.Merge відмовляється об’єднувати новий індекс зі старим. Щоб їх об’єднати, експортуйте Alphabet та TokenizationDictionary старого індексу за допомогою ExportDictionary і імпортуйте їх у новий індекс за допомогою Clear та ImportDictionary перед додаванням документів.
  • Ліміти появ рахують частини дат один раз. SearchOptions.MaxTotalOccurrenceCount та MaxOccurrenceCountPerTerm рахує кожну появу дня, місяця або року один раз за пошук, або один раз за частину, замість одного разу для кожної дати діапазону. Діапазон дат, який раніше досягав ліміту, тепер може знайти всі свої дати.
  • Пошук по частинах у репозиторії індексів проходить індекс за індексом. IndexRepository.Search з IsChunkSearch повертає першу частину першого індексу. Продовжуйте за допомогою IndexRepository.SearchNext, доки SearchResult.NextChunkSearchToken не дорівнює null, або шукайте без частин, щоб отримати всі документи в одному результаті.
  • OCR в окремому процесі вилучення використовує ExtractionHost.OcrConnector. Встановіть конектор у програмі процесу вилучення і зберіть цю програму з тією ж версією GroupDocs.Search, що й застосунок. OCR‑конектор параметрів індексації там не використовується.
  • Прогрес індексації в мережі повідомляється за кожну відповідь шарда. NodeEventHub.IndexingProgressChanged виникає один раз для кожної відповіді шарда, яка може містити кілька документів, тому ProcessedDocuments може збільшуватись більш ніж на один.

Як отримати оновлення

NuGet

  • NuGet – Встановіть останній пакет. Працює у проектах .NET та .NET Framework і автоматично вибирає збірку для цільової платформи: .NET Framework 4.6.2 або 4.8, .NET Standard 2.1, .NET 6.0, .NET 8.0 або .NET 10.0.
# Package Manager
NuGet\Install-Package GroupDocs.Search -Version 26.11.0

# .NET CLI
dotnet add package GroupDocs.Search --version 26.11.0

Пряме завантаження

Ресурси