GroupDocs.Search for .NET 26.11 が利用可能になりました。このリリースでは 繰り返し検索と同時検索が大幅に高速化 され、インデックス作成時のメモリ使用量が最大4.5倍削減 され、ノード認証により 検索ネットワークが保護 されます。検索ネットワークでのインデックス作成は 5〜20倍高速 になり、GroupDocs.Search NuGet パッケージには .NET Framework 4.8、.NET 6.0、.NET 8.0、.NET 10.0 用のビルドが含まれるようになりました。

バージョン 26.10 で作成されたインデックスは 変換なしで 開くことができます。このリリースには 18 件の変更 が含まれます:新機能 5 件、改善 12 件、修正 1 件。

パフォーマンスのハイライト

完全なリリースノートでは各図のテスト設定が説明されています。

項目 26.11 の改善
繰り返し正規表現検索 最大300倍高速
繰り返しファジー検索 4〜30倍高速
インデックスの同時検索 8 件の同時検索の中央値が 5.6 ms から 0.18 ms に; 秒あたりの検索数が 4〜18% 増加
1 つのミスを許容したファジー検索 1.8 倍高速、検索スレッド 8 本使用時は 4.5 倍高速
日付範囲検索 最大10倍高速、チャンク単位では最大 59 倍高速; 長い範囲でも 完全な結果 が返されます
インデックス作成時に割り当てられるメモリ 最大4.5倍少なく
保存された文書テキストを使用したインデックス作成 最大2.2倍高速
保存された文書テキストの取得 3.5倍高速、メモリは 11 倍少なく
インデックスのマージ 3.5倍高速、メモリはほぼ 50 倍少なく
検索ネットワークでのインデックス作成 5〜20倍高速、シャード内のインデックスセグメントが大幅に減少
マスターノードで 20,000 文書を登録 27.1 秒から 0.12 秒へ、ディスク書き込みは 7.6 GB の代わりに 0.8 MB
インデックスのディスク容量 ロード速度を犠牲にして 削減可能

このリリースの新機能

キー 概要 カテゴリ
SEARCHNET-3729 ロード速度を犠牲にしてインデックスが占有するディスク容量を削減するオプションを実装 機能
SEARCHNET-3730 検索ネットワークノードの認証を実装 機能
SEARCHNET-3731 別プロセスでの文書抽出に対する OCR サポートを実装 機能
SEARCHNET-3732 インデックスリポジトリでのチャンク単位検索を実装 機能
SEARCHNET-3733 カスタム単語分割器が生成する単語のハイライトを実装 機能
SEARCHNET-3734 チャンク単位検索を最適化 改善
SEARCHNET-3735 インデックスの同時検索用に共有スレッドプールを実装 改善
SEARCHNET-3736 繰り返し検索で一致した単語の再利用を実装 改善
SEARCHNET-3737 Cancellation クラスに IDisposable インターフェイスを実装 改善
SEARCHNET-3738 デフォルトアルファベットに追加スクリプトを拡張 改善
SEARCHNET-3739 日付範囲検索を高速化し、長い日付範囲でも完全な結果を保証 改善
SEARCHNET-3740 インデックス作成および保存された文書テキストの操作時のメモリ消費を削減 改善
SEARCHNET-3741 大量の文書を持つ検索ネットワークでのインデックス作成を高速化 改善
SEARCHNET-3742 検索ネットワークでのバッチインデックス作成とシャードリクエストの並列処理を実装 改善
SEARCHNET-3743 Index、IndexRepository、Cancellation、ExtractionHost、SearchNetworkNode クラスに dispose パターンを実装 改善
SEARCHNET-3693 GroupDocs.Search NuGet パッケージ向けに TFM-Split パッケージ戦略を実装 改善
SEARCHNET-3747 .NET Framework 4.8、.NET 6.0、.NET 8.0、.NET 10.0 用の NuGet パッケージを実装 改善
SEARCHNET-3746 失われたまたは応答しないノードに対する検索ネットワークの無期限待機を修正 修正

主な機能

検索

  • 繰り返しワイルドカード、正規表現、数値範囲、ファジー検索は、インデックスが変更されるまで同じクエリで以前の検索で見つかった単語を再利用します。保持された単語はインデックスあたり最大 8 MB のメモリを使用します。
  • インデックスの同時検索はその検索スレッド (IndexSettings.SearchThreads) を共有するため、短い検索が長い検索を待つことがなくなります。
  • 日付範囲検索は、範囲内の各日・月・年をインデックスから一度だけ読み取り、範囲内のすべての日付を個別に検索しません。長い範囲は出現回数制限で切り捨てられず、以前は失敗していたすべての可能な日付の範囲も数秒で検索できるようになりました。
  • チャンク単位検索はこれらすべての利点を得られ、インデックスリポジトリもチャンク単位で検索できるようになりました:IndexRepository.SearchNext はインデックスごとに検索を続行します。
  • ハイライトと Index.GetDocumentText は、インデックス作成時に使用されたカスタム単語分割器でテキストを分割できるため、例えばスペースのないテキストの単語など、分割器が生成した単語もハイライトされます。
  • 新しいインデックスのデフォルトアルファベットにはヘブライ文字、デーヴァナーガリー文字、ジョージア文字、拡張ラテン文字、ギリシャ文字、ハングル文字および結合文字が含まれます。「Việt」のような単語はもはや分割されず、韓国語やヘブライ語の単語は全体としてインデックス化され検索されます。

インデックス作成とインデックスストレージ

  • 新しい IndexSettings.UseFastLoading 設定により、ディスク上のインデックスはロードを数倍高速にする追加データを省略できます:インデックスはディスク容量が少なくなりますが、ロードに時間がかかります。この設定はいつでも変更可能で、既に文書を含むインデックスにも適用できます。
  • インデックス作成は文書あたり最大 4.5 倍少ないメモリを割り当て、保存された文書テキストを使用すると最大 2.2 倍高速で実行されます。保存テキストの取得は 3.5 倍高速でメモリは 11 倍少なく、インデックスのマージは 3.5 倍高速でほぼ 50 倍少ないメモリで行われます。
  • 別プロセスで抽出された文書内画像のテキストを認識できるようになりました:ExtractionHost.OcrConnector は抽出プロセスの OCR コネクタを設定します。認識が有効でも抽出プロセスに OCR コネクタがない場合、インデックスは ErrorOccurred イベントで報告します。

検索ネットワーク

  • ノードは共有シークレットキー (TcpSettings.NetworkKey) で相互に認証し、すべてのメッセージに署名されます:キーを持たないコンピュータはノードにコマンドを送れず、応答もできません。キーはネットワーク上で送信されません。スレーブノードはマスターノードを受け入れるアドレスを (TcpSettings.AllowedMasterAddresses) で制限できます。
  • インデックス作成は 5〜20 倍高速で、インデックスセグメントが大幅に減少します:シャードがビジー状態の間に到着した文書は最大 1,000 文書または 16 MB のバッチでインデックス化され、ノードのシャードはリクエストを並列に処理します。
  • マスターノードでインデックス化された文書を登録しても、数が増えても速度低下しなくなり、書き込み失敗やプロセスクラッシュ時にもシャードの文書リストが安全に保持されます。
  • マスターノードは失われたノードや応答しないノードを検出します:スレーブノードは 5 秒ごとに報告し、存在しないノードへの呼び出しは無期限に待機しません。TcpSettings.ResponseTimeout でマスターノードが応答を待つ時間を制限できます。

API とパッケージング

  • Index、IndexRepository、Cancellation、ExtractionHost、SearchNetworkNode は標準の .NET dispose パターンを実装しているため、派生クラスは独自のリソースを解放できます。Cancellation を破棄すると CancelAfter でスケジュールされたキャンセルのタイマーが解放されます。
  • GroupDocs.Search NuGet パッケージは、.NET Framework 4.6.2 と .NET Standard 2.1 に加えて、.NET Framework 4.8、.NET 6.0、.NET 8.0、.NET 10.0 用のビルドも含むようになり、プロジェクトのターゲットフレームワークに合わせて自動的にビルドを選択します。

パブリック API の変更点

以下のメンバーが追加されました:

  • GroupDocs.Search.IndexSettings:

    • Boolean UseFastLoading – ディスク上のインデックスを数倍高速にロードさせる追加データを保持します。デフォルトで有効です。ディスク容量を節約するには false に設定してください。
  • GroupDocs.Search.Scaling.Configuring.TcpSettings:

    • String NetworkKey – 検索ネットワークのシークレットキー。少なくとも 16 文字で、すべてのノードで同一です。
    • String[] AllowedMasterAddresses – スレーブノードがマスターノードの接続を受け入れる IPv4 アドレスまたはホスト名。
    • Int32 ResponseTimeout – マスターノードがノードからの応答を待つ時間(ミリ秒)。デフォルトは無制限です。
  • GroupDocs.Search.ExtractionHost:

    • IOcrConnector OcrConnector – 別プロセスの OCR コネクタ。
  • GroupDocs.Search.IndexRepository:

    • SearchResult SearchNext(ChunkSearchToken) と SearchResult SearchNext(ChunkSearchToken, Cancellation) – インデックスリポジトリでチャンク単位検索を続行します。
  • GroupDocs.Search.Options.TextOptions:

    • IWordSplitter WordSplitter – ハイライトと Index.GetDocumentText で使用される単語分割器。HighlightOptions が継承します。
  • GroupDocs.Search.Common.Cancellation が IDisposable を実装:

    • void Dispose() – スケジュールされたキャンセルのタイマーを解放します。スケジュールされたキャンセルは要求されません。
  • Index, IndexRepository, Cancellation, ExtractionHost と SearchNetworkNode:

    • protected virtual void Dispose(Boolean disposing) – 派生クラス用の dispose パターンメソッド。

コードに変更が必要になる可能性のある動作変更は、以下のアップグレードノートに記載されています。

コード例

インデックスリポジトリをチャンク単位で検索

以下の例は、リポジトリ内の 2 つのインデックスをチャンク単位で、順に検索します。

string indexFolder1 = @"c:\MyIndex1\"; // Specify the path to the first index folder
string indexFolder2 = @"c:\MyIndex2\"; // Specify the path to the second index folder
string documentsFolder1 = @"c:\MyDocuments1\"; // Specify the path to a folder containing documents to index
string documentsFolder2 = @"c:\MyDocuments2\"; // Specify the path to another folder containing documents to index

using (IndexRepository repository = new IndexRepository()) // Creating an index repository
{
    Index index1 = repository.Create(indexFolder1); // Creating the first index in the repository
    index1.Add(documentsFolder1); // Indexing documents from the first folder
    Index index2 = repository.Create(indexFolder2); // Creating the second index in the repository
    index2.Add(documentsFolder2); // Indexing documents from the second folder

    SearchOptions options = new SearchOptions();
    options.IsChunkSearch = true; // Enabling search by chunks

    SearchResult result = repository.Search("Einstein", options); // Getting the first chunk of the first index
    Console.WriteLine("Documents: " + result.DocumentCount);
    while (result.NextChunkSearchToken != null)
    {
        result = repository.SearchNext(result.NextChunkSearchToken); // Getting the next chunk, index by index
        Console.WriteLine("Documents: " + result.DocumentCount);
    }
}

共有キーで検索ネットワークを保護

検索ネットワークのすべてのノードは同じシークレットキーを取得します。スレーブノードはマスターノードからの接続を自分のアドレスからのみ受け入れ、マスターノードはノードからの応答待ち時間を制限します。

string basePath = @"c:\SearchNetwork\"; // Specify the path to the folder of the search network
string networkKey = Environment.GetEnvironmentVariable("SEARCH_NETWORK_KEY"); // The same key of at least 16 characters on every node

// On the server of slave node 1: the connection of the master node is accepted from 10.0.0.5 only
TcpSettings slaveSettings = new TcpSettings(49101, 10000, 10000, 10000, 1000);
slaveSettings.NetworkKey = networkKey;
slaveSettings.AllowedMasterAddresses = new string[] { "10.0.0.5" };
SearchNetworkNode node1 = SearchNetworkNode.CreateSlaveNode(1, basePath + "Node1", slaveSettings);
node1.Start();

// On the server of the master node (10.0.0.5): the responses of the nodes are awaited no longer than 10 minutes
Configuration configuration = Configuration.Load(basePath + "Configuration.xml"); // Loading the search network configuration
TcpSettings masterSettings = new TcpSettings(49100, 10000, 10000, 10000, 1000);
masterSettings.NetworkKey = networkKey;
masterSettings.ResponseTimeout = 600000;
SearchNetworkNode node0 = SearchNetworkNode.CreateMasterNode(
    0, basePath + "Node0", masterSettings, new FileLogger(basePath + "Log.txt", 4.0), configuration);
node0.ConfigureAllNodes();
node0.Start();

インデックスのディスク容量を削減

以下の例は、ディスク容量が少ないインデックスを作成し、後で再び高速にロードできるようにします。

string indexFolder = @"c:\MyIndex\"; // Specify the path to the index folder
string documentsFolder = @"c:\MyDocuments\"; // Specify the path to a folder containing documents to index

IndexSettings settings = new IndexSettings();
settings.UseFastLoading = false; // The index takes less disk space but loads longer
using (Index index = new Index(indexFolder, settings, true)) // Creating an index with the settings
{
    index.Add(documentsFolder); // Indexing documents from the specified folder
}

using (Index index = new Index(indexFolder)) // Opening the existing index
{
    index.IndexSettings.UseFastLoading = true; // The data is created the next time the index is loaded
}

アップグレードノート

以前のバージョンからアップグレードする際は、以下の変更点に留意してください:

  • バージョン 26.11 で変更されたインデックスは、以前のバージョンでは開けません。 バージョン 26.11 はバージョン 26.10 のインデックスを変換なしで開きますが、インデックスを作成または変更(インデックス作成、文書削除、最適化、設定変更)すると、以前のバージョンでは開けなくなります。インデックスフォルダーを共有しているすべてのアプリケーションと検索ネットワークのノードを同時にアップグレードしてください。

  • .NET Framework プロジェクトは GroupDocs.Search パッケージを使用します。 GroupDocs.Search.NETFramework を GroupDocs.Search に置き換えてください。これには .NET Framework 4.6.2 と 4.8 のビルドが含まれ、適切なビルドが自動的に選択されます。GroupDocs.Search.NETFramework のバージョン 26.11 は存在しません。

  • 検索ネットワークのすべてのノードは同時にアップグレードします。 バージョン 26.10 と 26.11 のノードは接続できません。ネットワークを保護するため、すべてのノードで同じ TcpSettings.NetworkKey を設定してください。キーが異なるノード、またはキーがあるノードとないノードは接続せず、両方ともログに理由を書き込みます。キーがないノードは従来通り動作し、警告をログに書き込みます。

  • 検索ネットワークのメッセージは署名されていますが暗号化はされていません。 ノードは信頼できるネットワーク内に置くか、暗号化トンネルを介して接続してください。

  • 失われたノードが検出されます。 例えばデバッガで一時停止したプロセスなど、15 秒間何も送信しないノードは失われたとみなされます:それを待つ呼び出しは SearchException をスローし、文書は他のノードに送られるか ErrorOccurred イベントで報告されます。デフォルトではマスターノードは無制限に応答を待ちますが、TcpSettings.ResponseTimeout で待ち時間を制限できます。

  • IndexSettings.SearchThreads はインデックスのすべての検索で共有されます。 1 つの検索は従来通りのスレッド数を使用しますが、K 件の同時検索は K × SearchThreads ではなく max(K, SearchThreads) のスレッドで実行されます。

  • 拡張アルファベットは新しいインデックスにのみ適用されます。 以前のバージョンのインデックス(IndexUpdater で更新されたものを含む)はこれらのスクリプトの単語を従来通り分割し、Index.Merge は新しいインデックスと古いインデックスのマージを拒否します。マージするには、古いインデックスの Alphabet と TokenizationDictionary を ExportDictionary でエクスポートし、文書追加前に Clear と ImportDictionary で新しいインデックスにインポートしてください。

  • 出現回数制限は日付の各部分を1回だけカウントします。 SearchOptions.MaxTotalOccurrenceCount と MaxOccurrenceCountPerTerm は、範囲内の各日・月・年の出現を検索ごと、またはチャンクごとに1回カウントし、範囲内のすべての日付に対して1回ずつカウントしません。以前は制限に達していた日付範囲でも、すべての日付が見つかるようになります。

  • インデックスリポジトリでのチャンク単位検索はインデックスごとに進みます。 IsChunkSearch を使用した IndexRepository.Search は最初のインデックスの最初のチャンクを返します。SearchResult.NextChunkSearchToken が null でない間 IndexRepository.SearchNext で続行するか、チャンクなしで検索してすべての文書を1つの結果で取得してください。

  • 別プロセスの OCR は ExtractionHost.OcrConnector を使用します。 抽出プロセスのプログラムでコネクタを設定し、アプリケーションと同じ GroupDocs.Search バージョンでビルドしてください。インデックス作成オプションの OCR コネクタは使用されません。

  • ネットワークインデックスの進捗はシャードごとの応答で報告されます。 NodeEventHub.IndexingProgressChanged はシャードの応答ごとに1回発生し、複数の文書を報告することがあるため、ProcessedDocuments は1以上増加することがあります。

アップデートの取得方法

NuGet

  • NuGet – 最新パッケージをインストールします。.NET と .NET Framework のプロジェクトで動作し、ターゲットフレームワークに合わせてビルドを自動的に選択します:.NET Framework 4.6.2 または 4.8、.NET Standard 2.1、.NET 6.0、.NET 8.0、.NET 10.0。
# Package Manager
NuGet\Install-Package GroupDocs.Search -Version 26.11.0

# .NET CLI
dotnet add package GroupDocs.Search --version 26.11.0

直接ダウンロード

リソース