普通のコンピュータで100万件のドキュメントをインデックスするのにどれくらい時間がかかりますか?インデックスはどれほど大きくなり、検索はその後どれくらい速くなるのでしょうか?合成テストの代わりに、実際に約100万ファイルのコーパスを使用し、デスクトップPC上で GroupDocs.Search for .NET 26.11 を使ってインデックスし、すべてのステップを測定しました。

簡潔な答えは、919,896 件のドキュメントが 3 時間 48 分でインデックスされたこと、そして 20 種類の検索のうち 17 種類が 35〜539 ms で応答したことです。ただし、ほとんどのクエリは数万件から数十万件のドキュメントで見つかります。ベンチマークはオープンソースなので、同様の方法で自分のドキュメントを測定できます。

1つの表にまとめた結果

項目 結果
インデックスされたドキュメント 919,896
インデックス作成 3 時間 48 分、1 秒あたり 67 件のドキュメント
インデックスサイズ 60.2 GB、最適化後は 49.5 GB
最適化されたインデックスのオープン 9.8 秒
20 種類の検索のうち 17 種類 35〜539 ms(中央値 158 ms)で繰り返し実行
最も重いクエリ 数百万から数億件の出現数の結果で 8.5〜87 秒

環境設定

  • Computer: Intel Core i5-11500(6 コア、12 スレッド)、32 GB RAM、SATA SSD、Windows 10 – 普通のデスクトップ PC で、サーバーではありません。
  • Software: .NET 10 上の GroupDocs.Search for .NET 26.11、デフォルトのインデックス設定で。
  • Documents: Digital Corpora の govdocs1 コーパス – 米国政府のウェブサーバーからの約100 万ファイル:PDF、HTML、Word、Excel、PowerPoint、テキスト、XML、CSV、画像など。非常に厳しいコーパスで、多くのファイルがスプレッドシートやデータファイルであり、すべての異なる数値やコードが用語になるため、インデックスは 285.6 百万のユニーク用語 になりました。
  • Method: ドキュメントのテキストは一度抽出されファイルに保存されたので、インデックス作成だけを測定できました。その後、データは最大 512 MB のバッチで 4 つのインデックス作成スレッドを使って新しいインデックスに追加され、インデックスは最適化され、20 種類の検索がそれぞれ 3 回実行されました。

983,840 件の抽出ファイルのうち、63,943 件はテキストが得られませんでした(PostScript、gzip、Flash、dBase ファイルや読み取れなかったファイルなど)。また、1 件のドキュメントはインデックスが大きすぎたため除外され、結果として 919,896 件のドキュメントがインデックスされました。

インデックス作成:4 時間未満で 92 万件のドキュメント

インデックス作成には 3 時間 48 分、平均で 1 秒あたり 67 件のドキュメントがかかり、抽出データをディスクから読み込むのに 28 分を要しました。インデックスは 727 セグメントで 60.2 GB でした。

計画に最も役立つ発見は、インデックスが大きくなるにつれて Index.Add の呼び出し時間がどのように変化したかです。

インデックス内の既存ドキュメント数 呼び出しの平均時間
0〜27,000 12.7 秒
208,000〜338,000 52.7 秒
497,000〜639,000 98.9 秒
639,000〜920,000 109.4 秒

最後の呼び出しでは 1,240 件のドキュメントしか追加されませんでしたが、依然として 113 秒かかり、前の呼び出しで 9,000 件以上のドキュメントが追加された場合と同じ時間でした。大規模インデックスでは、ドキュメント数ではなく呼び出し回数がインデックス作成時間の大部分を決定します。したがって、メモリが許す限り大きなバッチでドキュメントを追加してください。

検索:ほとんどのクエリは数十ミリ秒

最適化された 28 セグメントのインデックスは 9.8 秒で開かれました。その後、各クエリは 3 回実行されます:最初の実行は新しく起動したアプリケーションの最初のユーザーが待つ時間で、繰り返し実行は稼働中のサービスの通常ケースです。

検索種別 見つかったドキュメント数 最初の実行 繰り返し実行
シンプルワード 202,079 539 ms 210 ms
ブール 44,626 251 ms 149 ms
フレーズ 241,277 591 ms 539 ms
ワイルドカード付きフレーズ 32,270 183 ms 129 ms
ワイルドカード 267,231 347 ms 287 ms
ファジー 202,183 207 ms 157 ms
大文字小文字区別 47,010 52 ms 35 ms
ファセット(フィールド内) 151,413 148 ms 124 ms
語形変化 150,522 163 ms 140 ms
同義語 202,299 211 ms 168 ms
同音異義語 206,431 208 ms 160 ms
スペル補正 213,795 168 ms 174 ms
キーボードレイアウト補正 213,720 182 ms 168 ms
エイリアス 78,118 203 ms 143 ms
ドキュメントフィルタ(PDF のみ) 88,732 147 ms 131 ms
チャンク検索 202,079 155 ms 137 ms
オブジェクトクエリ 37,935 456 ms 236 ms
数値範囲 703,582 25.2 秒 8.5 秒
正規表現 609,547 27.9 秒 26.5 秒
1 年の日時範囲 138,876 92.1 秒 87.2 秒

ここでは、インデックスが 285.6 百万の用語を保持しているにもかかわらず、ファジー検索、スペル補正、キーボードレイアウト補正はシンプルワード検索とほぼ同じ速度です。

最後の 3 行は意図的に極端なケースです:正規表現は全ドキュメントの 3 分の 2 で 3.10 億件 の出現をマッチさせ、数値範囲は 2.31 億件 を 4 分の 3 のドキュメントでマッチさせ、日時範囲は 1 年全体をカバーしています。26.11 以降、繰り返し実行は最初の実行でマッチした単語を再利用するため、繰り返し時間は出現を収集する時間を示しています。ユーザーがそのような大規模な結果を必要とすることは稀で、範囲を短くしたり、より具体的なパターンやドキュメントフィルタ を使用すれば、結果と時間を小さく抑えられます。

クエリと出現件数の完全な表はドキュメントにあります。

最適化:夜間の作業

最適化では 727 セグメントを 28 に統合し、インデックスを 60.2 GB から 49.5 GB に 12 時間 24 分で縮小しました。統合されたセグメントのサイズには制限があるため、大規模インデックスは 1 つではなく複数のセグメントに最適化されます。インデックスが最適化されている間も検索はブロックされないため、例えば夜間などバックグラウンドで大規模インデックスの最適化を実行できます。

プロジェクトへの5つの教訓

  1. 一度抽出し、何度もインデックス。データ抽出の分離は抽出したテキストをファイルに保存するので、ドキュメントを再抽出せずにインデックスを再構築したり他の設定を試したりできます。
  2. 大きなバッチでインデックス。Index.Add の呼び出しはインデックスが大きくなるほどコストが上がるため、回数を減らし大きな呼び出しにすれば大規模コレクションをはるかに速くインデックスできます。
  3. インデックスは一度だけ開く。大規模インデックスのオープンには数秒かかりますので、Index オブジェクトを保持し、すべての検索をその上で実行してください – 検索はスレッドセーフです。
  4. バックグラウンドで最適化。インデックスが最適化されている間も検索は継続できるので、静かな時間帯に最適化をスケジュールしてください。
  5. 最も重いクエリは絞り込む。数億件の出現をマッチさせる正規表現や範囲は数秒かかりますが、フィルタやより狭いパターンにすれば結果と時間を小さく抑えられます。

ドキュメントでベンチマークを実行

ドキュメント、クエリ、ハードウェアが数値を決定するので、測定してください。GroupDocs.Search for .NET ベンチマーク アプリケーションは抽出、インデックス作成、最適化、20 種類の検索を測定し、各操作の時間とピークメモリを報告し、すべてを CSV ファイルに書き出します:

git clone https://github.com/groupdocs-search/full-text-search-benchmark-net.git
cd full-text-search-benchmark-net
dotnet run -c Release --project src/GroupDocs.Search.Benchmark

実行前に、Program.cs の冒頭でライセンス、フォルダー、ドキュメントの言語に合わせたクエリを設定してください。無料の一時ライセンスで十分です:ライセンスがない場合、評価モードはインデックス作成および検索できるドキュメント数を制限します。

リソース