چقدر طول می‌کشد تا یک میلیون سند را روی یک کامپیوتر معمولی فهرست‌سازی کنیم؟ اندازه فهرست چقدر می‌شود و پس از آن جستجو چقدر سریع است؟ به‌جای یک تست مصنوعی، یک مجموعه واقعی نزدیک به یک میلیون فایل را گرفتیم، با GroupDocs.Search for .NET 26.11 روی یک رایانه دسکتاپ فهرست‌سازی کردیم و هر مرحله را اندازه‌گیری کردیم.

پاسخ کوتاه: ۹۱۹٬۸۹۶ سند در ۳ ساعت و ۴۸ دقیقه فهرست‌سازی شد و ۱۷ از ۲۰ نوع جستجو در ۳۵ تا ۵۳۹ میلی‌ثانیه پاسخ داد، اگرچه بیشتر پرس‌وجوها در ده‌ها یا صدها هزار سند یافت شدند. این بنچمارک منبع باز است، بنابراین می‌توانید اسناد خود را به همان روش اندازه‌گیری کنید.

نتایج در یک جدول

مورد نتیجه
سندهای فهرست‌شده ۹۱۹٬۸۹۶
فهرست‌سازی ۳ ساعت ۴۸ دقیقه، ۶۷ سند در ثانیه
اندازه فهرست ۶۰٫۲ گیگابایت، ۴۹٫۵ گیگابایت پس از بهینه‌سازی
باز کردن فهرست بهینه‌شده ۹٫۸ ثانیه
۱۷ از ۲۰ نوع جستجو ۳۵ تا ۵۳۹ میلی‌ثانیه (میانه ۱۵۸ میلی‌ثانیه) در اجراهای تکراری
سخت‌ترین پرس‌وجوها ۸٫۵ تا ۸۷ ثانیه برای نتایج میلیون‌ها تا صدها میلیون رخداد

تنظیمات

  • کامپیوتر: Intel Core i5-11500 (۶ هسته، ۱۲ رشته)، ۳۲ گیگابایت RAM، یک SSD SATA، Windows 10 – یک رایانه دسکتاپ معمولی، نه سرور.
  • نرم‌افزار: GroupDocs.Search for .NET 26.11 روی .NET 10، با تنظیمات پیش‌فرض فهرست.
  • اسناد: مجموعه govdocs1 از Digital Corpora – نزدیک به یک میلیون فایل از سرورهای وب دولت ایالات متحده: PDF، HTML، Word، Excel، PowerPoint، متن، XML، CSV، تصاویر و موارد دیگر. این مجموعه دشوار است: بسیاری از فایل‌ها جدول‌های داده‌ای هستند و هر عدد یا کد متمایز تبدیل به یک واژه می‌شود، بنابراین فهرست نهایی شامل ۲۸۵٫۶ میلیون واژهٔ یکتا بود.
  • روش: متن اسناد یک‌بار استخراج شد و در فایل‌ها ذخیره گردید، تا فهرست‌سازی به‌تنهایی قابل اندازه‌گیری باشد. سپس داده‌ها به فهرست جدید در دسته‌های حداکثر ۵۱۲ مگابایت با ۴ رشته فهرست‌سازی اضافه شدند، فهرست بهینه‌سازی شد و ۲۰ نوع جستجو ۳ بار هر کدام اجرا شد.

از میان ۹۸۳٬۸۴۰ فایل استخراج‌شده، ۶۳٬۹۴۳ فایل متنی نداشتند (PostScript، gzip، Flash و فایل‌های dBase و فایل‌هایی که قابل خواندن نبودند) و یک سند برای فهرست بیش از حد بزرگ بود، بنابراین ۹۱۹٬۸۹۶ سند فهرست‌سازی شد.

فهرست‌سازی: ۹۲۰ هزار سند در کمتر از چهار ساعت

فهرست‌سازی ۳ ساعت و ۴۸ دقیقه طول کشید، یعنی به‌طور متوسط ۶۷ سند در ثانیه، شامل ۲۸ دقیقه صرف خواندن داده‌های استخراج‌شده از دیسک. فهرست ۶۰٫۲ گیگابایت در ۷۲۷ بخش داشت.

مهم‌ترین یافته برای برنامه‌ریزی این است که زمان یک فراخوانی Index.Add چگونه با رشد فهرست تغییر می‌کند:

سندهای موجود در فهرست زمان متوسط یک فراخوانی
۰ تا ۲۷٬۰۰۰ ۱۲٫۷ ثانیه
۲۰۸٬۰۰۰ تا ۳۳۸٬۰۰۰ ۵۲٫۷ ثانیه
۴۹۷٬۰۰۰ تا ۶۳۹٬۰۰۰ ۹۸٫۹ ثانیه
۶۳۹٬۰۰۰ تا ۹۲۰٬۰۰۰ ۱۰۹٫۴ ثانیه

آخرین فراخوانی تنها ۱٬۲۴۰ سند افزود و هنوز ۱۱۳ ثانیه طول کشید، همانند فراخوانی‌هایی که پیش از آن بیش از ۹٬۰۰۰ سند داشتند. در یک فهرست بزرگ، تعداد فراخوانی‌ها، نه تعداد اسناد، زمان فهرست‌سازی را تعیین می‌کند. بنابراین اسناد را به فهرست بزرگ در دسته‌هایی به‌اندازهٔ حافظهٔ شما اضافه کنید.

جستجو: ده‌ها ثانیه برای اکثر پرس‌وجوها

فهرست بهینه‌شدهٔ ۲۸ بخش در ۹٫۸ ثانیه باز شد. سپس هر پرس‌وجو سه بار اجرا شد: اجرای اول همان چیزی است که کاربر اولین بار پس از راه‌اندازی برنامه انتظار می‌کشد و اجراهای تکراری حالت معمول یک سرویس در حال اجرا هستند.

نوع جستجو سندهای یافت‌شده اجرای اول اجراهای تکراری
کلمه ساده ۲۰۲٬۰۷۹ ۵۳۹ میلی‌ثانیه ۲۱۰ میلی‌ثانیه
بولی ۴۴٬۶۲۶ ۲۵۱ میلی‌ثانیه ۱۴۹ میلی‌ثانیه
عبارت ۲۴۱٬۲۷۷ ۵۹۱ میلی‌ثانیه ۵۳۹ میلی‌ثانیه
عبارت با کاراکترهای جایگزین ۳۲٬۲۷۰ ۱۸۳ میلی‌ثانیه ۱۲۹ میلی‌ثانیه
کاراکتر جایگزین ۲۶۷٬۲۳۱ ۳۴۷ میلی‌ثانیه ۲۸۷ میلی‌ثانیه
فازی ۲۰۲٬۱۸۳ ۲۰۷ میلی‌ثانیه ۱۵۷ میلی‌ثانیه
حساس به حروف بزرگ/کوچک ۴۷٬۰۱۰ ۵۲ میلی‌ثانیه ۳۵ میلی‌ثانیه
چندبعدی (در یک فیلد) ۱۵۱٬۴۱۳ ۱۴۸ میلی‌ثانیه ۱۲۴ میلی‌ثانیه
فرم‌های کلمه ۱۵۰٬۵۲۲ ۱۶۳ میلی‌ثانیه ۱۴۰ میلی‌ثانیه
مترادف‌ها ۲۰۲٬۲۹۹ ۲۱۱ میلی‌ثانیه ۱۶۸ میلی‌ثانیه
هم‌آواها ۲۰۶٬۴۳۱ ۲۰۸ میلی‌ثانیه ۱۶۰ میلی‌ثانیه
تصحیح املایی ۲۱۳٬۷۹۵ ۱۶۸ میلی‌ثانیه ۱۷۴ میلی‌ثانیه
تصحیح چیدمان صفحه‌کلید ۲۱۳٬۷۲۰ ۱۸۲ میلی‌ثانیه ۱۶۸ میلی‌ثانیه
نام‌های مستعار ۷۸٬۱۱۸ ۲۰۳ میلی‌ثانیه ۱۴۳ میلی‌ثانیه
فیلتر سند (فقط PDF) ۸۸٬۷۳۲ ۱۴۷ میلی‌ثانیه ۱۳۱ میلی‌ثانیه
جستجو به‌صورت بخش‌ها ۲۰۲٬۰۷۹ ۱۵۵ میلی‌ثانیه ۱۳۷ میلی‌ثانیه
پرس‌وجوی شیء ۳۷٬۹۳۵ ۴۵۶ میلی‌ثانیه ۲۳۶ میلی‌ثانیه
محدوده عددی ۷۰۳٬۵۸۲ ۲۵٫۲ ثانیه ۸٫۵ ثانیه
عبارت منظم ۶۰۹٬۵۴۷ ۲۷٫۹ ثانیه ۲۶٫۵ ثانیه
محدوده تاریخ یک سال ۱۳۸٬۸۷۶ ۹۲٫۱ ثانیه ۸۷٫۲ ثانیه

جستجوی فازی، تصحیح املایی و تصحیح چیدمان صفحه‌کلید تقریباً به‌سرعت جستجوی کلمهٔ ساده هستند، اگرچه فهرست شامل ۲۸۵٫۶ میلیون واژه است.

سه ردیف آخر عمداً افراطی هستند: عبارت منظم ۳۱۰ میلیون رخداد را در دو‑سوم تمام اسناد مطابقت داد، محدوده عددی ۲۳۱ میلیون رخداد در سه‑چهارم آن‌ها، و محدوده تاریخ یک سال کامل را پوشش داد. از نسخهٔ ۲۶.۱۱، اجراهای تکراری واژه‌های مطابقت‌خورده توسط اجرا اول را دوباره استفاده می‌کنند، بنابراین زمان‌های تکراری نشان می‌دهند که زمان کجا صرف می‌شود: جمع‌آوری رخدادها. کاربر به‌ندرت به نتیجه‌ای به این اندازه نیاز دارد و یک بازهٔ کوتاه‌تر، الگوی خاص‌تر یا فیلتر سند نتیجه و زمان را کوچک نگه می‌دارد.

جدول کامل با پرس‌وجوها و تعداد رخدادها در مستندات موجود است.

بهینه‌سازی: کاری برای شب

بهینه‌سازی ۷۲۷ بخش را به ۲۸ بخش ادغام کرد و فهرست را از ۶۰٫۲ گیگابایت به ۴۹٫۵ گیگابایت در ۱۲ ساعت و ۲۴ دقیقه کوچک کرد. اندازهٔ یک بخش ادغام‌شده محدود است، بنابراین یک فهرست بزرگ به چندین بخش به‌جای یک بخش بهینه می‌شود. جستجوها هنگام بهینه‌سازی فهرست مسدود نمی‌شوند، بنابراین بهینه‌سازی فهرست بزرگ می‌تواند در پس‌زمینه، مثلاً در شب، اجرا شود.

پنج نکته کلیدی برای پروژهٔ شما

  1. یک‌بار استخراج کنید، چندین‌بار فهرست کنید. استخراج دادهٔ جداگانه متن استخراج‌شده را در فایل‌ها ذخیره می‌کند، بنابراین می‌توانید فهرست را دوباره بسازید یا تنظیمات دیگر را بدون استخراج مجدد اسناد امتحان کنید.
  2. در دسته‌های بزرگ فهرست کنید. هر فراخوانی Index.Add با رشد فهرست هزینه بیشتری دارد، بنابراین فراخوانی‌های کمتر ولی بزرگتر، مجموعهٔ بزرگ را بسیار سریع‌تر فهرست می‌کنند.
  3. فهرست را یک‌بار باز کنید. باز کردن یک فهرست بزرگ چند ثانیه طول می‌کشد؛ شیء Index را نگه دارید و تمام جستجوها را روی آن اجرا کنید – جستجوها ایمن برای چند رشته هستند.
  4. بهینه‌سازی را در پس‌زمینه برنامه‌ریزی کنید. جستجوها در حین بهینه‌سازی فهرست ادامه می‌یابند، بنابراین بهینه‌سازی را در ساعات کم‌کار برنامه‌ریزی کنید.
  5. پرس‌وجوهای سنگین را محدود نگه دارید. عبارات منظم و بازه‌هایی که صدها میلیون رخداد را مطابقت می‌دهند، چند ثانیه زمان می‌برند؛ فیلترها و الگوهای باریک‌تر نتایج و زمان را کوچک نگه می‌دارند.

اجرای بنچمارک روی اسناد شما

اسناد، پرس‌وجوها و سخت‌افزار شما اعداد را تعیین می‌کنند، پس آن‌ها را اندازه‌گیری کنید. برنامه GroupDocs.Search for .NET benchmarks عملیات استخراج، فهرست‌سازی، بهینه‌سازی و ۲۰ نوع جستجو را اندازه‌گیری می‌کند، زمان و حداکثر حافظهٔ هر عملیات را گزارش می‌دهد و همه چیز را در یک فایل CSV می‌نویسد:

git clone https://github.com/groupdocs-search/full-text-search-benchmark-net.git
cd full-text-search-benchmark-net
dotnet run -c Release --project src/GroupDocs.Search.Benchmark

قبل از اجرا، مجوز، پوشه‌ها و پرس‌وجوها برای زبان اسناد خود را در بالای Program.cs تنظیم کنید. یک مجوز موقت رایگان کافی است: بدون مجوز، حالت ارزیابی تعداد اسناد فهرست‌شده و یافت‌شده را محدود می‌کند.

منابع