كيف يمكن قياس الوقت المستغرق لفهرسة مليون مستند على حاسوب عادي؟ ما حجم الفهرس الذي ينمو، وما سرعة البحث بعد ذلك؟ بدلاً من اختبار اصطناعي، أخذنا مجموعة بيانات حقيقية تقريبًا من مليون ملف، فهرسناها باستخدام GroupDocs.Search for .NET 26.11 على حاسوب مكتبي وقمنا بقياس كل خطوة.
الإجابة المختصرة: تم فهرسة 919,896 مستندًا في 3 ساعات 48 دقيقة، وتمت الإجابة على 17 من 20 نوعًا من البحث في 35 إلى 539 مللي ثانية، رغم أن معظم الاستعلامات وجدت في عشرات أو مئات الآلاف من المستندات. الاختبار مفتوح المصدر، لذا يمكنك قياس مستنداتك بنفس الطريقة.
النتائج في جدول واحد
| ما | النتيجة |
|---|---|
| المستندات المفهرسة | 919,896 |
| الفهرسة | 3 س 48 د، 67 مستندًا في الثانية |
| حجم الفهرس | 60.2 جيجابايت، 49.5 جيجابايت بعد التحسين |
| فتح الفهرس المُحسّن | 9.8 ث |
| 17 من 20 نوعًا من البحث | 35 إلى 539 مللي ثانية (الوسيط 158 مللي ثانية) في عمليات متكررة |
| أثقل الاستعلامات | 8.5 إلى 87 ث للنتائج التي تتراوح بين ملايين إلى مئات الملايين من التكرارات |
الإعداد
- الكمبيوتر: Intel Core i5-11500 (6 نوى، 12 خيطًا)، 32 جيجابايت RAM، SSD SATA، Windows 10 – حاسوب مكتبي عادي، ليس خادمًا.
- البرمجيات: GroupDocs.Search for .NET 26.11 على .NET 10، بإعدادات الفهرس الافتراضية.
- المستندات: مجموعة govdocs1 من Digital Corpora – ما يقرب من مليون ملف من خوادم الويب الحكومية الأمريكية: PDF، HTML، Word، Excel، PowerPoint، نص، XML، CSV، صور وأكثر. إنها مجموعة صعبة: العديد من ملفاتها جداول بيانات وملفات بيانات، وكل رقم أو رمز مميز يصبح مصطلحًا، لذا انتهى الفهرس بـ 285.6 مليون مصطلح فريد.
- الطريقة: تم استخراج نص المستندات مرة واحدة وحفظه في ملفات، بحيث يمكن قياس الفهرسة بشكل مستقل. ثم أضيفت البيانات إلى فهرس جديد على دفعات تصل إلى 512 ميغابايت مع 4 خيوط فهرسة، تم تحسين الفهرس، وتم تشغيل 20 نوعًا من البحث 3 مرات لكل منها.
من بين 983,840 ملفًا مستخرجًا، لم ينتج عن 63,943 ملف نصًا (PostScript، gzip، Flash وملفات dBase وملفات لا يمكن قراءتها، من بين أخرى)، وكان مستند واحد كبيرًا جدًا على الفهرس، لذا تم فهرسة 919,896 مستندًا.
الفهرسة: 920 ألف مستند في أقل من أربع ساعات
استغرقت الفهرسة 3 ساعات 48 دقيقة، أي ما معدله 67 مستندًا في الثانية، بما في ذلك 28 دقيقة قضيت في قراءة البيانات المستخرجة من القرص. كان حجم الفهرس 60.2 جيجابايت موزعًا على 727 جزءًا.
أكثر نتيجة مفيدة للتخطيط هي كيفية تغير زمن استدعاء واحد لـ Index.Add مع نمو الفهرس:
| المستندات الموجودة بالفعل في الفهرس | متوسط زمن الاستدعاء |
|---|---|
| 0 إلى 27,000 | 12.7 ث |
| 208,000 إلى 338,000 | 52.7 ث |
| 497,000 إلى 639,000 | 98.9 ث |
| 639,000 إلى 920,000 | 109.4 ث |
أضاف الاستدعاء الأخير فقط 1,240 مستندًا ولا يزال استغرق 113 ث، وهو نفس زمن الاستدعاءات التي تضمنت أكثر من 9,000 مستند قبلها. في فهرس كبير، عدد الاستدعاءات، وليس عدد المستندات، هو ما يحدد معظم زمن الفهرسة. لذا أضف المستندات إلى فهرس كبير على دفعات بحجم يسمح به الذاكرة.
البحث: أجزاء من الثانية لمعظم الاستعلامات
تم فتح الفهرس المُحسّن المكوّن من 28 جزءًا في 9.8 ث. ثم تم تشغيل كل استعلام ثلاث مرات: التشغيل الأول هو ما ينتظره أول مستخدم لتطبيق تم تشغيله حديثًا، والتشغيلات المتكررة هي الحالة المعتادة لخدمة تعمل.
| نوع البحث | المستندات التي تم العثور عليها | التشغيل الأول | التشغيلات المتكررة |
|---|---|---|---|
| كلمة بسيطة | 202,079 | 539 مللي ثانية | 210 مللي ثانية |
| منطقي | 44,626 | 251 مللي ثانية | 149 مللي ثانية |
| عبارة | 241,277 | 591 مللي ثانية | 539 مللي ثانية |
| عبارة مع أحرف بدل | 32,270 | 183 مللي ثانية | 129 مللي ثانية |
| حرف بدل | 267,231 | 347 مللي ثانية | 287 مللي ثانية |
| تقريب | 202,183 | 207 مللي ثانية | 157 مللي ثانية |
| حسّاس لحالة الأحرف | 47,010 | 52 مللي ثانية | 35 مللي ثانية |
| مُجزأ (في حقل) | 151,413 | 148 مللي ثانية | 124 مللي ثانية |
| صيغ الكلمات | 150,522 | 163 مللي ثانية | 140 مللي ثانية |
| مرادفات | 202,299 | 211 مللي ثانية | 168 مللي ثانية |
| متجانسات صوتيًا | 206,431 | 208 مللي ثانية | 160 مللي ثانية |
| تصحيح إملائي | 213,795 | 168 مللي ثانية | 174 مللي ثانية |
| تصحيح تخطيط لوحة المفاتيح | 213,720 | 182 مللي ثانية | 168 مللي ثانية |
| أسماء مستعارة | 78,118 | 203 مللي ثانية | 143 مللي ثانية |
| تصفية المستند (PDF فقط) | 88,732 | 147 مللي ثانية | 131 مللي ثانية |
| بحث حسب القطع | 202,079 | 155 مللي ثانية | 137 مللي ثانية |
| استعلام كائن | 37,935 | 456 مللي ثانية | 236 مللي ثانية |
| نطاق رقمي | 703,582 | 25.2 ث | 8.5 ث |
| تعبير نمطي | 609,547 | 27.9 ث | 26.5 ث |
| نطاق تاريخ لسنة | 138,876 | 92.1 ث | 87.2 ث |
البحث التقريبي، وتصحيح الإملائي وتصحيح تخطيط لوحة المفاتيح تقريبًا بنفس سرعة بحث كلمة بسيطة هنا، رغم أن الفهرس يحتوي على 285.6 مليون مصطلح.
الصفوف الثلاثة الأخيرة متعمدة لتكون متطرفة: التعبير النمطي طابق 310 ملايين تكرار في ثلثي جميع المستندات، والنطاق الرقمي 231 مليون تكرار في ثلاثة أرباعها، ونطاق التاريخ غطى سنة كاملة. منذ الإصدار 26.11، تعيد التشغيلات المتكررة استخدام الكلمات التي طابقت في التشغيل الأول، لذا تُظهر الأوقات المتكررة أين يذهب الوقت: في جمع التكرارات. نادراً ما يحتاج المستخدم إلى نتيجة بهذا الحجم، ونطاق أقصر أو نمط أكثر تحديدًا أو تصفية المستند يحافظ على النتيجة، والوقت، صغيرًا.
الجدول الكامل مع الاستعلامات وأعداد التكرارات موجود في التوثيق.
التحسين: مهمة لوقت الليل
قامت التحسين بدمج 727 جزءًا إلى 28 جزءًا وصغر حجم الفهرس من 60.2 جيجابايت إلى 49.5 جيجابايت في 12 ساعة 24 دقيقة. حجم الجزء المدمج محدود، لذا يتم تحسين فهرس كبير إلى عدة أجزاء بدلاً من جزء واحد. لا تُحجب عمليات البحث أثناء تحسين الفهرس، لذا يمكن تشغيل تحسين فهرس كبير في الخلفية، على سبيل المثال في الليل.
خمس نقاط رئيسية لمشروعك
- استخرج مرة واحدة، وفهرس مرات متعددة. استخراج البيانات بشكل منفصل يحفظ النص المستخرج في ملفات، بحيث يمكنك إعادة بناء الفهرس أو تجربة إعدادات أخرى دون استخراج المستندات مرة أخرى.
- فهرس على دفعات كبيرة. كل استدعاء لـ
Index.Addيكلف أكثر مع نمو الفهرس، لذا فإن عددًا أقل من الاستدعاءات الكبيرة يفهرس مجموعة كبيرة بسرعة أكبر. - افتح الفهرس مرة واحدة. فتح فهرس كبير يستغرق ثوانٍ؛ احتفظ بكائن
Indexوشغّل جميع عمليات البحث عليه – البحث آمن للمتعدد الخيوط. - قم بالتحسين في الخلفية. تستمر عمليات البحث في العمل أثناء تحسين الفهرس، لذا جدول التحسين لساعات هادئة.
- اجعل الاستعلامات الثقيلة ضيقة. التعبيرات النمطية والنطاقات التي تطابق مئات الملايين من التكرارات تستغرق ثوانٍ؛ الفلاتر والأنماط الأضيق تحافظ على نتائجها، ووقتها، صغيرًا.
تشغيل الاختبار على مستنداتك
مستنداتك، واستعلاماتك، ومعداتك تحدد أرقامك، لذا قسها. تطبيق GroupDocs.Search for .NET benchmarks يقيس استخراج النص، الفهرسة، التحسين و20 نوعًا من البحث، يُبلغ عن الزمن والذاكرة القصوى لكل عملية ويكتب كل شيء إلى ملف CSV:
git clone https://github.com/groupdocs-search/full-text-search-benchmark-net.git
cd full-text-search-benchmark-net
dotnet run -c Release --project src/GroupDocs.Search.Benchmark
قبل التشغيل، اضبط الترخيص، المجلدات والاستعلامات للغة مستنداتك في أعلى ملف Program.cs. ترخيص مؤقت مجاني ترخيص مؤقت يكفي: بدون ترخيص، يحد وضع التقييم عدد المستندات المفهرسة والمُعثر عليها.
الموارد
- الاختبار على GitHub – https://github.com/groupdocs-search/full-text-search-benchmark-net
- الأداء والاختبارات – https://docs.groupdocs.com/search/net/performance-and-benchmarks/
- ملاحظات الإصدار 26.11 – https://releases.groupdocs.com/search/net/release-notes/2026/groupdocs-search-for-net-26-11-release-notes/
- التوثيق – https://docs.groupdocs.com/search/net/
- مرجع API – https://reference.groupdocs.com/search/net/
- أمثلة على الشيفرة – https://github.com/groupdocs-search/GroupDocs.Search-for-.NET/
- منتدى الدعم المجاني – https://forum.groupdocs.com/c/search/
- ترخيص مؤقت – https://purchase.groupdocs.com/temporary-license/