כמה זמן לוקח לאנדקס מיליון מסמכים במחשב רגיל? כמה גדול האינדקס גדל, וכמה מהירה החיפוש לאחר מכן? במקום מבחן סינתטי, לקחנו קורפוס אמיתי של כמעט מיליון קבצים, אינדקסנו אותו עם GroupDocs.Search for .NET 26.11 במחשב שולחני ומדדנו כל שלב.
התשובה הקצרה: 919,896 מסמכים נותחו ב‑3 שעות 48 דקות, ו‑17 מתוך 20 סוגי חיפוש נענו ב‑35 עד 539 ms, למרות שרוב השאילתות נמצאו בעשרות או במאות אלפי מסמכים. המדד הוא קוד פתוח, כך שאתה יכול למדוד את המסמכים שלך באותו אופן.
התוצאות בטבלה אחת
| מה | תוצאה |
|---|---|
| מסמכים שנאגרו | 919,896 |
| אינדוקס | 3 שעות 48 דקות, 67 מסמכים לשנייה |
| גודל האינדקס | 60.2 ג’יגהבייט, 49.5 ג’יגהבייט לאחר אופטימיזציה |
| פתיחת האינדקס הממוטב | 9.8 שניות |
| 17 מתוך 20 סוגי חיפוש | 35 עד 539 מילישניות (חציון 158 מילישניות) בריצות חוזרות |
| השאילתות הכבדות ביותר | 8.5 עד 87 שניות לתוצאות של מיליונים עד מאות מיליוני הופעות |
ההגדרות
- מחשב: Intel Core i5-11500 (6 ליבות, 12 חוטים), 32 ג’יגהבייט RAM, SSD SATA, Windows 10 – מחשב שולחני רגיל, לא שרת.
- תוכנה: GroupDocs.Search for .NET 26.11 על .NET 10, עם הגדרות האינדקס ברירת המחדל.
- מסמכים: קורפוס govdocs1 של Digital Corpora – כמעט מיליון קבצים משרתי אינטרנט של ממשלת ארה״ב: PDF, HTML, Word, Excel, PowerPoint, טקסט, XML, CSV, תמונות ועוד. זהו קורפוס קשה: רבים מהקבצים הם גיליונות אלקטרוניים וקבצי נתונים, וכל מספר או קוד ייחודי הופך למונח, ולכן האינדקס הסתיים עם 285.6 מיליון מונחים ייחודיים.
- שיטה: הטקסט של המסמכים חולץ פעם אחת ונשמר לקבצים, כך שניתן למדוד את תהליך האינדוקס בנפרד. לאחר מכן הנתונים נוספו לאינדקס חדש במנות של עד 512 מגהבייט עם 4 חוטי אינדוקס, האינדקס אופטימיזציה, ו-20 סוגי חיפוש הורצו 3 פעמים כל אחד.
מתוך 983,840 קבצים שחולצו, 63,943 לא הכילו טקסט (PostScript, gzip, Flash וקבצי dBase וקבצים שלא ניתן היה לקרוא, בין השאר), ומסמך אחד היה גדול מדי עבור האינדקס, ולכן 919,896 מסמכים נוּספו.
אינדוקס: 920 אלף מסמכים בפחות מארבע שעות
תהליך האינדוקס ארך 3 שעות 48 דקות, או בממוצע 67 מסמכים לשנייה, כולל 28 דקות של קריאת הנתונים המחולצים מהדיסק. האינדקס היה בגודל 60.2 ג’יגהבייט ב-727 מקטעים.
הממצא השימושי ביותר לתכנון הוא כיצד זמן הקריאה של Index.Add השתנה ככל שהאינדקס גדל:
| מסמכים שכבר באינדקס | זמן ממוצע של קריאה |
|---|---|
| 0 עד 27,000 | 12.7 שניות |
| 208,000 עד 338,000 | 52.7 שניות |
| 497,000 עד 639,000 | 98.9 שניות |
| 639,000 עד 920,000 | 109.4 שניות |
הקריאה האחרונה הוסיפה רק 1,240 מסמכים ובכל זאת ארכה 113 שניות, כמו הקריאות עם יותר מ‑9,000 מסמכים לפני כן. באינדקס גדול, מספר הקריאות, ולא מספר המסמכים, קובע את רוב זמן האינדוקס. לכן יש להוסיף מסמכים לאינדקס גדול במנות גדולות ככל שהזיכרון מאפשר.
חיפוש: עשרות של שנייה עבור רוב השאילתות
האינדקס הממוטב של 28 מקטעים נפתח ב‑9.8 שניות. כל שאילתה הורצה שלוש פעמים: הריצה הראשונה היא מה שהמשתמש הראשון של אפליקציה שהתחילה זה עתה מחכה לו, והריצות החוזרות הן המצב הרגיל של שירות פועל.
| סוג חיפוש | מסמכים שנמצאו | ריצה ראשונה | ריצות חוזרות |
|---|---|---|---|
| מילה פשוטה | 202,079 | 539 מילישניות | 210 מילישניות |
| בוליאני | 44,626 | 251 מילישניות | 149 מילישניות |
| ביטוי | 241,277 | 591 מילישניות | 539 מילישניות |
| ביטוי עם תווים כלליים | 32,270 | 183 מילישניות | 129 מילישניות |
| תו כללי | 267,231 | 347 מילישניות | 287 מילישניות |
| חיפוש מעורפל | 202,183 | 207 מילישניות | 157 מילישניות |
| רגיש רישיות | 47,010 | 52 מילישניות | 35 מילישניות |
| מתויג (בשדה) | 151,413 | 148 מילישניות | 124 מילישניות |
| צורות מילים | 150,522 | 163 מילישניות | 140 מילישניות |
| מילים נרדפות | 202,299 | 211 מילישניות | 168 מילישניות |
| הומופונים | 206,431 | 208 מילישניות | 160 מילישניות |
| תיקון איות | 213,795 | 168 מילישניות | 174 מילישניות |
| תיקון פריסת מקלדת | 213,720 | 182 מילישניות | 168 מילישניות |
| כינויים | 78,118 | 203 מילישניות | 143 מילישניות |
| סינון מסמכים (PDF בלבד) | 88,732 | 147 מילישניות | 131 מילישניות |
| חיפוש בחלקים | 202,079 | 155 מילישניות | 137 מילישניות |
| שאילתת אובייקט | 37,935 | 456 מילישניות | 236 מילישניות |
| טווח מספרי | 703,582 | 25.2 שניות | 8.5 שניות |
| ביטוי רגולרי | 609,547 | 27.9 שניות | 26.5 שניות |
| טווח תאריכים של שנה | 138,876 | 92.1 שניות | 87.2 שניות |
חיפוש מעורפל, תיקון איות ותיקון פריסת מקלדת הם בערך באותה מהירות כמו חיפוש מילה פשוטה כאן, למרות שהאינדקס מכיל 285.6 מיליון מונחים.
שלוש השורות האחרונות נבחרו במכוון קיצוניות: הביטוי הרגולרי מצא 310 מיליון הופעות בשתי שלישים מכל המסמכים, הטווח המספרי 231 מיליון הופעות בשלושה רבעים מהם, וטווח השנה כיסה שנה שלמה. מאז גרסה 26.11, ריצות חוזרות משתמשות במילים שנמצאו בריצה הראשונה, ולכן זמני הריצה החוזרת מראים היכן הולך הזמן: באיסוף ההופעות. משתמשים כמעט ולא זקוקים לתוצאה כה גדולה, וטווח קצר יותר, תבנית מדויקת יותר או document filter משאירים את התוצאה, ואת הזמן, קטנים.
הטבלה המלאה עם השאילתות ומספרי ההופעות נמצאת ב-documentation.
אופטימיזציה: משימה ללילה
ה-optimization מיזג את 727 המקטעים ל‑28 וצמצם את האינדקס מ‑60.2 ג’יגהבייט ל‑49.5 ג’יגהבייט ב‑12 שעות 24 דקות. גודל מקטע ממוזג מוגבל, ולכן אינדקס גדול מתאמת למספר מקטעים ולא למקטע אחד. חיפושים אינם חסומים בזמן שהאינדקס מתאמת, ולכן ניתן להריץ את האופטימיזציה ברקע, למשל בלילה.
חמש נקודות מפתח לפרויקט שלך
- Extract once, index many times. Separate data extraction שומרת את הטקסט המחולץ לקבצים, כך שניתן לבנות מחדש את האינדקס או לנסות הגדרות אחרות ללא חילוץ המסמכים מחדש.
- Index in large batches. כל קריאה של
Index.Addעולה יותר ככל שהאינדקס גדל, ולכן קריאות פחותות וגדולות יותר מאנדקסים את האוסף הגדול הרבה יותר מהר. - Open the index once. פתיחת אינדקס גדול לוקחת שניות; שמרו על אובייקט
Indexוהפעילו את כל החיפושים עליו – searches are thread-safe. - Optimize in the background. חיפושים ממשיכים לעבוד בזמן שהאינדקס מתאמת, ולכן יש לתזמן את האופטימיזציה לשעות השקטות.
- Keep the heaviest queries narrow. ביטויים רגולריים וטווחים שמתאימים למאות מיליוני הופעות לוקחים שניות; סינונים ותבניות מצומצמות משאירים את התוצאות, ואת הזמן, קטנים.
הרץ את המדד על המסמכים שלך
המסמכים, השאילתות והחומרה שלכם קובעים את המספרים, ולכן יש למדוד אותם. אפליקציית GroupDocs.Search for .NET benchmarks מודדת את החילוץ, האינדוקס, האופטימיזציה ו‑20 סוגי חיפוש, מדווחת את הזמן ואת השימוש בזיכרון של כל פעולה וכותבת הכול לקובץ CSV:
git clone https://github.com/groupdocs-search/full-text-search-benchmark-net.git
cd full-text-search-benchmark-net
dotnet run -c Release --project src/GroupDocs.Search.Benchmark
לפני ההרצה, הגדירו את הרישיון, התיקיות והשאילתות לשפת המסמכים שלכם בראש הקובץ Program.cs. רישיון temporary license חינמי מספיק: ללא רישיון, מצב ההערכה מגביל את מספר המסמכים המאונדקסים והנמצאים.
משאבים
- Benchmark on GitHub – https://github.com/groupdocs-search/full-text-search-benchmark-net
- Performance and benchmarks – https://docs.groupdocs.com/search/net/performance-and-benchmarks/
- Release notes of 26.11 – https://releases.groupdocs.com/search/net/release-notes/2026/groupdocs-search-for-net-26-11-release-notes/
- Documentation – https://docs.groupdocs.com/search/net/
- API Reference – https://reference.groupdocs.com/search/net/
- Code Examples – https://github.com/groupdocs-search/GroupDocs.Search-for-.NET/
- Free Support Forum – https://forum.groupdocs.com/c/search/
- Temporary License – https://purchase.groupdocs.com/temporary-license/