כמה זמן לוקח לאנדקס מיליון מסמכים במחשב רגיל? כמה גדול האינדקס גדל, וכמה מהירה החיפוש לאחר מכן? במקום מבחן סינתטי, לקחנו קורפוס אמיתי של כמעט מיליון קבצים, אינדקסנו אותו עם GroupDocs.Search for .NET 26.11 במחשב שולחני ומדדנו כל שלב.

התשובה הקצרה: 919,896 מסמכים נותחו ב‑3 שעות 48 דקות, ו‑17 מתוך 20 סוגי חיפוש נענו ב‑35 עד 539 ms, למרות שרוב השאילתות נמצאו בעשרות או במאות אלפי מסמכים. המדד הוא קוד פתוח, כך שאתה יכול למדוד את המסמכים שלך באותו אופן.

התוצאות בטבלה אחת

מה תוצאה
מסמכים שנאגרו 919,896
אינדוקס 3 שעות 48 דקות, 67 מסמכים לשנייה
גודל האינדקס 60.2 ג’יגהבייט, 49.5 ג’יגהבייט לאחר אופטימיזציה
פתיחת האינדקס הממוטב 9.8 שניות
17 מתוך 20 סוגי חיפוש 35 עד 539 מילישניות (חציון 158 מילישניות) בריצות חוזרות
השאילתות הכבדות ביותר 8.5 עד 87 שניות לתוצאות של מיליונים עד מאות מיליוני הופעות

ההגדרות

  • מחשב: Intel Core i5-11500 (6 ליבות, 12 חוטים), 32 ג’יגהבייט RAM, SSD SATA, Windows 10 – מחשב שולחני רגיל, לא שרת.
  • תוכנה: GroupDocs.Search for .NET 26.11 על .NET 10, עם הגדרות האינדקס ברירת המחדל.
  • מסמכים: קורפוס govdocs1 של Digital Corpora – כמעט מיליון קבצים משרתי אינטרנט של ממשלת ארה״ב: PDF, HTML, Word, Excel, PowerPoint, טקסט, XML, CSV, תמונות ועוד. זהו קורפוס קשה: רבים מהקבצים הם גיליונות אלקטרוניים וקבצי נתונים, וכל מספר או קוד ייחודי הופך למונח, ולכן האינדקס הסתיים עם 285.6 מיליון מונחים ייחודיים.
  • שיטה: הטקסט של המסמכים חולץ פעם אחת ונשמר לקבצים, כך שניתן למדוד את תהליך האינדוקס בנפרד. לאחר מכן הנתונים נוספו לאינדקס חדש במנות של עד 512 מגהבייט עם 4 חוטי אינדוקס, האינדקס אופטימיזציה, ו-20 סוגי חיפוש הורצו 3 פעמים כל אחד.

מתוך 983,840 קבצים שחולצו, 63,943 לא הכילו טקסט (PostScript, gzip, Flash וקבצי dBase וקבצים שלא ניתן היה לקרוא, בין השאר), ומסמך אחד היה גדול מדי עבור האינדקס, ולכן 919,896 מסמכים נוּספו.

אינדוקס: 920 אלף מסמכים בפחות מארבע שעות

תהליך האינדוקס ארך 3 שעות 48 דקות, או בממוצע 67 מסמכים לשנייה, כולל 28 דקות של קריאת הנתונים המחולצים מהדיסק. האינדקס היה בגודל 60.2 ג’יגהבייט ב-727 מקטעים.

הממצא השימושי ביותר לתכנון הוא כיצד זמן הקריאה של Index.Add השתנה ככל שהאינדקס גדל:

מסמכים שכבר באינדקס זמן ממוצע של קריאה
0 עד 27,000 12.7 שניות
208,000 עד 338,000 52.7 שניות
497,000 עד 639,000 98.9 שניות
639,000 עד 920,000 109.4 שניות

הקריאה האחרונה הוסיפה רק 1,240 מסמכים ובכל זאת ארכה 113 שניות, כמו הקריאות עם יותר מ‑9,000 מסמכים לפני כן. באינדקס גדול, מספר הקריאות, ולא מספר המסמכים, קובע את רוב זמן האינדוקס. לכן יש להוסיף מסמכים לאינדקס גדול במנות גדולות ככל שהזיכרון מאפשר.

חיפוש: עשרות של שנייה עבור רוב השאילתות

האינדקס הממוטב של 28 מקטעים נפתח ב‑9.8 שניות. כל שאילתה הורצה שלוש פעמים: הריצה הראשונה היא מה שהמשתמש הראשון של אפליקציה שהתחילה זה עתה מחכה לו, והריצות החוזרות הן המצב הרגיל של שירות פועל.

סוג חיפוש מסמכים שנמצאו ריצה ראשונה ריצות חוזרות
מילה פשוטה 202,079 539 מילישניות 210 מילישניות
בוליאני 44,626 251 מילישניות 149 מילישניות
ביטוי 241,277 591 מילישניות 539 מילישניות
ביטוי עם תווים כלליים 32,270 183 מילישניות 129 מילישניות
תו כללי 267,231 347 מילישניות 287 מילישניות
חיפוש מעורפל 202,183 207 מילישניות 157 מילישניות
רגיש רישיות 47,010 52 מילישניות 35 מילישניות
מתויג (בשדה) 151,413 148 מילישניות 124 מילישניות
צורות מילים 150,522 163 מילישניות 140 מילישניות
מילים נרדפות 202,299 211 מילישניות 168 מילישניות
הומופונים 206,431 208 מילישניות 160 מילישניות
תיקון איות 213,795 168 מילישניות 174 מילישניות
תיקון פריסת מקלדת 213,720 182 מילישניות 168 מילישניות
כינויים 78,118 203 מילישניות 143 מילישניות
סינון מסמכים (PDF בלבד) 88,732 147 מילישניות 131 מילישניות
חיפוש בחלקים 202,079 155 מילישניות 137 מילישניות
שאילתת אובייקט 37,935 456 מילישניות 236 מילישניות
טווח מספרי 703,582 25.2 שניות 8.5 שניות
ביטוי רגולרי 609,547 27.9 שניות 26.5 שניות
טווח תאריכים של שנה 138,876 92.1 שניות 87.2 שניות

חיפוש מעורפל, תיקון איות ותיקון פריסת מקלדת הם בערך באותה מהירות כמו חיפוש מילה פשוטה כאן, למרות שהאינדקס מכיל 285.6 מיליון מונחים.

שלוש השורות האחרונות נבחרו במכוון קיצוניות: הביטוי הרגולרי מצא 310 מיליון הופעות בשתי שלישים מכל המסמכים, הטווח המספרי 231 מיליון הופעות בשלושה רבעים מהם, וטווח השנה כיסה שנה שלמה. מאז גרסה 26.11, ריצות חוזרות משתמשות במילים שנמצאו בריצה הראשונה, ולכן זמני הריצה החוזרת מראים היכן הולך הזמן: באיסוף ההופעות. משתמשים כמעט ולא זקוקים לתוצאה כה גדולה, וטווח קצר יותר, תבנית מדויקת יותר או document filter משאירים את התוצאה, ואת הזמן, קטנים.

הטבלה המלאה עם השאילתות ומספרי ההופעות נמצאת ב-documentation.

אופטימיזציה: משימה ללילה

ה-optimization מיזג את 727 המקטעים ל‑28 וצמצם את האינדקס מ‑60.2 ג’יגהבייט ל‑49.5 ג’יגהבייט ב‑12 שעות 24 דקות. גודל מקטע ממוזג מוגבל, ולכן אינדקס גדול מתאמת למספר מקטעים ולא למקטע אחד. חיפושים אינם חסומים בזמן שהאינדקס מתאמת, ולכן ניתן להריץ את האופטימיזציה ברקע, למשל בלילה.

חמש נקודות מפתח לפרויקט שלך

  1. Extract once, index many times. Separate data extraction שומרת את הטקסט המחולץ לקבצים, כך שניתן לבנות מחדש את האינדקס או לנסות הגדרות אחרות ללא חילוץ המסמכים מחדש.
  2. Index in large batches. כל קריאה של Index.Add עולה יותר ככל שהאינדקס גדל, ולכן קריאות פחותות וגדולות יותר מאנדקסים את האוסף הגדול הרבה יותר מהר.
  3. Open the index once. פתיחת אינדקס גדול לוקחת שניות; שמרו על אובייקט Index והפעילו את כל החיפושים עליו – searches are thread-safe.
  4. Optimize in the background. חיפושים ממשיכים לעבוד בזמן שהאינדקס מתאמת, ולכן יש לתזמן את האופטימיזציה לשעות השקטות.
  5. Keep the heaviest queries narrow. ביטויים רגולריים וטווחים שמתאימים למאות מיליוני הופעות לוקחים שניות; סינונים ותבניות מצומצמות משאירים את התוצאות, ואת הזמן, קטנים.

הרץ את המדד על המסמכים שלך

המסמכים, השאילתות והחומרה שלכם קובעים את המספרים, ולכן יש למדוד אותם. אפליקציית GroupDocs.Search for .NET benchmarks מודדת את החילוץ, האינדוקס, האופטימיזציה ו‑20 סוגי חיפוש, מדווחת את הזמן ואת השימוש בזיכרון של כל פעולה וכותבת הכול לקובץ CSV:

git clone https://github.com/groupdocs-search/full-text-search-benchmark-net.git
cd full-text-search-benchmark-net
dotnet run -c Release --project src/GroupDocs.Search.Benchmark

לפני ההרצה, הגדירו את הרישיון, התיקיות והשאילתות לשפת המסמכים שלכם בראש הקובץ Program.cs. רישיון temporary license חינמי מספיק: ללא רישיון, מצב ההערכה מגביל את מספר המסמכים המאונדקסים והנמצאים.

משאבים