ใช้เวลานานเท่าไหร่ในการทำดัชนีเอกสารหนึ่งล้านฉบับบนคอมพิวเตอร์ทั่วไป? ดัชนีจะมีขนาดใหญ่แค่ไหน และการค้นหาจะเร็วแค่ไหนหลังจากนั้น? แทนที่จะทำการทดสอบแบบสังเคราะห์ เราได้ใช้คอร์ปัสจริงที่มีไฟล์เกือบหนึ่งล้านไฟล์ ทำดัชนีด้วย GroupDocs.Search for .NET 26.11 บนคอมพิวเตอร์เดสก์ท็อปและวัดทุกขั้นตอน.
The short answer: 919,896 documents were indexed in 3 hours 48 minutes, and 17 of 20 kinds of search answered in 35 to 539 ms, although most queries were found in tens or hundreds of thousands of documents. The benchmark is ซอร์สเปิด, so you can measure your own documents the same way.
ผลลัพธ์ในตารางเดียว
| รายการ | ผลลัพธ์ |
|---|---|
| เอกสารถูกทำดัชนี | 919,896 |
| การทำดัชนี | 3 ชม. 48 นาที, 67 เอกสารต่อวินาที |
| ขนาดดัชนี | 60.2 GB, 49.5 GB หลังการทำออพติไมซ์ |
| การเปิดดัชนีที่ทำออพติไมซ์ | 9.8 วินาที |
| 17 จาก 20 ประเภทของการค้นหา | 35 ถึง 539 มิลลิวินาที (ค่ากลาง 158 มิลลิวินาที) ในการรันซ้ำ |
| คำค้นที่หนักที่สุด | 8.5 ถึง 87 วินาทีสำหรับผลลัพธ์ที่มีจำนวนการเกิดหลายล้านถึงหลายร้อยล้านครั้ง |
การตั้งค่า
- คอมพิวเตอร์: Intel Core i5-11500 (6 คอร์, 12 เธรด), RAM 32 GB, SSD SATA, Windows 10 – คอมพิวเตอร์เดสก์ท็อปทั่วไป, ไม่ใช่เซิร์ฟเวอร์.
- ซอฟต์แวร์: GroupDocs.Search for .NET 26.11 บน .NET 10, พร้อมการตั้งค่าดัชนีเริ่มต้น.
- เอกสาร: คอร์ปัส govdocs1 ของ Digital Corpora – เกือบหนึ่งล้านไฟล์จากเซิร์ฟเวอร์เว็บของรัฐบาลสหรัฐ: PDF, HTML, Word, Excel, PowerPoint, ข้อความ, XML, CSV, รูปภาพและอื่น ๆ. นี่เป็นคอร์ปัสที่ท้าทาย: ไฟล์หลายไฟล์เป็นสเปรดชีตและไฟล์ข้อมูล, และทุกตัวเลขหรือรหัสที่แตกต่างกันจะกลายเป็นเทอม, ทำให้ดัชนีมี 285.6 ล้านเทอมที่ไม่ซ้ำกัน.
- วิธีการ: ข้อความของเอกสารถูกสกัดหนึ่งครั้งและบันทึกเป็นไฟล์, เพื่อให้การทำดัชนีสามารถวัดได้แยกจากกัน. จากนั้นข้อมูลถูกเพิ่มลงในดัชนีใหม่เป็นชุดละสูงสุด 512 MB ด้วย 4 เธรดทำดัชนี, ดัชนีถูกทำออพติไมซ์, และ 20 ประเภทของการค้นหาถูกรัน 3 ครั้งต่อประเภท.
จากไฟล์ที่สกัดได้ 983,840 ไฟล์, 63,943 ไฟล์ไม่มีข้อความ (PostScript, gzip, Flash และไฟล์ dBase และไฟล์ที่ไม่สามารถอ่านได้, เป็นต้น), และหนึ่งเอกสารถูกตัดออกเนื่องจากใหญ่เกินกว่าดัชนี, ดังนั้นจึงทำดัชนีได้ 919,896 เอกสาร.
การทำดัชนี: 920 พันเอกสารภายในสี่ชั่วโมง
การทำดัชนีใช้เวลา 3 ชั่วโมง 48 นาที, หรือเฉลี่ย 67 เอกสารต่อวินาที, รวมถึง 28 นาทีที่ใช้ในการอ่านข้อมูลที่สกัดจากดิสก์. ดัชนีมีขนาด 60.2 GB แบ่งเป็น 727 เซกเมนต์.
ข้อมูลที่เป็นประโยชน์ที่สุดสำหรับการวางแผนคือเวลาที่ใช้ในการเรียก Index.Add หนึ่งครั้งเปลี่ยนแปลงอย่างไรเมื่อดัชนีเติบโต:
| เอกสารที่มีอยู่ในดัชนี | เวลาเฉลี่ยของการเรียก |
|---|---|
| 0 ถึง 27,000 | 12.7 s |
| 208,000 ถึง 338,000 | 52.7 s |
| 497,000 ถึง 639,000 | 98.9 s |
| 639,000 ถึง 920,000 | 109.4 s |
การเรียกครั้งสุดท้ายเพิ่มเพียง 1,240 เอกสารและยังใช้เวลา 113 วินาที, เท่ากับการเรียกที่มีเอกสารมากกว่า 9,000 เอกสารก่อนหน้านั้น. ในดัชนีขนาดใหญ่ จำนวนการเรียก, ไม่ใช่จำนวนเอกสาร, เป็นตัวกำหนดเวลาการทำดัชนีส่วนใหญ่. ดังนั้นให้เพิ่มเอกสารลงในดัชนีขนาดใหญ่เป็นชุดที่ใหญ่เท่าที่หน่วยความจำของคุณอนุญาต.
การค้นหา: หลายสิบของวินาทีสำหรับคำค้นส่วนใหญ่
ดัชนีที่ทำออพติไมซ์ซึ่งมี 28 เซกเมนต์เปิดใน 9.8 วินาที. แต่ละคำค้นจะรันสามครั้ง: การรันครั้งแรกคือสิ่งที่ผู้ใช้คนแรกของแอปพลิเคชันที่เพิ่งเริ่มทำงานต้องรอ, และการรันซ้ำเป็นกรณีปกติของบริการที่ทำงานอยู่.
| ประเภทของการค้นหา | เอกสารที่พบ | การรันครั้งแรก | การรันซ้ำ |
|---|---|---|---|
| คำง่าย | 202,079 | 539 ms | 210 ms |
| บูลีน | 44,626 | 251 ms | 149 ms |
| วลี | 241,277 | 591 ms | 539 ms |
| วลีพร้อมไวลด์การ์ด | 32,270 | 183 ms | 129 ms |
| ไวลด์การ์ด | 267,231 | 347 ms | 287 ms |
| ฟัซซี่ | 202,183 | 207 ms | 157 ms |
| แยกแยะตัวพิมพ์ใหญ่-เล็ก | 47,010 | 52 ms | 35 ms |
| แบบ Faceted (ในฟิลด์) | 151,413 | 148 ms | 124 ms |
| รูปแบบคำ | 150,522 | 163 ms | 140 ms |
| คำพ้องความหมาย | 202,299 | 211 ms | 168 ms |
| คำพ้องเสียง | 206,431 | 208 ms | 160 ms |
| การแก้ไขการสะกด | 213,795 | 168 ms | 174 ms |
| การแก้ไขการจัดแป้นพิมพ์ | 213,720 | 182 ms | 168 ms |
| นามแฝง | 78,118 | 203 ms | 143 ms |
| ตัวกรองเอกสาร (PDF เท่านั้น) | 88,732 | 147 ms | 131 ms |
| การค้นหาแบบชิ้นส่วน | 202,079 | 155 ms | 137 ms |
| การค้นหาอ็อบเจ็กต์ | 37,935 | 456 ms | 236 ms |
| ช่วงตัวเลข | 703,582 | 25.2 s | 8.5 s |
| นิพจน์ปกติ | 609,547 | 27.9 s | 26.5 s |
| ช่วงวันที่ของหนึ่งปี | 138,876 | 92.1 s | 87.2 s |
การค้นหาแบบฟัซซี่, การแก้ไขการสะกดและการแก้ไขการจัดแป้นพิมพ์มีความเร็วใกล้เคียงกับการค้นหาคำง่ายที่นี่, แม้ว่าดัชนีจะมีเทอมทั้งหมด 285.6 ล้านเทอม.
สามแถวสุดท้ายเป็นการตั้งใจให้สุดขีด: นิพจน์ปกติจับ 310 ล้านการเกิด ในสองในสามของเอกสารทั้งหมด, ช่วงตัวเลข 231 ล้านการเกิด ในสี่ในสามของเอกสาร, และช่วงวันที่ครอบคลุมทั้งปี. ตั้งแต่เวอร์ชัน 26.11, การรันซ้ำจะใช้คำที่จับได้จากการรันครั้งแรกใหม่, ดังนั้นเวลาที่รันซ้ำจะแสดงว่าตรงไหนที่ใช้เวลา: การรวบรวมการเกิด. ผู้ใช้แทบไม่ต้องการผลลัพธ์ขนาดนั้น, และการใช้ช่วงสั้นลง, รูปแบบที่เจาะจงมากขึ้น หรือ ตัวกรองเอกสาร จะทำให้ผลลัพธ์และเวลานั้นเล็กลง.
ตารางเต็มพร้อมกับคำค้นและจำนวนการเกิดอยู่ใน เอกสารประกอบ.
การทำออพติไมซ์: งานสำหรับกลางคืน
การทำออพติไมซ์ รวม 727 เซกเมนต์เป็น 28 เซกเมนต์และทำให้ดัชนีลดจาก 60.2 GB เหลือ 49.5 GB ใน 12 ชั่วโมง 24 นาที. ขนาดของเซกเมนต์ที่รวมกันมีขีดจำกัด, ดังนั้นดัชนีขนาดใหญ่จะถูกทำออพติไมซ์เป็นหลายเซกเมนต์แทนที่จะเป็นหนึ่งเซกเมนต์. การค้นหาไม่ถูกบล็อกขณะดัชนีกำลังทำออพติไมซ์, ดังนั้นการทำออพติไมซ์ดัชนีขนาดใหญ่สามารถทำงานในพื้นหลัง, เช่นในเวลากลางคืน.
ห้าข้อสรุปสำหรับโครงการของคุณ
- สกัดครั้งเดียว, ทำดัชนีหลายครั้ง. การสกัดข้อมูลแยกต่างหาก จะบันทึกข้อความที่สกัดเป็นไฟล์, ดังนั้นคุณสามารถสร้างดัชนีใหม่หรือทดลองตั้งค่าอื่น ๆ ได้โดยไม่ต้องสกัดเอกสารอีกครั้ง.
- ทำดัชนีเป็นชุดใหญ่. การเรียก
Index.Addแต่ละครั้งใช้เวลามากขึ้นเมื่อดัชนีเติบโต, ดังนั้นการเรียกที่น้อยลงแต่ใหญ่ขึ้นจะทำดัชนีคอลเลกชันขนาดใหญ่ได้เร็วกว่า. - เปิดดัชนีเพียงครั้งเดียว. การเปิดดัชนีขนาดใหญ่ใช้เวลาเป็นวินาที; เก็บอ็อบเจ็กต์
Indexไว้และรันการค้นหาทั้งหมดบนมัน – การค้นหาปลอดภัยต่อเธรด. - ทำออพติไมซ์ในพื้นหลัง. การค้นหายังคงทำงานขณะดัชนีกำลังทำออพติไมซ์, ดังนั้นให้กำหนดเวลาการทำออพติไมซ์ในช่วงเวลาที่เงียบ.
- ทำให้คำค้นที่หนักที่สุดแคบลง. นิพจน์ปกติและช่วงที่จับหลายร้อยล้านการเกิดใช้เวลาหลายวินาที; ตัวกรองและรูปแบบที่แคบลงจะทำให้ผลลัพธ์และเวลานั้นเล็กลง.
รันการทดสอบประสิทธิภาพบนเอกสารของคุณ
เอกสาร, คำค้นและฮาร์ดแวร์ของคุณเป็นตัวกำหนดตัวเลขของคุณ, ดังนั้นให้วัดมัน. แอปพลิเคชัน GroupDocs.Search for .NET benchmarks วัดการสกัด, การทำดัชนี, การทำออพติไมซ์และ 20 ประเภทของการค้นหา, รายงานเวลาและหน่วยความจำสูงสุดของแต่ละการดำเนินการและเขียนทุกอย่างลงในไฟล์ CSV:
git clone https://github.com/groupdocs-search/full-text-search-benchmark-net.git
cd full-text-search-benchmark-net
dotnet run -c Release --project src/GroupDocs.Search.Benchmark
ก่อนการรัน, ตั้งค่าลิขสิทธิ์, โฟลเดอร์และคำค้นสำหรับภาษาของเอกสารของคุณที่ส่วนบนของ Program.cs. ลิขสิทธิ์ ชั่วคราวฟรี เพียงพอ: หากไม่มีลิขสิทธิ์, โหมดประเมินผลจะจำกัดจำนวนเอกสารที่ทำดัชนีและพบ.
แหล่งข้อมูล
- การทดสอบบน GitHub – https://github.com/groupdocs-search/full-text-search-benchmark-net
- ประสิทธิภาพและการทดสอบ – https://docs.groupdocs.com/search/net/performance-and-benchmarks/
- บันทึกการปล่อยเวอร์ชัน 26.11 – https://releases.groupdocs.com/search/net/release-notes/2026/groupdocs-search-for-net-26-11-release-notes/
- เอกสารประกอบ – https://docs.groupdocs.com/search/net/
- อ้างอิง API – https://reference.groupdocs.com/search/net/
- ตัวอย่างโค้ด – https://github.com/groupdocs-search/GroupDocs.Search-for-.NET/
- Free Support Forum – https://forum.groupdocs.com/c/search/
- ลิขสิทธิ์ชั่วคราว – https://purchase.groupdocs.com/temporary-license/