보통 컴퓨터에서 백만 개의 문서를 색인하는 데 얼마나 걸릴까요? 색인의 크기는 얼마나 커지고, 이후 검색 속도는 어떨까요? 인공적인 테스트 대신, 실제 거의 백만 개에 달하는 파일 코퍼스를 사용해 GroupDocs.Search for .NET 26.11 로 데스크톱 PC에서 색인하고 모든 단계를 측정했습니다.
짧은 답변: 919,896 문서가 3시간 48분에 색인되었으며, 20가지 검색 중 17가지가 35~539 ms에 응답했습니다. 대부분의 쿼리는 수만~수십만 개 문서에서 찾았지만요. 이 벤치마크는 오픈 소스이며, 동일한 방법으로 자신의 문서를 측정할 수 있습니다.
한 표에 정리된 결과
| 항목 | 결과 |
|---|---|
| 색인된 문서 수 | 919,896 |
| 색인 | 3시간 48분, 초당 67문서 |
| 색인 크기 | 60.2 GB, 최적화 후 49.5 GB |
| 최적화된 색인 열기 | 9.8 초 |
| 20가지 검색 중 17가지 | 반복 실행 시 35~539 ms (중간값 158 ms) |
| 가장 무거운 쿼리 | 수백만~수억 건 결과에 대해 8.5~87 초 |
설정
- Computer: Intel Core i5-11500 (6코어, 12스레드), 32 GB RAM, SATA SSD, Windows 10 – 일반 데스크톱 PC이며 서버가 아닙니다.
- Software: .NET 10에서 실행되는 GroupDocs.Search for .NET 26.11, 기본 색인 설정 사용.
- Documents: Digital Corpora의 govdocs1 코퍼스 – 미국 정부 웹 서버에서 수집한 거의 백만 개 파일: PDF, HTML, Word, Excel, PowerPoint, 텍스트, XML, CSV, 이미지 등. 이 코퍼스는 어려운데, 많은 파일이 스프레드시트와 데이터 파일이며, 각 고유 숫자나 코드가 용어가 되므로 색인에 285.6 백만 개의 고유 용어가 포함되었습니다.
- Method: 문서의 텍스트를 한 번 추출해 파일에 저장했으며, 이를 통해 색인만 별도로 측정할 수 있었습니다. 그런 다음 데이터를 최대 512 MB 배치, 4개의 색인 스레드로 새 색인에 추가하고, 색인을 최적화했으며, 20가지 검색을 각각 3회 실행했습니다.
983,840개의 추출된 파일 중 63,943개는 텍스트가 없었으며(예: PostScript, gzip, Flash, dBase 파일 및 읽을 수 없는 파일 등), 한 문서는 색인에 너무 커서 제외되었고, 최종적으로 919,896개의 문서가 색인되었습니다.
색인: 4시간 미만에 92만 개 문서
색인 작업은 평균 3시간 48분(초당 67문서) 걸렸으며, 여기에는 디스크에서 추출된 데이터를 읽는 데 28분이 포함됩니다. 색인은 727개의 세그먼트로 구성되어 총 60.2 GB를 차지했습니다.
계획에 가장 유용한 발견은 Index.Add 호출 1회의 시간이 색인이 커짐에 따라 어떻게 변했는지입니다:
| 이미 색인된 문서 수 | 호출당 평균 시간 |
|---|---|
| 0 to 27,000 | 12.7 초 |
| 208,000 to 338,000 | 52.7 초 |
| 497,000 to 639,000 | 98.9 초 |
| 639,000 to 920,000 | 109.4 초 |
마지막 호출은 1,240개의 문서만 추가했지만 여전히 113 초가 걸렸으며, 이는 이전에 9,000개 이상 문서를 추가한 호출과 비슷한 시간입니다. 큰 색인에서는 문서 수가 아니라 호출 횟수가 색인 시간의 대부분을 결정합니다. 따라서 메모리가 허용하는 한 큰 배치로 문서를 추가하십시오.
검색: 대부분의 쿼리는 0.1초 수준
28개의 세그먼트로 구성된 최적화된 색인은 9.8 초에 열렸습니다. 각 쿼리는 세 번 실행되었으며, 첫 번째 실행은 새로 시작한 애플리케이션의 첫 사용자가 기다리는 시간이고, 이후 반복 실행은 서비스가 지속적으로 동작할 때의 일반적인 경우입니다.
| 검색 종류 | 검색된 문서 수 | 첫 실행 | 반복 실행 |
|---|---|---|---|
| 단순 단어 | 202,079 | 539 ms | 210 ms |
| 불리언 | 44,626 | 251 ms | 149 ms |
| 구문 | 241,277 | 591 ms | 539 ms |
| 와일드카드 포함 구문 | 32,270 | 183 ms | 129 ms |
| 와일드카드 | 267,231 | 347 ms | 287 ms |
| 퍼지 | 202,183 | 207 ms | 157 ms |
| 대소문자 구분 | 47,010 | 52 ms | 35 ms |
| 팩터드(필드 내) | 151,413 | 148 ms | 124 ms |
| 단어 형태 | 150,522 | 163 ms | 140 ms |
| 동의어 | 202,299 | 211 ms | 168 ms |
| 동음이의어 | 206,431 | 208 ms | 160 ms |
| 맞춤법 교정 | 213,795 | 168 ms | 174 ms |
| 키보드 레이아웃 교정 | 213,720 | 182 ms | 168 ms |
| 별칭 | 78,118 | 203 ms | 143 ms |
| 문서 필터(PDF만) | 88,732 | 147 ms | 131 ms |
| 청크별 검색 | 202,079 | 155 ms | 137 ms |
| 객체 쿼리 | 37,935 | 456 ms | 236 ms |
| 숫자 범위 | 703,582 | 25.2 초 | 8.5 초 |
| 정규식 | 609,547 | 27.9 초 | 26.5 초 |
| 1년 날짜 범위 | 138,876 | 92.1 초 | 87.2 초 |
여기서는 퍼지 검색, 맞춤법 교정 및 키보드 레이아웃 교정이 단순 단어 검색과 거의 동일한 속도를 보이며, 색인에 285.6 백만 개의 용어가 포함되어 있음에도 불구하고 그렇습니다.
마지막 세 행은 의도적으로 극단적인 경우입니다: 정규식은 전체 문서의 3분의 2에서 3억 1천만 건을 매치했으며, 숫자 범위는 2억 3천만 건을 4분의 3 문서에서 매치했고, 날짜 범위는 1년 전체를 포함했습니다. 26.11 이후 반복 실행은 첫 실행에서 매치된 단어를 재사용하므로, 반복 시간은 매치된 항목을 수집하는 데 사용됩니다. 사용자는 보통 이렇게 큰 결과를 필요로 하지 않으며, 범위를 좁히거나 더 구체적인 패턴, 혹은 문서 필터를 사용하면 결과와 시간 모두 작게 유지할 수 있습니다.
쿼리와 매치 건수 전체 표는 문서에 있습니다.
최적화: 야간 작업
최적화는 727개의 세그먼트를 28개로 병합하고 색인 크기를 60.2 GB에서 49.5 GB로 12시간 24분에 축소했습니다. 병합된 세그먼트의 크기는 제한되므로 큰 색인은 하나가 아니라 여러 세그먼트로 최적화됩니다. 색인 최적화 중에도 검색은 차단되지 않으므로, 예를 들어 야간에 백그라운드로 큰 색인 최적화를 실행할 수 있습니다.
프로젝트를 위한 다섯 가지 교훈
- 한 번 추출하고 여러 번 색인. 데이터 추출 분리는 추출된 텍스트를 파일에 저장하므로, 문서를 다시 추출하지 않고도 색인을 재구성하거나 다른 설정을 시도할 수 있습니다.
- 대규모 배치로 색인.
Index.Add호출은 색인이 커질수록 비용이 증가하므로, 호출 횟수를 줄이고 배치를 크게 하면 대량 컬렉션을 훨씬 빠르게 색인할 수 있습니다. - 색인을 한 번만 열기. 큰 색인을 여는 데는 몇 초가 걸리므로
Index객체를 유지하고 모든 검색을 해당 객체에서 수행하십시오 – 검색은 스레드 안전합니다. - 백그라운드에서 최적화. 색인 최적화 중에도 검색은 계속 작동하므로, 조용한 시간에 최적화를 예약하십시오.
- 가장 무거운 쿼리는 좁게 유지. 수억 건을 매치하는 정규식 및 범위는 몇 초가 걸리지만, 필터와 더 좁은 패턴을 사용하면 결과와 시간 모두 작게 유지됩니다.
문서에 벤치마크 실행
문서, 쿼리 및 하드웨어가 결과에 영향을 미치므로 직접 측정하십시오. GroupDocs.Search for .NET 벤치마크 애플리케이션은 추출, 색인, 최적화 및 20가지 검색을 측정하고, 각 작업의 시간과 최대 메모리를 보고 CSV 파일에 기록합니다:
git clone https://github.com/groupdocs-search/full-text-search-benchmark-net.git
cd full-text-search-benchmark-net
dotnet run -c Release --project src/GroupDocs.Search.Benchmark
실행 전에 Program.cs 상단에서 라이선스, 폴더 및 문서 언어에 맞는 쿼리를 설정하십시오. 무료 임시 라이선스만 있으면 충분합니다: 라이선스가 없으면 평가 모드에서 색인 및 검색된 문서 수가 제한됩니다.
리소스
- Benchmark on GitHub – https://github.com/groupdocs-search/full-text-search-benchmark-net
- Performance and benchmarks – https://docs.groupdocs.com/search/net/performance-and-benchmarks/
- Release notes of 26.11 – https://releases.groupdocs.com/search/net/release-notes/2026/groupdocs-search-for-net-26-11-release-notes/
- Documentation – https://docs.groupdocs.com/search/net/
- API Reference – https://reference.groupdocs.com/search/net/
- Code Examples – https://github.com/groupdocs-search/GroupDocs.Search-for-.NET/
- Free Support Forum – https://forum.groupdocs.com/c/search/
- Temporary License – https://purchase.groupdocs.com/temporary-license/