보통 컴퓨터에서 백만 개의 문서를 색인하는 데 얼마나 걸릴까요? 색인의 크기는 얼마나 커지고, 이후 검색 속도는 어떨까요? 인공적인 테스트 대신, 실제 거의 백만 개에 달하는 파일 코퍼스를 사용해 GroupDocs.Search for .NET 26.11 로 데스크톱 PC에서 색인하고 모든 단계를 측정했습니다.

짧은 답변: 919,896 문서가 3시간 48분에 색인되었으며, 20가지 검색 중 17가지가 35~539 ms에 응답했습니다. 대부분의 쿼리는 수만~수십만 개 문서에서 찾았지만요. 이 벤치마크는 오픈 소스이며, 동일한 방법으로 자신의 문서를 측정할 수 있습니다.

한 표에 정리된 결과

항목 결과
색인된 문서 수 919,896
색인 3시간 48분, 초당 67문서
색인 크기 60.2 GB, 최적화 후 49.5 GB
최적화된 색인 열기 9.8 초
20가지 검색 중 17가지 반복 실행 시 35~539 ms (중간값 158 ms)
가장 무거운 쿼리 수백만~수억 건 결과에 대해 8.5~87 초

설정

  • Computer: Intel Core i5-11500 (6코어, 12스레드), 32 GB RAM, SATA SSD, Windows 10 – 일반 데스크톱 PC이며 서버가 아닙니다.
  • Software: .NET 10에서 실행되는 GroupDocs.Search for .NET 26.11, 기본 색인 설정 사용.
  • Documents: Digital Corpora의 govdocs1 코퍼스 – 미국 정부 웹 서버에서 수집한 거의 백만 개 파일: PDF, HTML, Word, Excel, PowerPoint, 텍스트, XML, CSV, 이미지 등. 이 코퍼스는 어려운데, 많은 파일이 스프레드시트와 데이터 파일이며, 각 고유 숫자나 코드가 용어가 되므로 색인에 285.6 백만 개의 고유 용어가 포함되었습니다.
  • Method: 문서의 텍스트를 한 번 추출해 파일에 저장했으며, 이를 통해 색인만 별도로 측정할 수 있었습니다. 그런 다음 데이터를 최대 512 MB 배치, 4개의 색인 스레드로 새 색인에 추가하고, 색인을 최적화했으며, 20가지 검색을 각각 3회 실행했습니다.

983,840개의 추출된 파일 중 63,943개는 텍스트가 없었으며(예: PostScript, gzip, Flash, dBase 파일 및 읽을 수 없는 파일 등), 한 문서는 색인에 너무 커서 제외되었고, 최종적으로 919,896개의 문서가 색인되었습니다.

색인: 4시간 미만에 92만 개 문서

색인 작업은 평균 3시간 48분(초당 67문서) 걸렸으며, 여기에는 디스크에서 추출된 데이터를 읽는 데 28분이 포함됩니다. 색인은 727개의 세그먼트로 구성되어 총 60.2 GB를 차지했습니다.

계획에 가장 유용한 발견은 Index.Add 호출 1회의 시간이 색인이 커짐에 따라 어떻게 변했는지입니다:

이미 색인된 문서 수 호출당 평균 시간
0 to 27,000 12.7 초
208,000 to 338,000 52.7 초
497,000 to 639,000 98.9 초
639,000 to 920,000 109.4 초

마지막 호출은 1,240개의 문서만 추가했지만 여전히 113 초가 걸렸으며, 이는 이전에 9,000개 이상 문서를 추가한 호출과 비슷한 시간입니다. 큰 색인에서는 문서 수가 아니라 호출 횟수가 색인 시간의 대부분을 결정합니다. 따라서 메모리가 허용하는 한 큰 배치로 문서를 추가하십시오.

검색: 대부분의 쿼리는 0.1초 수준

28개의 세그먼트로 구성된 최적화된 색인은 9.8 초에 열렸습니다. 각 쿼리는 세 번 실행되었으며, 첫 번째 실행은 새로 시작한 애플리케이션의 첫 사용자가 기다리는 시간이고, 이후 반복 실행은 서비스가 지속적으로 동작할 때의 일반적인 경우입니다.

검색 종류 검색된 문서 수 첫 실행 반복 실행
단순 단어 202,079 539 ms 210 ms
불리언 44,626 251 ms 149 ms
구문 241,277 591 ms 539 ms
와일드카드 포함 구문 32,270 183 ms 129 ms
와일드카드 267,231 347 ms 287 ms
퍼지 202,183 207 ms 157 ms
대소문자 구분 47,010 52 ms 35 ms
팩터드(필드 내) 151,413 148 ms 124 ms
단어 형태 150,522 163 ms 140 ms
동의어 202,299 211 ms 168 ms
동음이의어 206,431 208 ms 160 ms
맞춤법 교정 213,795 168 ms 174 ms
키보드 레이아웃 교정 213,720 182 ms 168 ms
별칭 78,118 203 ms 143 ms
문서 필터(PDF만) 88,732 147 ms 131 ms
청크별 검색 202,079 155 ms 137 ms
객체 쿼리 37,935 456 ms 236 ms
숫자 범위 703,582 25.2 초 8.5 초
정규식 609,547 27.9 초 26.5 초
1년 날짜 범위 138,876 92.1 초 87.2 초

여기서는 퍼지 검색, 맞춤법 교정 및 키보드 레이아웃 교정이 단순 단어 검색과 거의 동일한 속도를 보이며, 색인에 285.6 백만 개의 용어가 포함되어 있음에도 불구하고 그렇습니다.

마지막 세 행은 의도적으로 극단적인 경우입니다: 정규식은 전체 문서의 3분의 2에서 3억 1천만 건을 매치했으며, 숫자 범위는 2억 3천만 건을 4분의 3 문서에서 매치했고, 날짜 범위는 1년 전체를 포함했습니다. 26.11 이후 반복 실행은 첫 실행에서 매치된 단어를 재사용하므로, 반복 시간은 매치된 항목을 수집하는 데 사용됩니다. 사용자는 보통 이렇게 큰 결과를 필요로 하지 않으며, 범위를 좁히거나 더 구체적인 패턴, 혹은 문서 필터를 사용하면 결과와 시간 모두 작게 유지할 수 있습니다.

쿼리와 매치 건수 전체 표는 문서에 있습니다.

최적화: 야간 작업

최적화는 727개의 세그먼트를 28개로 병합하고 색인 크기를 60.2 GB에서 49.5 GB로 12시간 24분에 축소했습니다. 병합된 세그먼트의 크기는 제한되므로 큰 색인은 하나가 아니라 여러 세그먼트로 최적화됩니다. 색인 최적화 중에도 검색은 차단되지 않으므로, 예를 들어 야간에 백그라운드로 큰 색인 최적화를 실행할 수 있습니다.

프로젝트를 위한 다섯 가지 교훈

  1. 한 번 추출하고 여러 번 색인. 데이터 추출 분리는 추출된 텍스트를 파일에 저장하므로, 문서를 다시 추출하지 않고도 색인을 재구성하거나 다른 설정을 시도할 수 있습니다.
  2. 대규모 배치로 색인. Index.Add 호출은 색인이 커질수록 비용이 증가하므로, 호출 횟수를 줄이고 배치를 크게 하면 대량 컬렉션을 훨씬 빠르게 색인할 수 있습니다.
  3. 색인을 한 번만 열기. 큰 색인을 여는 데는 몇 초가 걸리므로 Index 객체를 유지하고 모든 검색을 해당 객체에서 수행하십시오 – 검색은 스레드 안전합니다.
  4. 백그라운드에서 최적화. 색인 최적화 중에도 검색은 계속 작동하므로, 조용한 시간에 최적화를 예약하십시오.
  5. 가장 무거운 쿼리는 좁게 유지. 수억 건을 매치하는 정규식 및 범위는 몇 초가 걸리지만, 필터와 더 좁은 패턴을 사용하면 결과와 시간 모두 작게 유지됩니다.

문서에 벤치마크 실행

문서, 쿼리 및 하드웨어가 결과에 영향을 미치므로 직접 측정하십시오. GroupDocs.Search for .NET 벤치마크 애플리케이션은 추출, 색인, 최적화 및 20가지 검색을 측정하고, 각 작업의 시간과 최대 메모리를 보고 CSV 파일에 기록합니다:

git clone https://github.com/groupdocs-search/full-text-search-benchmark-net.git
cd full-text-search-benchmark-net
dotnet run -c Release --project src/GroupDocs.Search.Benchmark

실행 전에 Program.cs 상단에서 라이선스, 폴더 및 문서 언어에 맞는 쿼리를 설정하십시오. 무료 임시 라이선스만 있으면 충분합니다: 라이선스가 없으면 평가 모드에서 색인 및 검색된 문서 수가 제한됩니다.

리소스