GroupDocs.Search for .NET 26.11 hiện đã có sẵn. Bản phát hành này làm cho các tìm kiếm lặp lại và đồng thời nhanh hơn nhiều, giảm bộ nhớ được cấp phát cho việc lập chỉ mục lên tới 4,5 lần và bảo mật mạng tìm kiếm bằng xác thực nút. Việc lập chỉ mục trong một mạng tìm kiếm nhanh hơn 5 đến 20 lần, và gói NuGet GroupDocs.Search hiện bao gồm các bản dựng cho .NET Framework 4.8, .NET 6.0, .NET 8.0 và .NET 10.0.

Các chỉ mục được tạo bằng phiên bản 26.10 mở không cần chuyển đổi. Bản phát hành chứa 18 thay đổi: 5 tính năng mới, 12 cải tiến và 1 bản sửa lỗi.

Điểm nổi bật về hiệu năng

Các ghi chú phát hành đầy đủ mô tả cấu hình thử nghiệm của mỗi hình.

Mục Lợi ích trong 26.11
Tìm kiếm biểu thức chính quy lặp lại Nhanh hơn tới 300 lần
Tìm kiếm mờ lặp lại Nhanh hơn 4 đến 30 lần
Tìm kiếm đồng thời trên một chỉ mục Thời gian trung vị của 8 tìm kiếm đồng thời từ 5,6 ms xuống 0,18 ms; tăng 4 đến 18% số lần tìm kiếm mỗi giây
Tìm kiếm mờ với một lỗi Nhanh hơn 1,8 lần, nhanh hơn 4,5 lần khi dùng 8 luồng tìm kiếm
Tìm kiếm theo khoảng ngày Nhanh hơn tới 10 lần, lên tới 59 lần khi chia thành các khối; các khoảng dài trả về kết quả đầy đủ
Bộ nhớ được cấp phát cho việc lập chỉ mục Giảm tới 4,5 lần
Lập chỉ mục với văn bản tài liệu được lưu Nhanh hơn tới 2,2 lần
Truy xuất văn bản tài liệu đã lưu Nhanh hơn 3,5 lần, giảm bộ nhớ 11 lần
Hợp nhất các chỉ mục Nhanh hơn 3,5 lần, giảm gần 50 lần bộ nhớ
Lập chỉ mục trong một mạng tìm kiếm Nhanh hơn 5 đến 20 lần, số đoạn chỉ mục trong các shard giảm đáng kể
Đăng ký 20.000 tài liệu trên nút chính Từ 27,1 s xuống 0,12 s, 0,8 MB được ghi vào đĩa thay vì 7,6 GB
Không gian đĩa của một chỉ mục Có thể giảm với chi phí là tốc độ tải chậm hơn

Những gì mới trong bản phát hành này

Khóa Tóm tắt Thể loại
SEARCHNET-3729 Triển khai tùy chọn giảm không gian đĩa chiếm bởi một chỉ mục với chi phí là tốc độ tải chậm hơn Tính năng
SEARCHNET-3730 Triển khai xác thực các nút trong mạng tìm kiếm Tính năng
SEARCHNET-3731 Triển khai hỗ trợ OCR cho việc trích xuất tài liệu trong một tiến trình riêng Tính năng
SEARCHNET-3732 Triển khai tìm kiếm theo khối trong một kho chỉ mục Tính năng
SEARCHNET-3733 Triển khai tô sáng các từ được tạo ra bởi bộ tách từ tùy chỉnh Tính năng
SEARCHNET-3734 Tối ưu hoá tìm kiếm theo khối Cải tiến
SEARCHNET-3735 Triển khai một pool luồng chia sẻ cho các tìm kiếm đồng thời trên một chỉ mục Cải tiến
SEARCHNET-3736 Triển khai việc tái sử dụng các từ đã khớp trong các tìm kiếm lặp lại Cải tiến
SEARCHNET-3737 Triển khai giao diện IDisposable trong lớp Cancellation Cải tiến
SEARCHNET-3738 Mở rộng bảng chữ cái mặc định với các script bổ sung Cải tiến
SEARCHNET-3739 Tăng tốc tìm kiếm theo khoảng ngày và đảm bảo kết quả đầy đủ cho các khoảng ngày dài Cải tiến
SEARCHNET-3740 Giảm tiêu thụ bộ nhớ của việc lập chỉ mục và các thao tác với văn bản tài liệu đã lưu Cải tiến
SEARCHNET-3741 Tăng tốc lập chỉ mục trong một mạng tìm kiếm với số lượng tài liệu lớn Cải tiến
SEARCHNET-3742 Triển khai lập chỉ mục hàng loạt và xử lý song song các yêu cầu shard trong một mạng tìm kiếm Cải tiến
SEARCHNET-3743 Triển khai mẫu dispose trong các lớp Index, IndexRepository, Cancellation, ExtractionHost và SearchNetworkNode Cải tiến
SEARCHNET-3693 Triển khai chiến lược đóng gói TFM-Split cho gói NuGet GroupDocs.Search Cải tiến
SEARCHNET-3747 Triển khai các gói NuGet cho .NET Framework 4.8, .NET 6.0, .NET 8.0, .NET 10.0 Cải tiến
SEARCHNET-3746 Sửa lỗi chờ vô hạn của mạng tìm kiếm cho các nút bị mất hoặc không phản hồi Sửa lỗi

Các tính năng chính

Tìm kiếm

  • Các tìm kiếm lặp lại bằng ký tự đại diện, biểu thức chính quy, khoảng số và tìm kiếm mờ tái sử dụng các từ đã tìm được bởi các tìm kiếm trước với cùng truy vấn cho đến khi chỉ mục thay đổi. Các từ được giữ lại chiếm tới 8 MB bộ nhớ cho mỗi chỉ mục.
  • Các tìm kiếm đồng thời trên một chỉ mục chia sẻ các luồng tìm kiếm của nó (IndexSettings.SearchThreads), vì vậy các tìm kiếm ngắn không còn phải chờ các tìm kiếm dài.
  • Tìm kiếm theo khoảng ngày đọc mỗi ngày, tháng và năm từ chỉ mục một lần thay vì tìm kiếm từng ngày trong khoảng riêng biệt. Các khoảng dài không còn bị cắt tại giới hạn số lần xuất hiện, và một khoảng tất cả các ngày có thể, trước đây thất bại, giờ được tìm kiếm trong vài giây.
  • Tìm kiếm theo khối mang lại tất cả các lợi ích này, và một kho chỉ mục hiện có thể được tìm kiếm theo khối: IndexRepository.SearchNext tiếp tục tìm kiếm chỉ mục theo chỉ mục.
  • Tô sáng và Index.GetDocumentText có thể chia văn bản bằng bộ tách từ tùy chỉnh được dùng để lập chỉ mục, vì vậy các từ mà bộ tách tạo ra, ví dụ các từ trong văn bản không có dấu cách, cũng được tô sáng.
  • Bảng chữ cái mặc định của các chỉ mục mới bao gồm tiếng Hebrew, Devanagari, Georgian, Latin mở rộng, tiếng Hy Lạp và Hangul cùng các dấu phụ kết hợp. Các từ như “Việt” không còn bị tách thành các phần, và các từ tiếng Hàn và Hebrew được lập chỉ mục và tìm thấy nguyên vẹn.

Lập chỉ mục và lưu trữ chỉ mục

  • Cài đặt mới IndexSettings.UseFastLoading cho phép một chỉ mục trên đĩa bỏ qua dữ liệu bổ sung làm cho việc tải nhanh hơn nhiều lần: chỉ mục chiếm ít không gian đĩa hơn nhưng thời gian tải lâu hơn. Cài đặt này có thể thay đổi bất kỳ lúc nào, ngay cả với một chỉ mục đã chứa tài liệu.
  • Việc lập chỉ mục cấp phát ít bộ nhớ hơn tới 4,5 lần cho mỗi tài liệu và, với văn bản tài liệu được lưu, chạy nhanh hơn tới 2,2 lần. Truy xuất văn bản đã lưu nhanh hơn 3,5 lần với ít bộ nhớ hơn 11 lần, và hợp nhất các chỉ mục nhanh hơn 3,5 lần với gần 50 lần ít bộ nhớ hơn.
  • Văn bản của hình ảnh trong tài liệu được trích xuất trong một tiến trình riêng giờ có thể được nhận dạng: ExtractionHost.OcrConnector thiết lập bộ kết nối OCR cho tiến trình trích xuất. Nếu nhận dạng được bật nhưng tiến trình trích xuất không có bộ kết nối OCR, chỉ mục sẽ báo cáo thông qua sự kiện ErrorOccurred.

Mạng tìm kiếm

  • Các nút xác thực lẫn nhau bằng một khóa bí mật chung (TcpSettings.NetworkKey), và mọi tin nhắn đều được ký: một máy tính không có khóa không thể gửi lệnh tới một nút cũng không thể trả lời thay cho nó. Khóa này không bao giờ được gửi qua mạng. Một nút phụ cũng có thể hạn chế các địa chỉ mà nó chấp nhận nút chính (TcpSettings.AllowedMasterAddresses).
  • Việc lập chỉ mục nhanh hơn 5 đến 20 lần và tạo ra ít đoạn chỉ mục hơn nhiều: các tài liệu đến trong khi một shard đang bận được lập chỉ mục theo lô lên tới 1.000 tài liệu hoặc 16 MB, và các shard của một nút xử lý các yêu cầu của chúng song song.
  • Đăng ký các tài liệu đã lập chỉ mục trên nút chính không còn chậm lại khi số lượng chúng tăng, và danh sách các tài liệu của một shard được giữ an toàn khi ghi thất bại hoặc tiến trình bị sập.
  • Nút chính phát hiện các nút bị mất và không phản hồi: một nút phụ báo cáo mỗi 5 giây, và các cuộc gọi không còn chờ vô hạn cho một nút đã biến mất. TcpSettings.ResponseTimeout cũng có thể giới hạn thời gian mà nút chính chờ phản hồi.

API và đóng gói

  • Index, IndexRepository, Cancellation, ExtractionHost và SearchNetworkNode thực hiện mẫu dispose chuẩn của .NET, vì vậy các lớp kế thừa có thể giải phóng tài nguyên của riêng mình. Khi giải phóng một Cancellation, bộ hẹn giờ của việc hủy được lên lịch bằng CancelAfter sẽ được giải phóng.
  • Gói NuGet GroupDocs.Search hiện bao gồm các bản dựng cho .NET Framework 4.8, .NET 6.0, .NET 8.0 và .NET 10.0, bên cạnh .NET Framework 4.6.2 và .NET Standard 2.1, và tự động chọn bản dựng cho framework mục tiêu của dự án.

Các thay đổi API công cộng

Các thành viên sau đã được thêm vào:

  • GroupDocs.Search.IndexSettings:
    • Boolean UseFastLoading – giữ dữ liệu bổ sung làm cho một chỉ mục trên đĩa tải nhanh hơn nhiều lần. Được bật mặc định; đặt thành false để tiết kiệm không gian đĩa.
  • GroupDocs.Search.Scaling.Configuring.TcpSettings:
    • String NetworkKey – khóa bí mật của mạng tìm kiếm, dài ít nhất 16 ký tự và giống nhau trên tất cả các nút.
    • String[] AllowedMasterAddresses – địa chỉ IPv4 hoặc tên máy chủ mà một nút phụ chấp nhận kết nối từ nút chính.
    • Int32 ResponseTimeout – thời gian tính bằng mili giây mà nút chính chờ phản hồi từ một nút cho một yêu cầu. Mặc định không có giới hạn.
  • GroupDocs.Search.ExtractionHost:
    • IOcrConnector OcrConnector – bộ kết nối OCR của tiến trình trích xuất riêng.
  • GroupDocs.Search.IndexRepository:
    • SearchResult SearchNext(ChunkSearchToken) và SearchResult SearchNext(ChunkSearchToken, Cancellation) – tiếp tục một tìm kiếm theo khối trong một kho chỉ mục.
  • GroupDocs.Search.Options.TextOptions:
    • IWordSplitter WordSplitter – bộ tách từ được dùng cho việc tô sáng và Index.GetDocumentText; được kế thừa bởi HighlightOptions.
  • GroupDocs.Search.Common.Cancellation now implements IDisposable:
    • void Dispose() – giải phóng bộ hẹn giờ của một việc hủy đã lên lịch; việc hủy đã lên lịch không được yêu cầu.
  • Index, IndexRepository, Cancellation, ExtractionHost and SearchNetworkNode:
    • protected virtual void Dispose(Boolean disposing) – phương thức mẫu dispose cho các lớp kế thừa.

Các thay đổi hành vi có thể yêu cầu bạn thay đổi mã được liệt kê trong các ghi chú nâng cấp bên dưới.

Ví dụ mã

Tìm kiếm một kho chỉ mục theo khối

Ví dụ sau tìm kiếm hai chỉ mục trong một kho theo từng khối, một chỉ mục sau một.

string indexFolder1 = @"c:\MyIndex1\"; // Specify the path to the first index folder
string indexFolder2 = @"c:\MyIndex2\"; // Specify the path to the second index folder
string documentsFolder1 = @"c:\MyDocuments1\"; // Specify the path to a folder containing documents to index
string documentsFolder2 = @"c:\MyDocuments2\"; // Specify the path to another folder containing documents to index

using (IndexRepository repository = new IndexRepository()) // Creating an index repository
{
    Index index1 = repository.Create(indexFolder1); // Creating the first index in the repository
    index1.Add(documentsFolder1); // Indexing documents from the first folder
    Index index2 = repository.Create(indexFolder2); // Creating the second index in the repository
    index2.Add(documentsFolder2); // Indexing documents from the second folder

    SearchOptions options = new SearchOptions();
    options.IsChunkSearch = true; // Enabling search by chunks

    SearchResult result = repository.Search("Einstein", options); // Getting the first chunk of the first index
    Console.WriteLine("Documents: " + result.DocumentCount);
    while (result.NextChunkSearchToken != null)
    {
        result = repository.SearchNext(result.NextChunkSearchToken); // Getting the next chunk, index by index
        Console.WriteLine("Documents: " + result.DocumentCount);
    }
}

Bảo vệ mạng tìm kiếm bằng khóa chung

Mỗi nút của một mạng tìm kiếm nhận cùng một khóa bí mật. Một nút phụ chỉ chấp nhận nút chính từ địa chỉ của nó, và nút chính giới hạn thời gian chờ phản hồi từ các nút.

string basePath = @"c:\SearchNetwork\"; // Specify the path to the folder of the search network
string networkKey = Environment.GetEnvironmentVariable("SEARCH_NETWORK_KEY"); // The same key of at least 16 characters on every node

// On the server of slave node 1: the connection of the master node is accepted from 10.0.0.5 only
TcpSettings slaveSettings = new TcpSettings(49101, 10000, 10000, 10000, 1000);
slaveSettings.NetworkKey = networkKey;
slaveSettings.AllowedMasterAddresses = new string[] { "10.0.0.5" };
SearchNetworkNode node1 = SearchNetworkNode.CreateSlaveNode(1, basePath + "Node1", slaveSettings);
node1.Start();

// On the server of the master node (10.0.0.5): the responses of the nodes are awaited no longer than 10 minutes
Configuration configuration = Configuration.Load(basePath + "Configuration.xml"); // Loading the search network configuration
TcpSettings masterSettings = new TcpSettings(49100, 10000, 10000, 10000, 1000);
masterSettings.NetworkKey = networkKey;
masterSettings.ResponseTimeout = 600000;
SearchNetworkNode node0 = SearchNetworkNode.CreateMasterNode(
    0, basePath + "Node0", masterSettings, new FileLogger(basePath + "Log.txt", 4.0), configuration);
node0.ConfigureAllNodes();
node0.Start();

Giảm không gian đĩa của một chỉ mục

Ví dụ sau tạo một chỉ mục chiếm ít không gian đĩa hơn, và sau đó làm cho nó tải nhanh lại.

string indexFolder = @"c:\MyIndex\"; // Specify the path to the index folder
string documentsFolder = @"c:\MyDocuments\"; // Specify the path to a folder containing documents to index

IndexSettings settings = new IndexSettings();
settings.UseFastLoading = false; // The index takes less disk space but loads longer
using (Index index = new Index(indexFolder, settings, true)) // Creating an index with the settings
{
    index.Add(documentsFolder); // Indexing documents from the specified folder
}

using (Index index = new Index(indexFolder)) // Opening the existing index
{
    index.IndexSettings.UseFastLoading = true; // The data is created the next time the index is loaded
}

Ghi chú nâng cấp

Hãy lưu ý các thay đổi sau khi nâng cấp từ phiên bản trước:

  • Các chỉ mục được thay đổi bởi phiên bản 26.11 không thể mở được bởi các phiên bản cũ hơn. Phiên bản 26.11 mở các chỉ mục của phiên bản 26.10 mà không cần chuyển đổi, nhưng một khi nó tạo hoặc thay đổi một chỉ mục (bằng việc lập chỉ mục, xóa tài liệu, tối ưu hoá hoặc thay đổi cài đặt), các phiên bản cũ hơn không thể mở nó nữa. Nâng cấp tất cả các ứng dụng chia sẻ cùng một thư mục chỉ mục cùng lúc, bao gồm cả các nút của mạng tìm kiếm.
  • Các dự án .NET Framework sử dụng gói GroupDocs.Search. Thay thế GroupDocs.Search.NETFramework bằng GroupDocs.Search, hiện bao gồm các bản dựng .NET Framework 4.6.2 và 4.8 và tự động chọn bản dựng phù hợp. Không có phiên bản 26.11 của GroupDocs.Search.NETFramework.
  • Tất cả các nút của một mạng tìm kiếm được nâng cấp cùng nhau. Các nút của phiên bản 26.10 và 26.11 không kết nối được. Để bảo vệ mạng, đặt cùng một TcpSettings.NetworkKey trên mọi nút: các nút có khóa khác nhau, hoặc một nút có khóa và một nút không có khóa, sẽ không kết nối, và cả hai đều ghi lý do vào log của chúng. Một nút không có khóa hoạt động như trước và ghi cảnh báo vào log.
  • Các tin nhắn của một mạng tìm kiếm được ký nhưng không được mã hoá. Giữ các nút trong một mạng tin cậy hoặc kết nối chúng qua một đường hầm được mã hoá.
  • Các nút bị mất được phát hiện. Một nút không gửi gì trong 15 giây, ví dụ một tiến trình bị tạm dừng trong debugger, sẽ được coi là mất: các cuộc gọi chờ nó sẽ ném SearchException, và các tài liệu của nó sẽ được gửi tới các nút khác hoặc báo cáo qua sự kiện ErrorOccurred. Mặc định nút chính chờ phản hồi không giới hạn; đặt TcpSettings.ResponseTimeout để giới hạn thời gian chờ.
  • IndexSettings.SearchThreads được chia sẻ bởi tất cả các tìm kiếm trên một chỉ mục. Một tìm kiếm sử dụng số luồng như trước, nhưng K tìm kiếm đồng thời hiện chạy trên max(K, SearchThreads) luồng thay vì K × SearchThreads.
  • Chỉ các chỉ mục mới nhận được bảng chữ cái mở rộng. Các chỉ mục của các phiên bản trước, bao gồm những chỉ mục được cập nhật bằng IndexUpdater, vẫn tách các từ của các script này như trước, và Index.Merge từ chối hợp nhất một chỉ mục mới với một chỉ mục cũ hơn. Để hợp nhất chúng, xuất Alphabet và TokenizationDictionary của chỉ mục cũ bằng ExportDictionary và nhập chúng vào chỉ mục mới bằng Clear và ImportDictionary trước khi thêm tài liệu.
  • Giới hạn số lần xuất hiện tính các phần của ngày một lần. SearchOptions.MaxTotalOccurrenceCount và MaxOccurrenceCountPerTerm đếm mỗi lần xuất hiện của ngày, tháng hoặc năm một lần cho mỗi tìm kiếm, hoặc một lần cho mỗi khối, thay vì một lần cho mỗi ngày trong khoảng. Một khoảng ngày đã đạt giới hạn trước đây giờ có thể tìm thấy tất cả các ngày của nó.
  • Tìm kiếm theo khối trong một kho chỉ mục diễn ra chỉ mục theo chỉ mục. IndexRepository.Search với IsChunkSearch trả về khối đầu tiên của chỉ mục đầu tiên. Tiếp tục với IndexRepository.SearchNext trong khi SearchResult.NextChunkSearchToken không null, hoặc tìm kiếm không chia khối để nhận tất cả tài liệu trong một kết quả.
  • OCR trong một tiến trình trích xuất riêng sử dụng ExtractionHost.OcrConnector. Đặt bộ kết nối trong chương trình của tiến trình trích xuất và biên dịch chương trình đó với cùng phiên bản GroupDocs.Search như ứng dụng. Bộ kết nối OCR của các tùy chọn lập chỉ mục không được sử dụng ở đó.
  • Tiến độ lập chỉ mục mạng được báo cáo theo mỗi phản hồi của shard. NodeEventHub.IndexingProgressChanged xảy ra một lần cho mỗi phản hồi của một shard, có thể báo cáo nhiều tài liệu, vì vậy ProcessedDocuments có thể tăng hơn một.

Cách nhận bản cập nhật

NuGet

  • NuGet – Cài đặt gói mới nhất. Nó hoạt động trong các dự án .NET và .NET Framework và tự động chọn bản dựng cho framework mục tiêu: .NET Framework 4.6.2 hoặc 4.8, .NET Standard 2.1, .NET 6.0, .NET 8.0 hoặc .NET 10.0.
# Package Manager
NuGet\Install-Package GroupDocs.Search -Version 26.11.0

# .NET CLI
dotnet add package GroupDocs.Search --version 26.11.0

Tải trực tiếp

Tài nguyên