MystemHandler 1.0.2

MystemHandler

Библиотека-обертка для морфологического анализатора Yandex Mystem с поддержкой многопоточности и асинхронной обработки текста.

Поддерижвает .NET версий от 6 до 9 включительно.

Описание

MystemHandler позволяет легко встроить функциональность морфологического анализа и лемматизации в ваши .NET приложения. Библиотека:

• Извлекает базовые формы слов (леммы) из текста
• Поддерживает многопоточный режим обработки
• Предоставляет асинхронное API
• Позволяет управлять процессом обработки (очистка текста, сортировка, фильтрация служебных слов)
• Обеспечивает безопасную работу с ресурсами и корректную обработку исключений

Установка

dotnet add package MystemHandler

или через NuGet Package Manager:

Install-Package MystemHandler

Предварительные требования

1. Вам необходимо скачать исполняемый файл Yandex Mystem для вашей операционной системы.
2. Убедитесь, что файл имеет права на выполнение.

Использование

Простой пример

using MystemHandler;

// Путь к исполняемому файлу mystem
string mystemPath = @"C:\Path\To\mystem.exe";

// Создание обработчика с одним потоком
using var handler = new MystemMultiThread(1, mystemPath);

// Лемматизация предложения
string sentence = "Красивые яблоки падают с деревьев";
string? result = await handler.StemSentenceAsync(sentence, cleanSource: true);

Console.WriteLine(result); // красивый яблоко падать с дерево

Многопоточная обработка

// Создание обработчика с 4 потоками
using var handler = new MystemMultiThread(4, mystemPath);

// Обработка множества предложений параллельно
var tasks = new List<Task<string?>>();
foreach (var sentence in sentences)
{
    tasks.Add(handler.StemSentenceAsync(sentence));
}

await Task.WhenAll(tasks);

Дополнительные параметры

// Лемматизация с очисткой текста, сортировкой и удалением служебных слов
string? result = await handler.StemSentenceAsync(
    sentence,
    cleanSource: true,   // Очистить текст от лишних символов
    sort: true,          // Сортировать леммы по алфавиту
    removeSlug: true     // Удалить предлоги, союзы и другие служебные слова
);

Обработка с отменой

using var cts = new CancellationTokenSource();
cts.CancelAfter(TimeSpan.FromSeconds(5)); // Установка тайм-аута 5 секунд

try
{
    string? result = await handler.StemSentenceAsync(
        longText,
        cancellationToken: cts.Token
    );
}
catch (OperationCanceledException)
{
    Console.WriteLine("Операция была отменена из-за тайм-аута");
}

Основные типы

• MystemMultiThread - многопоточный обработчик, предоставляющий API для обработки текста
• MystemLemma - содержит результаты лемматизации для отдельного слова
• MystemException - исключения, возникающие в процессе работы библиотеки

Обработка ошибок

try
{
    string? result = await handler.StemSentenceAsync(sentence);
    // Работа с результатом
}
catch (MystemException ex)
{
    Console.WriteLine($"Ошибка при обработке текста: {ex.Message}");
}
catch (TimeoutException ex)
{
    Console.WriteLine($"Превышено время ожидания: {ex.Message}");
}

Лицензия

Библиотека MystemHandler распространяется под лицензией MIT.

Примечание: Сам Yandex Mystem имеет собственную лицензию, пожалуйста, ознакомьтесь с ней перед использованием.