Техническое задание: Статистический машинный переводчик на Python

Цель проекта

Разработать с нуля рабочую модель статистического машинного переводчика (SMT), способную переводить тексты с английского языка на русский на основе анализа параллельных текстовых корпусов.

Основные задачи

• Реализовать на Python логику загрузки и предобработки двух параллельных корпусов текстов (английский как исходный язык, русский как целевой).
• Разработать и внедрить алгоритмы статистического обучения модели на предоставленных данных.
• Создать функционал для перевода новых английских предложений на русский язык с использованием обученной модели.
• Обеспечить модульную структуру кода, позволяющую при необходимости дорабатывать отдельные компоненты системы.

Требования к реализации

• Язык программирования: Python (предпочтительно чистый Python с использованием базовых библиотек для обработки данных, например, NumPy).
• Система должна быть самодостаточной и не полагаться на сторонние фреймворки для машинного перевода.
• Код должен быть хорошо структурирован, содержать комментарии и быть готовым к запуску и тестированию.
• В результате работы должен быть предоставлен рабочий прототип, демонстрирующий процесс обучения и выполнения перевода.

Ожидаемый результат

Исполнитель предоставит полностью функционирующий скрипт/набор скриптов на Python, который по запросу обучается на парах предложений и выполняет статистический машинный перевод.