В первых числах августа во Флоренции (Италия) прошла 4-я международная конференция машинного перевода (The Fourth Conference on Machine Translation, WMT). Хотя официальные итоги WMT-2019 еще не подведены, некоторые выводы уже сделать можно – наиболее перспективные разработки систем машинного перевода демонстрируют не компании-гиганты, типа Microsoft, а небольшие компании.
Организаторы WMT-2019 предложили участникам создать системы машинного перевода для любой из 18 языковых пар:
- • английский-китайский,
- • китайский-английский,
- • английский-чешский,
- • чешский-английский,
- • английский-финский,
- • финский-английский,
- • английский-немецкий,
- • немецкий-английский,
- • английский-гуджарати,
- • гуджарати-английский,
- • английский-казахский,
- • казахско-английский,
- • английский-литовский,
- • литовский-английский,
- • английский-русский,
- • русский-английский,
- • французский-немецкий,
- • немецкий-французский.
Качество перевода систем оценивалось на тестовом наборе материалов, взятых из новостных лент на исходном языке. Всего система машинного перевода должна была перевести около 2000 предложений (кроме языка гурджарати и казахского, для них требования были снижены вдвое). Главным критерием качества стало суждение приглашенных экспертов о выполненном системой машинном переводе.
В числе участников были такие крупные компании, как Яндекс и Microsoft. Но не системы этих компаний перевели текст заданий наиболее близко к «человеческому» переводу. Например, в паре «литовский-английский» лидером стала небольшая литовская компания Tilde.
Система машинного перевода Tilde по результатам оценки набрала 72,8 балла из 100 возможных, а вот система Microsoft набрала почти на 4 балла меньше: 69,1. Кстати, перевод, сделанный профессиональным переводчиком в этой языковой паре, был оценен на 90,5 балла.
Можно сказать, что в отдельных языковых парах решения местных компаний оказываются более предпочтительными, т.к. эти компании сосредоточены на одной узкой задаче, а не распыляют свои силы на множество языков, как компании-гиганты.
И еще один важный вывод по итогам конференции. На текущий момент машинный перевод значительно уступает человеческому, и этот разрыв пока очень велик. Косвенным подтверждением этого факта стало то, что системы машинного перевода, прошлогодние лидеры в языковых парах, в этом году сдали свои позиции. Что позволяет считать их успех случайным, зависящим от конкретного тестового материала.
Комментарии 0