Новый алгоритм PYTHIA, разработанный исследователями из DeepMind и Оксфордского университета восстанавливает все возможные варианты утерянных фрагментов древнегреческих текстов.
Алгоритм, названный в честь древнегреческой жрицы-прорицательницы пифии, включает в себя энкодер и декодер с долгой краткосрочной памятью. Он анализирует предоставленные фрагменты текста и дополняет их с учетом контекста, используя корпус PHI-ML (созданный на основе корпуса древнегреческой письменности PHI и включающий в себя 3,2 миллиона слов). Для конечного предсказания PYTHIA ориентируется на дополнительный словарь 100 тысяч самых частотных слов в корпусе. На входе алгоритм получает текст, в котором пропущенные фрагменты заменены на знаки тире, а те, которые нужно предсказать – на вопросительные знаки.
При проверке работы PYTHIA частота ошибок составила 30,1%, а это гораздо меньше, чем у других алгоритмов и у специалистов в области древнегреческой эпиграфики. Частота ошибок у последних – 57, 3%. Вероятность правильного ответа в 20 первых предсказаниях нового алгоритма составила 73,5%. То, насколько верно PYTHIA восстанавливает утерянные фрагменты, во многом зависит от величины контекста: по словам ученых, для лучшей работы необходимо учитывать как минимум 500 символов, стоящих рядом.
Алгоритм призван упростить расшифровку утерянных фрагментов древних текстов (при наличии достаточно большого корпуса) и сделать ее эффективнее. Он применим ко всем дисциплинам, имеющим дело с древними текстами (филология, папирология, кодикология), и к любому языку – как древнему, так и современному.
Комментарии 0