Семинар «Анализ эффективности трансформеров для решения некоторых задач NLP»
20 апреля в 10:00 по московскому времени
Институт прикладной математики и телекоммуникаций проводит семинар «Анализ эффективности трансформеров для решения некоторых задач NLP».
Докладчик:
Мария Прошина – аспирантка кафедры Информационных технологий РУДН.
Архитектура Трансформер (включает механизм внимания) представляет собой одну из самых передовых архитектур нейронных сетей для решения задач обработки естественного языка. Она позволяет работать моделям (транформерам) со всем текстом одновременно (параллельно), исключая необходимость учёта последовательности (порядка) слов в нём. Архитектура данной сети была опубликована в 2017 году, а уже в 2018 появились 2 большие предобученные модели – GPT и BERT, а в дальнейшем - различные модификации этих подходов. GPT-подобные модели часто называют авторегрессионными трансформерами, в то время как BERT-подобные модели - автокодирующими трансформерами. В данной работе рассмотрены (проведён сравнительный анализ) актуальные подходы к решению некоторых задач обработки естественного языка, а также продемонстрирована целесообразность использования данных методов и возможности оптимизации.