Семинар «Анализ эффективности трансформеров для решения некоторых задач NLP»

Семинар «Анализ эффективности трансформеров для решения некоторых задач NLP»

Мероприятие прошло
20 апреля
Место проведения
ул. Орджоникидзе, 3, ауд. 218
Контактное лицо
Салпагаров Солтан Исмаилович
О мероприятии

20 апреля в 10:00 по московскому времени

Институт прикладной математики и телекоммуникаций  проводит семинар «Анализ эффективности трансформеров для решения некоторых задач NLP».

Докладчик:

Мария Прошина – аспирантка кафедры Информационных технологий РУДН.

Архитектура Трансформер (включает механизм внимания) представляет собой одну из самых передовых архитектур нейронных сетей для решения задач обработки естественного языка. Она позволяет работать моделям (транформерам) со всем текстом одновременно (параллельно), исключая необходимость учёта последовательности (порядка) слов в нём. Архитектура данной сети была опубликована в 2017 году, а уже в 2018 появились 2 большие предобученные модели – GPT и BERT, а в дальнейшем - различные модификации этих подходов. GPT-подобные модели часто называют авторегрессионными трансформерами, в то время как BERT-подобные модели - автокодирующими трансформерами. В данной работе рассмотрены (проведён сравнительный анализ) актуальные подходы к решению некоторых задач обработки естественного языка, а также продемонстрирована целесообразность использования данных методов и возможности оптимизации.

Подключение

Похожие мероприятияВсе мероприятия
2023
20 апреля
Научный семинар «Будущее научных работ: ChatGPT против антиплагиата»
На семинаре обсудят допустимость применения ChatGPT и подобных технологий при написании научных работ.
2023
20 - 21 апреля
VII Всероссийская с международным участием студенческая научно–практическая конференция «Педагогическое образование: оптимизация, модернизация и прогноз развития»
Конференция объединит ведущих ученых с целью обмена мнениями по психолого-педагогическим проблемам сопровождения образовательного процесса в системе непрерывного образования.
2023
20 апреля
Международная студенческая конференция «Languages for Peace and Partnership»
Рассматриваются вопросы языка и права, перевода как языкового посредничества в социально значимых контекстах.
2023
20 апреля
Межвузовская научно-практическая конференция «Образовательные аспекты междисциплинарной подготовки врача: Проблемы. Пути решения»
Участники обменяются клиническим и педагогическим опытом для эффективного комплексного подхода в лечении и диагностике пациентов с общесоматическими заболеваниями.