Microsoft и NVIDIA создали модель естественного языка

196

АРИ в: Яндекс Гугл

Microsoft и NVIDIA объединили усилия для создания модели генерации естественного языка Megatron-Turing Natural Language Generation (MT-NLG), которая содержит 530 миллиардов параметров. Это самая мощная монолитная трансформаторная языковая модель, обученная на сегодняшний день, сообщается в блоге Microsoft.

Система MT-NLG способна решать задачи с непревзойденной точностью в широком спектре естественного языка, таких как понимание прочитанного текста, генерация логических выводов, создание заключений на естественном языке, различение смысла слов с несколькими значениями. Это самая мощная модель естественного языка.

ИИ в цифровом мире

Иллюстрация pixabay

MLT-NLG был обучен на Microsoft Azure NDv4 и суперкомпьютере машинного обучения Selene от Nvidia , который состоит из 560 серверов DGX A100, каждый с восемью графическими процессорами A100 по 80 ГБ, на массивном наборе данных, известном как The Pile. Модель состоит из нескольких небольших наборов данных общим объемом 825 ГБ текста, полученных из интернета. Эти источники варьируются от статей в Википедии и репозиториев академических журналов до новостных статей.

MT-NLG умеет заполнять формы, отвечать на вопросы, читать и рассуждать. Обучение столь мощной модели стало возможным благодаря многочисленным инновациям. Например, NVIDIA и Microsoft объединили современную инфраструктуру обучения на основе GPU с передовым программным стеком распределенного обучения.

Для этого, были созданы базы данных естественного языка, включающие сотни миллиардов единиц контента, а также разработаны методы обучения для повышения эффективности и стабильности оптимизации.

«Качество и результаты, которые мы получили сегодня, — большой шаг вперед на пути к созданию ИИ на естественном языке. Инновации DeepSpeed ​​и Megatron-LM принесут пользу при разработке существующих и будущих моделей ИИ и позволят создать сложные модели ИИ, с быстрым обучением», — говорится в заявлении.

4/5 - (4 голоса)
Предыдущая статьяПандемия принесла американским богачам $2,1 трлн
Следующая статьяДональд Трамп запустит социальную сеть Truth Social