Microsoft разработала новый суперкомпьютер на базе облака Azure в сотрудничестве и эксклюзивно для OpenAI, некоммерческой исследовательской организации, основателями которой являются Илон Маск и Сэм Альтман. Он стал одним из 5 самых мощных суперкомпьютеров в мире . Суперкомпьютер создан специально для тренировки следующего поколения массивных ИИ-моделей, способных выполнять более широкий спектр функций и, соответственно, требующих больших вычислительных ресурсов. Об этом компания сообщила в рамках своей крупнейшей технологической конференции Microsoft Build 2020. Новость стала следующим этапом анонсированного в прошлом году сотрудничества с OpenAI.
Исторически эксперты по машинному обучению разрабатывали небольшие ИИ-модели, которые использовали наборы размеченных данных, чтобы научиться выполнять какую-то одну отдельную задачу – распознать объект, перевести текст и т.д. Сообщество специалистов по искусственному интеллекту доказало, что некоторые из этих задач лучше выполняются одной большой моделью, обученной, к примеру, на миллиардах страниц публично доступных текстов. В результате такая модель настолько тонко понимает нюансы речи, грамматику, концепции и контекст, что способна отлично выполнять несколько задач: подводить итоги длинных выступлений, модерировать чат в онлайн-играх и даже генерировать программный код по результатам поиска на GitHub. Microsoft, к примеру, разработала собственное семейство подобных моделей – Microsoft Turing models, – и самую крупную из существующих на данный момент языковую модель с 17 миллиардами параметров Turing Natural Language Generation (T-NLG).
Создание и тренировка таких массивных моделей требует наличия прогрессивной супервычислительной инфраструктуры или кластеров современного оборудования, соединенных с помощью сетей высокой пропускной способности. Суперкомпьютер, разработанный для OpenAI – это единая система с более чем 285 000 процессорных ядер (CPU core), 10 000 графических процессоров (GPU) и скоростью сетевого подключения 400 гигабит в секунду для каждого GPU-сервера. Благодаря размещению в облаке Azure суперкомпьютер обладает преимуществами современной облачной инфраструктуры, включая быстрое развертывание, надежность датацентров и доступ к сервисам Azure.
Разработка нового суперкомпьютера для OpenAI – первый шаг на пути к тому, чтобы сделать следующее поколение массивных ИИ-моделей и инфраструктуру, необходимую для их обучения, доступными широкому кругу организаций и разработчиков во всем мире.