Компания «Яндекс» выложила в открытый доступ YaLM 100B — нейросеть для генерации и обработки текстов на русском и английском языках.
YaLM 100В содержит 100 млрд параметров, больше, чем какая-либо из существующих моделей для русского языка, что позволяет использовать ее для решения большого круга задач, связанных с обработкой естественного языка, утверждают в компании. В частности, ее можно использовать для создания рекламы, описания товаров, генерировать любые тексты, даже стихи, классифицировать тексты, например по стилю.
Модель обучали на суперкомпьютерах «Яндекса», признанных самыми мощными в Восточной Европе. В процессе обучения YaLM 100B обработала около 2 Тбайт текстов на английском и русском языках. Модель предоставляется по открытой лицензии Apache 2.0 и выложена на GitHub.
Летом 2021 года «Яндекс» представил нейросетевой алгоритм генерации текстов YaLM. На его базе работал сервис «Балабола», в котором пользователи могли пообщаться с нейросетью. Однако затем доступ к нему был закрыт.
Самой мощной языковой моделью в мире сейчас считается GPT-3 компании OpenAI, основанная на 175 млрд параметров. Она способна генерировать текст высокого уровня сложности. Осенью 2020 года в The Guardian опубликовали заметку, написанную при помощи GPT-3.
Свою нейросеть для генерации русскоязычных текстов представлял и «Сбер»; ее бета-версия находится в открытом доступе. Она построена на 760 млн параметров.
