Бесплатный ИИ догнал коммерческий. Новая нейросеть Meta Llama 3.1 работает на уровне GPT-4o

Пользователям и разработчикам по всему миру впервые стала доступна бесплатная ИИ-модель, по результатам тестирования не уступающая лидерам вроде GPT-4o от OpenAI или Claude 3.5 Sonnet от Anthropic. Llama 3.1 405B, представленная накануне корпорацией Meta*, также является первой и пока единственной моделью с такими возможностями, распространяемой на принципах открытого исходного кода (open source). Марк Цукерберг уверен, что за таким подходом будущее — в котором ИИ-моделям Meta суждено занять то же место, которое в мире операционных систем занимает Linux (лежащий, в том числе, в основе Android и iOS). Но далеко не все согласны, что условия лицензирования Llama соответствуют принципам open source.

Иллюстрация сгенерирована нейросетью Midjourney

Самый мощный открытый ИИ

Владеющая крупнейшими мировыми соцсетями Facebook** и Instagram**, а также крупнейшим мессенджером WhatsApp корпорация Meta представила накануне новое поколение своих больших языковых моделей Llama — Llama 3.1. В семейство входят, как и раньше, модели на 8 млрд и 70 млрд параметров (взаимосвязанных значений, формируемых при обучении модели), но к ним добавилась третья, самая продвинутая по возможностям — на 405 млрд параметров.

Чем больше параметров у нейросети, тем она, при прочих равных условиях, лучше решает задачи —, но и требует при этом больше вычислительных ресурсов. В Meta подчеркивают, что запустить и использовать Llama 3.1 405B может любой желающий специалист, имеющий в своем распоряжении достаточно производительный сервер. Но мощности обычного компьютера тут не хватит. Новая модель, говорят разработчики, может обобщать длинные тексты, служить основой многоязычных чат-ботов, писать программный код и даже (такой сценарий использования прописан в лицензии), генерировать синтетические данные для обучения других ИИ-моделей.

Где работает Llama

Пока что единственным крупным пользователем моделей семейства Llama, помимо многочисленных независимых исследователей в области ИИ, является сама Meta. На основе этих нейросетей работает ИИ-ассистент Meta AI, доступный уже в десятках стран в Facebook, Instagram и WhatsApp. Он может отвечать на вопросы, как любой другой чат-бот, а также генерировать изображения. С выходом Llama 3.1 405B у него появилась еще одна возможность: заменять фон на селфи пользователя, помещая портрет в сгенерированное ИИ окружение. Кроме того, голосовую версию Meta AI собираются в ближайшее время добавить в шлемы виртуальной реальности Quest 2. Эксперты не исключают, что с появлением у Meta сравнимой с GPT-4o модели использование Llama в отрасли существенно расширится.

Результаты выполнения Llama 3.1 405B стандартных тестов, опубликованные Meta, показывают, что она первой из бесплатных и открытых моделей максимально приблизилась к коммерческим продуктам, таким как GPT-4o (OpenAI), Claude 3.5 Sonnet (Anthropic) или Gemini 1.5 Pro (Google). Многие в отрасли считают более правильным подходом к тестированию субъективную оценку тысячами пользователей ответов двух моделей на одни и те же вопросы. Такое тестирование ведет, например, ресурс Chatbot Arena, однако в списке доступных моделей Llama 3.1 405B там пока нет. Тем не менее, многие, уже попробовавшие с ней работать, говорят, что результаты действительно сопоставимы с «закрытыми» лидерами рынка.

Топовую нейросеть Meta несколько месяцев обучали на 16 тысячах ИИ-процессоров Nvidia H100. Использовались более 15 трлн токенов данных из Интернета (в том числе на открытых постах в Facebook и Instagram), предварительно обработанных, отфильтрованных и аннотированных моделью Llama 2. По оценкам экспертов, на обучение распространяемой бесплатно модели корпорация Марка Цукерберга могла потратить сотни миллионов долларов — не считая миллиардов, вложенных в ИИ-процессоры и другое оборудование дата-центров.

Испытать Llama 3.1 405B в деле могут все желающие даже без регистрации на платформе Hugging Face по этой ссылке.

Открытый, но не до конца

Подчеркивая важность момента для его корпорации, Марк Цукерберг сопроводил анонс Llama 3.1 постом, в котором в очередной раз превозносит преимущества open source в сфере искусственного интеллекта. Он сравнивает ИИ-разработки Meta с Linux — операционной системой с открытым исходным кодом, в последние десятилетия составившей серьезную конкуренцию закрытым решениям от IT-гигантов. На Linux работают не только большинство серверов в дата-центрах — крупнейшие мобильные операционки Android и iOS тоже были разработаны на его основе. «Я верю, что ИИ будет развиваться похожим образом, — пишет Марк Цукерберг. — Сегодня несколько технологических компаний разрабатывают ведущие закрытые модели. Но open source быстро сокращает отрыв».

Open source (открытое программное обеспечение) — это способ создания и распространения программ, при котором их исходный код открыт и доступен для всех. Это значит, что любой человек может использовать, изменять и распространять такие программы бесплатно. Идея в том, чтобы пользователи могли видеть, как работает программа, улучшать ее и делиться своими изменениями с другими. Это помогает быстрее и качественнее развивать программы, так как над ними работают люди со всего мира. Примеры известных open source проектов включают операционную систему Linux, браузер Firefox и офисный пакет LibreOffice. Открытое программное обеспечение часто используется не только обычными людьми, но и крупными организациями. Оно дает больше возможностей для адаптации под разные задачи, а также повышает безопасность, так как любой желающий может проверить код на ошибки и уязвимости.

Один из аргументов главы Meta в пользу ИИ с открытым кодом: так безопаснее. По его мнению, ошибки и уязвимости закрытых моделей могут легко стать добычей активно шпионящих за американским бигтехом недругов США, в то время как искать «дыры» в открытых моделях легко может любой специалист по компьютерной безопасности. «Я думаю, правительства придут к выводу, что в их интересах поддерживать открытый исходный код, так как это сделает мир более процветающим и безопасным», — сказал Марк Цукерберг в письме. У OpenAI, Microsoft и Google позиция противоположная: там считают, что ИИ — опасная технология, которую должны контролировать только ее непосредственные разработчики. А общедоступные модели с открытым исходным кодом могут быть использованы против США их геополитическими противниками.

«Открытый исходный код обеспечит доступ к преимуществам и возможностям ИИ большему числу людей по всему миру, не допустит концентрации власти в руках небольшого числа компаний и позволит более равномерно и безопасно внедрять технологию в обществе», — утверждает гендиректор Meta. В то же время, подход корпорации к разработке ИИ нельзя назвать чисто альтруистичным. Если Llama станет отраслевым стандартом, она будет не менее важна для Meta и ее доходов, чем Android важен для Google или Windows — для Microsoft.

Большинство специалистов считают, что Марк Цукерберг лукавит, и лицензия на использование моделей Llama не соответствует принципам open source. Далеко не вся информация о них открыта: например, Meta не предоставляет для изучения наборы данных, на которых тренировали ИИ, и не раскрывает конкретные методы обучения. Это не позволяет сторонним разработчикам до конца понять, как именно модель работает. Кроме того, компании с более чем 700 млн пользователей в месяц должны получать специальное разрешение на использование Llama — это делает маловероятным ее применение многими популярными платформами, тем же Telegram. Наконец, модели Meta завязаны на инфраструктуру и API корпорации, что может ограничивать свободу действий сторонних разработчиков.

*Корпорация Meta признана экстремистской и запрещена в РФ

** Продукт корпорации Meta, запрещен в РФ

Авторы:

Николай Белый

#Meta #Искусственный интеллект #Llama