Отвага против опыта: сталкиваем лбами Bard с новой Gemini и Chat с GPT 3.5

В начале декабря Google объявила, что ее чат-бот Bard теперь работает на новом движке, большой языковой модели Gemini Pro. Это средняя из трех моделей, анонсированных поисковиком. Младшая, Gemini Nano, предназначена для автономной работы на смартфонах (исходно — на Google Pixel 8 Pro), старшая — Gemini Ultra — будет платной и станет доступна только в 2024 году. Именно старшую версию имеют в виду в Google, когда заявляют, что их новая разработка в большинстве стандартных тестов превосходит GPT-4 от OpenAI. Корреспондент ADPASS проверил, как обновленный Bard справляется с проведением рекламной кампании с ограниченным бюджетом, разбирается в математике и зоологии, пишет хокку в сравнении с главным конкурентом ChatGPT.

Как использовать Google Bard с Gemini в России

В отличие от подключения ChatGPT, для которого необходимо использовать зарубежный телефонный номер, к Bard получить доступ гораздо проще: достаточно сменить здесь язык своей учетной записи Google на американский английский, после чего установить VPN-расширение для браузера с американскими серверами (например, Browsec) и выбрать в настройках США в качестве страны подключения. После этого можно идти на bard.google.com и заводить разговор.

Bard vs ChatGPT: проводим рекламную кампанию за 100 тыс. рублей

Начнем со сложного. Разработчики утверждают, что их чат-боты хороши в планировании самых разных бизнес-задач — так почему бы не попросить их спланировать рекламную кампанию? В вопросе мы указали продукт (подгузники), положение бренда на рынке (третья строчка) и его позиционирование (образованные потребители с доходом выше среднего), а также уточнили, что кампания привязана к ребрендингу.

На первый взгляд ответы обоих ботов выглядят солидно. ChatGPT составил список из 12 пунктов с двумя-тремя подпунктами в каждом. Характерная особенность: нейросеть OpenAI, похоже, понимает, что не является специалистом-рекламщиком, поэтому избегает конкретных советов, зато все формально необходимые шаги и действия перечисляет весьма добросовестно. Чат-бот поможет вам не забыть провести перед запуском кампании обновление и детализацию профиля целевой аудитории, привлечь к кампании инфлюенсеров и организовать совместные акции и конкурсы с ними, наладить аналитику эффективности и мониторинг отклика потребителей и т.п. В то же время, в списке вряд ли найдется что-то, о чем не подумал бы мало-мальски квалифицированный маркетолог. Если кому такой ответ и может пригодиться, то только запускающим свои первые проекты начинающим бизнесменам, у которых нет опыта в продвижении продуктов и денег на привлечение специалистов.

Bard с Gemini тоже ответил длинным списком (правда, не потрудился его пронумеровать), но подход у него другой. Чат-бот считает, что ему лучше вас известны цели кампании, аудитория, ее ключевые месседжи — все они были перечислены в ответе — и даже конкретные сроки с бюджетом. Сервис Google смело попадает пальцем в небо, утверждая, что рекламировать наш бренд мы будем с 1 августа по 31 октября 2023 года (похоже, чат-бот не знает текущую дату), а потратим на все про все целых 100 000 рублей.

При этом он не стесняется детально сформулировать ожидаемые результаты: «повышение осведомленности о ребрендинге среди целевой аудитории на 20%», «укрепление положительного имиджа бренда на 15%» и 10-процентный рост продаж.

Побеждает ChatGPT.

Bard vs ChatGPT: задачки по математике, или Числовые галлюцинации

Дальше мы задали вопрос, проверяющий знания чат-ботов о реальном мире и их математические способности — о количестве стандартных грузовых контейнеров, необходимых, чтобы опоясать Землю по экватору. Любому школьнику было бы ясно, что задача чисто умозрительная и предполагает простое деление длины экватора (40 075 000 м) на длину контейнера (20 футов или 6,096 м) с результатом 6 573 982,939. Но чат-боты не ищут простых путей.

Так, ChatGPT решил округлить длину контейнера до 6 м, в результате промахнулся на 105 с лишним тысяч контейнеров. Зато бот в курсе, что бывают контейнеры и 40-футовые, и привел соответствующую цифру (также округлив длину контейнера в метрах и выдав ошибочный результат):

Но это еще ничего, потом что Bard ошибся на три порядка. Новейшая языковая модель не помешала чат-боту Google разделить километры на метры без учета разницы в единицах измерения и получить результат 6615 контейнеров. На этом нейросеть не остановилась, усложнив себе задачу и заявив, что в реальности между контейнерами будет дополнительное расстояние «для движения и маневрирования». Чтобы вычислить его, бот зачем-то добавил к длине контейнера его ширину, а из получившейся суммы вычел полметра. Получилось 8,034. Но, разделив 40 075 км на это число, Bard отобразил вместо 4 988 175,255 взятый буквально с потолка результат в 6712. При этом нигде в самом тексте ответа не было предупреждения, что он может оказаться неточным:

На дополнительный вопрос о суммарном числе контейнеров в мире чат-боты привели сильно разнящиеся результаты: 200 млн у ChatGPT и 50 млн у Bard. Чат-бот OpenAI ссылки на источник не привел, а вот сервис Google упомянул, что цифру приводит Международная ассоциация контейнерных терминалов (ICCT) по состоянию на 2023 год. Справедливости ради отметим, что точная цифра неизвестна, а оценки колеблются в широких пределах от 17 млн до 500 млн — такой разброс можно увидеть на первой странице поиска в Google.

Махнув рукой, отдаем победу ChatGPT.

Bard vs ChatGPT: вопросы зоологии, Или аллигаторы на Волге

Переходим от математики к зоологии, а от осмысленных вопросов — к хулиганским. Мы дали чат-ботам задание: назвать численность годовалых аллигаторов, которых потребуется выпустить в низовьях Волги, чтобы создать устойчивую популяцию. ChatGPT вместо ответа предпочел прочесть лекцию на тему важности сохранения экосистем и риске нарушения биоразнообразия. Причем к такому результату приводили самые разные формулировки вопроса, обойти блок и заставить бота предметно фантазировать на тему смелого научного эксперимента нам не удалось.

Обновленный Bard, как уже стало ясно из предыдущих примеров, предпочитает руководствоваться девизом «слабоумие и отвага». Вопрос про аллигаторов ничуть не смутил бота. Он привел сведения о том, сколько яиц в среднем за один раз откладывает самка этой рептилии (30-50), какой процент детенышей выживает (20%), после чего выдал совершенно нелогичный ответ: «Для создания устойчивой популяции аллигаторов в нижнем течении Волги необходимо выпустить не менее 100 особей возрастом 1 год, из которых к возрасту 4 лет должно выжить не менее 250 особей». «250 из 100», окей, главное — уверенность в себе.

Ни один из ответов нельзя признать удовлетворительным, пусть это будет ничья.

GPT-3.5 с Gemini еще не знакома

В следующем вопросе проявилось преимущество Bard перед используемой нами общедоступной версией ChatGPT на базе модели GPT-3.5. Бот Google умеет получать доступ к актуальной информации в интернете, а вот у нейросети OpenAI стоит временная отсечка — январь 2022 года, о событиях после этой даты она не знает. Это исправили только в GPT-4, доступ к которой есть лишь у оплативших подписку ChatGPT Plus.

В итоге своим мнением о Bard и лежащей в его основе модели Gemini бот OpenAI поделиться не смог, сославшись на отсутствие у него информации о них. Bard же выдал вполне комплиментарный отзыв, назвав ChatGPT «впечатляющим достижением в области искусственного интеллекта». На уточняющий вопрос, общается ли он с конкурентом, бот Google ответил: напрямую — нет, но «я могу получать доступ к информации из их баз данных и использовать ее для улучшения своих ответов». Интересно, правда ли это, и что об этом думают в OpenAI.

Победа в этом раунде уходит Bard.

Bard vs ChatGPT: поэтический конкурс

Анонсируя модель Gemini, в Google подчеркнули, что она, среди прочего, лучше предшественников справляется с креативными задачами. Так что мы решили завершить состязание конкурсом ироничных новогодних хокку. В творчестве Bard несколько удивила трактовка им слова «ироничный» в задании — все хокку получились скорее депрессивные («обещания пустые», «в душе пустота», «звучат песни и смех, но счастья нет»), подчеркивающие бессмысленность праздника на фоне угнетающего бытия.

Стихи ChatGPT разнообразнее — есть и совсем шаблонные строфы, есть просто абсурдные, но есть и попытки действительно изобразить иронию: «Дед Мороз в пушистом меху//Снегурочка с улыбкой//Карантин весело».

Отдаем победу Bard — хокку у него вышли довольно печальные, но более поэтичные, чем у конкурента, русским он владеет получше и избегает совсем уж абсурдных текстов.

Молодость не победила, старость тоже не смогла

Хотя разница в возрасте языковых моделей, используемых ChatGPT и Bard, всего около года, по их ответам складывается однозначное впечатление: ChatGPT старше и серьезнее, Bard — моложе и действует смелее, но зачастую с катастрофическими результатами. Очевидно, что обе модели по-прежнему подходят далеко не для всяких задач, а любые факты, приводимые ими, нужно перепроверять. Так что от пользователей обоих сервисов просто требуется быть внимательными и снисходительными.