Сравнение Meta Muse и ChatGPT в повседневных задачах
Компания Meta представила свою новую языковую модель Meta Muse. На текущий момент ChatGPT стал стандартным чат-ботом для миллионов пользователей, однако результаты бенчмарков не всегда отражают реальную эффективность. Намного важнее способность ИИ составлять текст для деликатных ситуаций, планировать досуг с семьей или объяснять сложные вещи простым языком. Мы протестировали Meta Muse и ChatGPT в пяти повседневных сценариях, охватывающих написание текстов, планирование, решение проблем, объяснение концепций и творческое мышление.
1. Решение неловкой ситуации
Промпт: «Мой сосед постоянно ставит мусорные баки так, что они частично перекрывают мой въезд в гараж, и мне трудно выезжать. Напиши сообщение с просьбой этого не делать. Я хочу сохранить дружелюбный тон, так как мы в хороших отношениях, но быть достаточно ясным, чтобы ситуация изменилась. Избегай пассивно-агрессивного тона».
ChatGPT сразу перешел к сути, составив текст, который исключает неоднозначность в вопросе того, насколько сильно сосед должен отодвинуть баки. Однако Meta предложила более вежливое и естественное сообщение. Просьба звучит по-соседски, а формулировка подразумевает лишь небольшую физическую корректировку, а не серьезный конфликт.
Победитель: Meta. Модель лучше соблюла тональность, необходимую для поддержания дружеских отношений. Сообщение ChatGPT звучит как официальное уведомление от жилищной ассоциации и воспринимается как слегка пассивно-агрессивное.
2. Планирование с учетом ограничений
Промпт: «Спланируй субботу в Нью-Йорке для семьи с тремя детьми 5, 9 и 12 лет. У нас бюджет 200 долларов на еду и развлечения. Нужно избежать долгих прогулок пешком и предусмотреть как минимум одно занятие в помещении на случай дождя. Нужен реалистичный график с 10 утра до 7 вечера».
ChatGPT отлично справился с географической группировкой объектов, минимизировав дистанцию для первой части дня, а также предложил варианты с нулевыми затратами и удачно распределил периоды высокой активности и отдыха. Meta выбрала аттракцион, который лучше подходит для разного возраста детей (5, 9 и 12 лет) — Американский музей естественной истории (AMNH), способный увлечь всех троих. Кроме того, Meta продемонстрировала точное знание транспортной системы Нью-Йорка (MTA), указав на ограничение по росту (44 дюйма) для бесплатного проезда детей, предложила удобную игровую площадку через дорогу и дала конкретный логистический совет (например, садиться с правой стороны парома).
Победитель: ChatGPT. Несмотря на то что план Meta с AMNH выглядит интереснее, весь расчет бюджета в нем строится на скрытом предположении, что семья является жителями штата. ChatGPT победил за счет строгого соблюдения финансовых и логистических ограничений промпта.
3. Советы и решение проблем
Промпт: «У меня есть 45 минут до прихода гостей. Кухня грязная, в гостиной нужно пропылесосить, на диване лежит одежда, а мне еще нужно принять душ. Составь самый эффективный план, чтобы все успеть. Напиши, что можно пропустить, если не хватит времени».
ChatGPT предвидел критическую слепую зону, которую промпт упустил из виду: гостевой санузел. Добавление 5-минутного блока на проверку туалетной бумаги и протирку раковины — это разница между хорошим и реалистичным планом. Он также дал конкретные рекомендации по времени для принятия душа, что предотвращает самую частую причину опозданий в таких ситуациях. Meta предложила отличные советы по поведению, четко обосновала график и закончила рекомендацией использовать таймер; кроме того, формат тайминга был более читабельным, чем у ChatGPT.
Победитель: ChatGPT за операционную реалистичность и предвидение невысказанных потребностей. Хотя совет Meta по таймеру хорош, ее ожидания от уборки кухни обречены на провал: ChatGPT правильно распознал, что за 45 минут можно лишь прибраться и организовать пространство, а не провести полноценную глубокую чистку.
4. Объяснение сложных концепций
Промпт: «Объясни любопытному 10-летнему ребенку, почему самолеты держатся в воздухе. Не используй формулы и не предполагай, что он знает, что такое подъемная сила, лобовое сопротивление или давление воздуха. Уложись в 200 слов и используй аналогию, которую он сможет себе представить».
ChatGPT предложил точный и интуитивно понятный физический механизм: крылья толкают воздух вниз, что толкает самолет вверх (третий закон Ньютона, переведенный на простой язык). Meta продемонстрировала идеальную калибровку под аудиторию: тон живой и обращен непосредственно к 10-летнему ребенку («конечно, с водителем-взрослым!», «вжух!»).
Анализ креативности и итоговые выводы
В задании на объяснение физического принципа модель Meta выбрала одну аналогию — руку, выставленную из окна движущегося автомобиля, — и полностью сосредоточилась на ней. Она связала этот пример с бумажными самолетиками и взлетно-посадочной полосой, чтобы доходчиво объяснить, почему важна поступательная скорость. Победителем здесь стала Meta: она сохранила высокий уровень подачи материала, адаптировала текст под уровень понимания 10-летнего ребенка, не скатываясь при этом в упрощенчество, и предоставила четкий, запоминающийся вывод.
Разработка креативного приложения
В качестве творческого задания моделям было предложено придумать новое приложение для решения небольшой, но раздражающей бытовой проблемы. Условие запрещало создавать планировщики задач, сервисы для планирования питания, бюджетные приложения или пульты управления «умным» домом. Нужно было придумать название, описать проблему, механизм работы и объяснить, почему пользователь продолжит пользоваться сервисом спустя неделю.
ChatGPT нашел решение для распространенного бытового разочарования, не требующее составления каталога всех вещей в доме. Модель Meta определила узкоспециализированную и универсально понятную проблему в быту, дав приложению броское название «Takeout». Логика удержания пользователей у Meta оказалась крайне продуманной: вместо того чтобы предполагать, будто людям нравится пользоваться приложениями для выполнения рутины, разработчики признали, что лучшие утилиты требуют нулевого обслуживания и опираются на страх потери данных.
Победа снова досталась Meta. Чат-бот построил продукт вокруг реальности домашней лени и осознал, что приложение выживет после первой недели использования только в том случае, если оно не требует от пользователя практически никакого ручного ввода.
Общие итоги тестирования
По результатам пяти промптов Meta Muse одерживает победу со счетом 3:2. Признаться, я не просто впечатлена, я шокирована. Хотя ChatGPT оказался сильнее в задачах, требующих тщательного планирования и соблюдения практических ограничений, Meta Muse выделилась там, где требовалось глубокое понимание человеческой психологии.
Текст модели о соседях звучал как нечто, что я действительно могла бы отправить сама, объяснение про самолет было идеально адаптировано для 10-летнего ребенка, а идея приложения продемонстрировала удивительно точное понимание того, почему люди удаляют программы, требующие слишком много усилий. Meta Muse ощущается как самостоятельная модель, а не как попытка скопировать или догнать ChatGPT. Небольшая иконка «Muse» в верхней части экрана кажется излишней, но она очаровательна. Несмотря на то что ChatGPT остается моим основным инструментом, этот тест доказывает, что Meta проделала большой путь, а их новейшая модель оставляет очень сильное первое впечатление.
В ходе сравнительного тестирования Meta Muse и ChatGPT проявились фундаментальные различия в подходах моделей к обработке повседневных задач. Несмотря на то что в конечном зачете победу со счетом 3:2 одержала модель от Meta, эксперты отмечают, что успех каждой из них сильно зависит от типа запроса.
При планировании дня в Нью-Йорке ChatGPT проявил себя как более надежный логистический помощник. Помимо грамотной географической кластеризации, исключающей лишние перемещения, модель продемонстрировала высокую дисциплинированность в вопросах бюджета. Важно отметить, что модель Meta Muse, хотя и предложила более захватывающий с точки зрения ребенка сценарий, допустила критическую ошибку в финансовом планировании, фактически неявно предполагая наличие у семьи льгот для жителей штата, что вывело бы бюджет за рамки заданных 200 долларов.
В вопросе операционной эффективности при подготовке к визиту гостей ChatGPT вновь доказал свое превосходство благодаря вниманию к деталям, которые обычно упускаются из вида. Прогностическая способность модели, выделившей блок на проверку ванной комнаты, подтверждает, что при нехватке времени решающее значение имеет расстановка приоритетов, а не просто перечисление бытовых задач.
Однако там, где задача требует не жесткой логики, а социальной эмпатии и креативной интуиции, Meta Muse выходит на первый план:
- Социальная коммуникация: Meta лучше улавливает тонкие грани дружеского общения, избегая бюрократического стиля, который часто свойственен ChatGPT при формулировке деликатных просьб.
- Педагогический подход: В объяснении принципов аэродинамики Meta Muse продемонстрировала мастерство «адаптивной настройки», выбрав единую понятную аналогию с рукой в окне автомобиля и последовательно развив её, что позволило ребенку легко усвоить концепцию без перегрузки терминологией.
- Проектирование интерфейсов: Разработанная моделью концепция приложения под названием Takeout показывает глубокое понимание психологии пользователя. Модель учла ключевой фактор успеха любого бытового приложения — минимизацию усилий со стороны человека, что кардинально повышает шансы на удержание аудитории после первых нескольких дней использования.
Таким образом, Meta Muse демонстрирует уверенную самостоятельность. Модель не пытается имитировать ответы ChatGPT, а предлагает свой, зачастую более человекоцентричный подход. И хотя для сложных организационных процессов ChatGPT остается предпочтительным выбором, Meta Muse показала, что развитие ИИ сегодня смещается в сторону понимания контекста человеческих взаимоотношений и повседневных поведенческих паттернов.
