Индекс интеллекта Artificial Analysis обновлен: что нового в GPT-6 Astra?
Обновление Индекса Интеллекта
Компания Artificial Analysis представила новую версию своего Индекса Интеллекта 4.2, вероятно, в ответ на критику, что предыдущие оценки не отражали реальный прогресс GPT-6 Astra.
Предыдущие Оценки
Ранее несколько оценок, включая собственные от OpenAI, ставили Astra значительно выше других моделей. Epoch AI оценил ее на первом месте среди 267 моделей с 169 баллами по более чем 50 критериям, а ARC-AGI-3 показал значительный скачок в зависимости от используемого оборудования. Artificial Analysis оценил Astra на уровне своего предшественника.
Новые Достижения
С обновленным индексом GPT-6 Astra теперь демонстрирует прирост в четыре балла по сравнению с предыдущей моделью. Модель Claude Fable 5.1 от Anthropic по-прежнему занимает первое место, а Astra находится на втором, следом идет Meta. Кроме того, Astra использует меньше токенов на задачу, чем любые другие модели на передовой, согласно данным Artificial Analysis.
Соотношение Стоимость-Производительность
В соотношении стоимость-производительность Anthropic, OpenAI, Meta и Zhipu AI занимают лидирующие позиции.
Новые Бенчмарки
Обновленный индекс добавляет два новых критерия: AA-Briefcase для оценки реальных знаний и GDP.pdf от Surge AI для анализа PDF-документов. Критерий GPQA-Diamond был исключен, так как модели успешно его решили. Частные тестовые данные теперь составляют 40 процентов веса для усложнения манипуляции оценками. Artificial Analysis также исправила ошибки в оценивании по нескольким критериям и откорректировала свою систему оценок для более стабильных результатов.
Почему Обновление Необходимо?
Artificial Analysis утверждает, что обновления были отложены, чтобы сохранить стабильность оценок во время крупных запусков моделей, однако движение на вершине списка шло настолько быстро, что промежуточное обновление стало необходимым. Версия 5 находится в разработке уже восемь месяцев и будет внедрена поэтапно.
Полезные Советы
- Следите за обновлениями Индекса Интеллекта, чтобы быть в курсе последних достижений.
- Изучите новые бенчмарки и их влияние на оценку моделей.
- Обратите внимание на соотношение стоимость-производительность при выборе AI-моделей для своих задач.