- Франсуа Шолле представил ARC-AGI-3 — самый сложный тест для ИИ на сегодня, где люди решают все задания на 100%, а передовые модели — менее чем на 1%.
- Тест включает 135 уникальных игровых сред без инструкций, правил или заданных целей. ИИ должен самостоятельно понять условия «победы» и адаптироваться в реальном времени.
- Система оценки наказывает брутфорс: если человеку нужно 10 действий, а ИИ — 100, то его результат снижается до 1%. Масштабирование вычислений не решает проблему.
- ARC-AGI-1 решён на 98% (Gemini), ARC-AGI-2 вырос с 3% до 77% за год, но ARC-AGI-3 обнуляет прогресс — результаты снова близки к нулю.
- Призовой фонд в $2 млн на Kaggle обещает за решения с открытым исходным кодом. Бенчмарк был представлен на Y Combinator в дискуссии с Сэмом Альтманом.
- Эксперты считают, что одного масштабирования недостаточно для достижения AGI. Разрыв между людьми и ИИ остаётся критически большим.
Франсуа Шолле, создатель теста ARC-AGI, представил на этой неделе новую версию бенчмарка, которая стала настоящим шоком для индустрии. В отличие от предыдущих версий, ARC-AGI-3 включает 135 уникальных игровых сред, разработанных вручную гейм-дизайнерами.
Каждая среда лишена инструкций, правил или чётких целей — ИИ должен самостоятельно понять, что считается «победой», и адаптироваться в реальном времени. Результаты оказались ошеломляющими: неподготовленные люди справились со всеми заданиями на 100%, тогда как передовые модели ИИ (Gemini 3.1 Pro, GPT 5.4, Opus 4.6) показали результат ниже 1%. Система оценки ARC-AGI-3 принципиально отличается от предыдущих версий. Она не только учитывает количество действий, но и штрафует за брутфорс.
Например, если человеку для решения задачи требуется 10 шагов, а ИИ тратит 100, его результат снижается до 1%.
Это означает, что масштабирование вычислительных мощностей не является решением — ИИ должен демонстрировать подлинное понимание и адаптивность, а не просто перебирать варианты. Сравнение с предыдущими версиями теста ещё более красноречиво. ARC-AGI-1 решён на 98% (Gemini показывает лучшие результаты), а ARC-AGI-2 вырос с 3% до 77% менее чем за год благодаря усилиям лабораторий, потративших миллионы на обучение моделей на предыдущих версиях.
Однако ARC-AGI-3 обнуляет весь этот прогресс: результаты снова близки к нулю. Бенчмарк был представлен публично на Y Combinator в рамках дискуссии между Шолле и Сэмом Альтманом, что подчеркнуло его значимость для отрасли.
Призовой фонд в $2 млн на платформе Kaggle обещает за лучшие решения с открытым исходным кодом. Эксперты отмечают, что ARC-AGI-3 не просто проверяет способности ИИ, а выявляет принципиальные ограничения современных моделей. «Одного масштабирования недостаточно, чтобы закрыть этот разрыв. До AGI нам ещё очень далеко», — заявил один из участников дискуссии.
Пока что единственные, кто могут похвастаться 100% результатом, — это люди, что ставит под вопрос текущие подходы к разработке искусственного интеллекта.
Что это значит для будущего? ARC-AGI-3 не просто новый тест — это предупреждение. Если ИИ не способен справляться с задачами, требующими гибкости и адаптивности, то путь к AGI остаётся крайне неопределённым. Пока что индустрия сосредоточена на масштабировании, но результаты ARC-AGI-3 заставляют задуматься: возможно, пришло время пересмотреть сами подходы к обучению и тестированию моделей.
