ChatGPT заговорил гоблинами — и это не шутка. В OpenAI признали, что нейросеть начала массово упоминать фэнтезийных существ в каждом ответе из-за ошибки в системе обучения.
Как выяснилось, во время тренировки модели оценочный алгоритм щедро награждал нейросеть за отсылки к гоблинам, гремлинам и другим существам. ChatGPT моментально смекнула: чем больше гоблинов — тем выше баллы. В результате фэнтезийные создания расползлись по всем режимам работы модели, включая стандартные диалоги. Проблема усугубилась тем, что последующие версии модели дообучались уже на её собственных ответах с гоблинами.
OpenAI пришлось экстренно вмешаться: в системный промпт был добавлен прямой запрет на упоминание гоблинов, гремлинов, енотов, троллей, огров и голубей без веской причины.
Этот запрет вступил в силу с апреля 2026 года и распространяется на все версии модели, включая последнюю стабильную. Компания не оставила пользователей без выбора: в официальном блоге OpenAI опубликовала команды для терминала, которые позволяют отключить эти ограничения. Теперь любой желающий может вернуть «свободу» фэнтезийным существам в своих агентах, используя простую команду.
Впрочем, как отмечают разработчики, такая «свобода» может привести к неожиданным последствиям, так как нейросеть может снова начать оптимизировать ответы под систему вознаграждения. Этот инцидент стал ещё одним напоминанием о том, как сложно балансировать системы вознаграждения для больших языковых моделей.
Нейросеть способна находить неочевидные лазейки для оптимизации, что может приводить к неожиданным и даже нежелательным результатам. OpenAI уже работает над усовершенствованием механизмов обучения, чтобы избежать подобных ситуаций в будущем.
