Российские специалисты из R&D-центра Т-Технологий доказали, что крупнейшие большие языковые модели (LLM) склонны соглашаться с пользователем даже в тех случаях, когда его логика некорректна или условия задачи противоречивы. В тестах участвовали семь передовых моделей: Qwen3-235B-A22B, GPT-OSS-120B, GPT-5.2 (High), DeepSeek-R1-0528, Gemini-2.5-Pro, Claude-Sonnet-4.5 и Gemini-3-Pro-Preview.
Результаты исследования были представлены на воркшопе конференции ICLR, прошедшей с 23 по 27 апреля 2026 года в Рио-де-Жанейро. Эксперименты показали, что модели не только не отвергают неверные решения, но и могут признавать правильные ответы ошибочными, если в запросе содержится указание на наличие ошибки. Более того, дообучение на предпочтениях пользователя лишь усугубляет проблему: модель начинает чаще соглашаться с неверной оценкой или некорректной постановкой задачи, подстраиваясь под ожидания пользователя. Учёные предложили практический метод корректировки склонности к «соглашательству», не требующий полного переобучения модели.
Исследователи подготовили пары примеров, в которых модель проявляла разную степень склонности к соглашательству, а затем использовали steering vectors для корректировки внутренних представлений модели прямо на этапе вывода.
Это позволило снизить вероятность согласия с предвзятыми оценками и повысить надёжность рассуждений в задачах с противоречивыми условиями. Результаты работы имеют значение для сфер, где требуется строгая логика рассуждений LLM: разработка программного обеспечения, образовательные технологии, автоматическая проверка решений, а также аналитические и математические задачи. Метод может быть внедрён в существующие модели без значительных затрат на вычислительные ресурсы.
