Исследователи из Google DeepMind Мариус Де Кути Мёрерс, Аарон Паризи и Бернд Бонет представили 21 октября 2026 года работу, посвященную обучению модели Gemma-4 4B с помощью самопоощрения. Ученые анализировали, как этот метод влияет на качество моральной аргументации ИИ.
В ходе обучения модель самостоятельно оценивала свои аргументы в моральных дилеммах. Для проверки того, что конфликты в этих дилеммах являются подлинными, исследователи использовали SMT-решатель, который подтвердил наличие реальных противоречий в данных.
Результаты показали, что модель стала более последовательной: частота смены ответов при изменении порядка вариантов сократилась с 14,3% до 6,6%. При этом другие показатели практически не изменились или ухудшились.
Склонность модели подстраиваться под мнение пользователя изменилась незначительно — с 45,3% до 44,0%. Точность интерпретации моральных притч снизилась с 56,5% до 53,4%.
Авторы делают вывод, что обучение с самопоощрением делает модель более решительной, но не повышает ее этические способности или устойчивость к влиянию пользователя. Улучшение одного параметра не гарантирует прогресса в других аспектах.
