Исследование посвящено возможности повышения эффективности небольших языковых моделей без увеличения их весов. Автор работает над архитектурой LANN-4, которая предполагает использование неизменного «мозга» модели в сочетании с внешней памятью для накопления опыта.
В ходе эксперимента модель проходила четыре раунда дообучения на экзамене из 200 задач. Первый раунд обеспечил прирост доли правильных ответов примерно на 5 процентных пунктов, однако в последующих раундах прогресс остановился, и показатели стабилизировались без дальнейшего роста.
Автор сравнил три режима работы: накопление знаний, обучение с нуля и отсутствие обучения. Результаты показали, что накопленная подкрутка не дает преимуществ перед перезапуском модели, а первый раунд дообучения дает стабильный прирост, который не теряется со временем.
Для проверки того, усвоила ли модель содержание задач или просто подстроилась под формат, предложен метод «плацебо». Он заключается в сравнении обучения на корректных парах «задача-решение» с обучением на заведомо неверных парах, чтобы исключить эффект адаптации к формату.
Методология исследования включает предварительную фиксацию правил и наборов задач с использованием «отпечатков», а также независимый пересчет результатов. Автор призывает сообщество помочь в поиске уязвимостей экспериментального протокола перед проведением дальнейших тестов.
