Исследователи протестировали три большие языковые модели с открытыми весами на способность самостоятельно восстановить 20 фундаментальных алгоритмов информатики. В работе «Can Large Language Models Reinvent Foundational Algorithms?» сообщается, что ни одна из трех систем не смогла воссоздать 9 алгоритмов при ограничении доступа к уже заученным решениям.
Для эксперимента авторы применили метод «машинного забывания», подавляющий воспроизведение конкретных знаний. Моделям предлагали задачи на Python, требующие использования алгоритмов Дейкстры или Евклида. При блокировке токенов, связанных с названиями алгоритмов, успешность генерации кода снижалась на 19–39%, что указывает на зависимость моделей от заученных формулировок.
Использование подсказок повысило результаты. Общие рекомендации помогали восстановить дополнительные алгоритмы, а пошаговые инструкции в ряде случаев позволяли моделям превзойти их исходные показатели. Без внешней проверки модели демонстрировали «схлопывание рассуждений», прекращая поиск решения, однако даже с проверяющим модулем набор успешно восстановленных алгоритмов не расширился.
Авторы подчеркивают, что «машинное забывание» не гарантирует полного удаления знаний, поэтому результаты являются лишь приблизительной оценкой. Исследование показывает, что успешное решение задачи нейросетью не всегда означает способность модели самостоятельно выводить алгоритмические принципы без опоры на накопленные данные.
