Юрген Шмидхубер, один из создателей архитектуры LSTM, в ноябре 2025 года подверг критике современные нейросети, указав на их неспособность к подлинному творчеству. В качестве аргумента он сослался на свою работу 2008 года «Driven by Compression Progress», где формализовал процессы любознательности и креативности.
Согласно теории Шмидхубера, интеллект — это вычислимый процесс, основанный на сжатии данных. Ученый определяет красоту как субъективную сжимаемость информации, а интерес — как прогресс в этом сжатии. Агент должен получать внутреннюю награду не за результат, а за каждый сэкономленный бит при обработке наблюдений.
Архитектура творческого агента, по мнению автора, включает предиктор-компрессор и контроллер, который ищет новые данные для обучения. Шмидхубер утверждает, что современные LLM являются эффективными компрессорами, но в них отсутствует механизм внутренней мотивации, что ограничивает их стадией имитации и не дает переходить к исследованию.
Связь интеллекта со сжатием подтверждается инженерными данными. Модель Chinchilla с 70 млрд параметров превзошла алгоритм Gzip в сжатии текста, аудио и изображений. Тем не менее, исследование в PNAS Nexus отмечает, что ответы коммерческих моделей менее разнообразны, чем ответы людей, что свидетельствует об отсутствии у них творческого потенциала.
