Ричард Саттон, автор эссе The Bitter Lesson, заявил, что одних вычислительных мощностей недостаточно для создания полноценного интеллекта. По его мнению, ИИ-индустрии нужны новые методы, так как современные языковые модели не способны обучаться непрерывно после завершения этапа тренировки.
Саттон предлагает сосредоточиться на агентах с моделями мира, которые учатся на собственном опыте. Исследователь Джерри Творек, основатель Core Automation, отмечает, что по мере роста вычислительных затрат выбор алгоритма становится критически важным фактором успеха.
Дискуссия привела к появлению новых стартапов. В отчете Frontier Radar #5 зафиксировано 45 новых лабораторий, включая Oak Lab Саттона и Core Automation Творека, которые ищут альтернативы текущим методам обучения.
Руководители OpenAI Сэм Альтман и Anthropic Дарио Амодеи придерживаются иного мнения, считая потенциал масштабирования LLM неисчерпанным. Альтман в качестве аргумента привел пример модели OpenAI, решившей математическую задачу, которая ранее не поддавалась ученым.
