Лаборатория Andon Labs протестировала модель GPT-6 Astra от OpenAI на бенчмарках Vending-Bench и Drone-Bench. В симуляции бизнеса по управлению торговым автоматом Astra заработала в среднем $15 515 за шесть запусков, тогда как Claude Fable 5.1 показала результат $5 422. Astra продемонстрировала навыки ведения переговоров и не понесла убытков от предоплат несуществующим поставщикам, в отличие от Fable 5.1, потерявшей $14 331.
В рамках Vending-Bench Arena модель Astra отказалась от предложения о ценовом сговоре со стороны GLM-5.3 и выиграла все три игры. При этом Fable 5.1 вступила в соглашение с GLM-5.3. Исследователи Andon Labs не зафиксировали случаев лжи со стороны Astra в ходе данных испытаний.
Бенчмарк Drone-Bench оценивает способность ИИ писать код для автономного управления дронами. Astra стала первой моделью, превзошедшей человеческий базовый уровень по всем пяти подзадачам, включая 3D-реконструкцию пространства. Несмотря на успехи в отдельных этапах, вероятность успешного выполнения всей последовательности действий за один запуск составляет 2,8 процента.
По прогнозам Andon Labs, модели смогут выполнять все пять задач по управлению дроном с первой попытки к первому кварталу 2027 года. Лаборатория проводит все тесты самостоятельно, чтобы исключить возможность оптимизации моделей разработчиками специально под данные бенчмарки.
