В свежем покерном бенчмарке от GTO Wizard протестировали тринадцать языковых моделей в хедз-апе но-лимит холдема. Агенты играли против бота, действующего близко к равновесию по Нэшу. Лучший результат среди моделей составил -16 bb/100, что немногим лучше стратегии бота Always Fold, который просто сбрасывает все карты подряд.
Основная проблема LLM заключается в ошибках восприятия: модели путают карты и текстуры борда, что делает их анализ неверным. Кроме того, модели стремятся выбрать одно «разумное» действие, тогда как покер требует смешанных стратегий для защиты от эксплуатации. Также нейросети склонны к ошибке мышления, оценивая решения по их результату, а не по доступной на тот момент информации.
Технически модели проигрывают специализированным солверам. Например, алгоритм Pluribus 2019 года обыграл профессионалов, используя итерации CFR, а его обучение стоило около $144. Прогон языковой модели через бенчмарк обходится в 13 раз дороже при худших игровых показателях. Модели не умеют вычислять вероятности и не имеют встроенного механизма случайности.
Автор предлагает разделять задачи: игровые движки должны считать математику, стеки и шансы, а LLM — объяснять логику решений. Такой подход реализован в проекте poker-blindspot.tech. Если предоставить модели готовые расчеты и скрыть карты оппонента, она способна качественно анализировать раздачи, не пытаясь самостоятельно выполнять вычисления, в которых часто ошибается.
