Автор описывает процесс создания робота с камерой и пистолетом, управляемого с помощью больших языковых моделей (LLM). Система состоит из хост-компьютера и аппаратной части на базе Arduino. Связь между ними осуществляется через COM-порт с максимальной скоростью передачи данных 57 600 бод.
Для тестирования способностей ИИ к восприятию пространства и принятию решений использовалась платформа Langfuse. Эксперименты подтвердили, что модели способны распознавать объекты на фото и вычислять углы поворота. Для управления движением применяются структурированные ответы в формате JSON и механизмы вызова инструментов, преобразующие команды ИИ в физические действия.
Разработан текстовый протокол обмена данными с маркерами начала и конца пакета. Телеметрия включает порядковый номер, скорость моторов, данные датчиков и напряжение батареи. При частоте обновления 10 раз в секунду протокол занимает около 20% пропускной способности канала, что оставляет запас для добавления новых датчиков, таких как дальномеры и гироскопы.
На текущем этапе реализован стабильный канал связи между хостом и Arduino. Первыми выполненными командами стали управление светодиодом и передача телеметрии. Созданная инфраструктура позволяет роботу обрабатывать визуальную информацию, сопоставлять её с картами и выполнять команды перемещения, что является базой для дальнейшей разработки.
