Производительность современных ИИ-ускорителей все чаще ограничивается не вычислительной мощностью, а пропускной способностью памяти. С 2012 по 2022 год скорость 64-битных вычислений в GPU NVIDIA выросла примерно в 80 раз, тогда как пропускная способность памяти увеличилась лишь в 17 раз. В результате вычислительные блоки простаивают в ожидании данных, что делает эффективность всей системы важнее характеристик отдельного чипа.
Создание универсального GPU в России затруднено ограниченным доступом к передовым техпроцессам, HBM и технологиям корпусирования. Кроме того, разработка программного стека требует многолетних инвестиций и постоянной поддержки. Эксперты отмечают, что попытка повторить экосистему уровня NVIDIA является крайне капиталоемкой задачей, поэтому российским компаниям целесообразнее сосредоточиться на специализированных решениях.
Перспективными направлениями для отечественных разработчиков являются периферийные вычисления, промышленная автоматизация и робототехника. В этих областях критически важны задержка, энергопотребление и предсказуемость времени реакции. Архитектура RISC-V может применяться в таких системах в качестве управляющего ядра, контроллера перемещения данных или элемента гетерогенной вычислительной платформы.
Процесс инференса, особенно стадия генерации токенов, сильно зависит от скорости работы с памятью. Специализированные ускорители вывода позволяют оптимизировать архитектуру под конкретные форматы данных и модели, снижая стоимость одного токена. Такой подход позволяет избежать конкуренции с универсальными GPU в задачах обучения, где требуются огромные кластеры, и сфокусироваться на создании эффективных программно-аппаратных платформ.
