Инструмент NVIDIA Nsight Python позволяет профилировать GPU-ядра непосредственно из Python-кода. Для работы требуется Nsight Compute версии 2026.2.1 или выше, устанавливаемый из репозитория NVIDIA. Библиотеку необходимо импортировать до инициализации CUDA в PyTorch.
Для изоляции сегментов кода используется менеджер контекста nsight.annotate. Инструмент предоставляет метрики времени выполнения, стандартное отклонение и доверительные интервалы. Рекомендуется выполнять 20 итераций для оценки стабильности измерений и уровня шума.
Результаты профилирования выводятся в формате DataFrame, что позволяет рассчитывать производительность, например, в TFLOP/с. Доступны настройки управления кэшем и частотой GPU, которые влияют на точность замеров при различных объемах данных.
Библиотека корректно обрабатывает операции, разбитые cuBLAS на несколько ядер, объединяя их метрики. Также поддерживается создание производных метрик и нормализация данных относительно базовых операций, что полезно при сравнении точности вычислений fp32 и fp16.
