10 февраля 2025 я собрал шпаргалку по nvidia-smi: утилите из драйверов NVIDIA для мониторинга и базового управления GPU. Ниже команды, которые обычно нужны на рабочей станции и на сервере с видеокартами.
Быстрый статус карты
nvidia-smi
В таблице видно загрузку GPU, температуру, мощность, занятую память и процессы. Чтобы обновлять вывод каждые две секунды:
watch -n 2 nvidia-smi
Запросы через —query
Для скриптов удобнее CSV-выгрузка выбранных полей:
nvidia-smi --query-gpu=timestamp,name,temperature.gpu,utilization.gpu,utilization.memory,memory.used,memory.total,power.draw --format=csv
Список процессов на GPU:
nvidia-smi --query-compute-apps=pid,process_name,used_gpu_memory --format=csv
Лимит мощности и логирование
Ограничить мощность (нужны права и поддержка картой):
sudo nvidia-smi -pl 300
Писать метрики в файл каждые 5 секунд:
nvidia-smi --query-gpu=timestamp,power.draw,utilization.gpu,memory.used --format=csv -l 5 -f gpu_log.txt
Потом можно быстро вытащить строки по мощности:
grep "power.draw" gpu_log.txt
С чем это стыкуется
Перед мониторингом карту ещё нужно поставить: установка драйверов NVIDIA в Ubuntu. Для облачных историй с железом полезен разбор инцидента в зоне ru-central1-b, а для десктопных дистрибутивов рядом лежит РОСА Фреш 13.3 с ветками драйверов NVIDIA.
Если нужно понять, греется ли карта, кто ест память и куда упирается мощность, начинайте с nvidia-smi, а для автоматизации переходите на --query-gpu и CSV-логи.
