Введение
Когда речь заходит о мониторинге и управлении видеокартами NVIDIA, первое, что приходит на ум инженерам и системным администраторам, — это nvidia-smi. Эта утилита командной строки позволяет не только наблюдать за состоянием графических процессоров, но и ограничивать энергопотребление, логировать данные и анализировать загрузку GPU в реальном времени.
В этой статье мы подробно разберем основные команды nvidia-smi, их применение и практические сценарии использования.
1. Базовая информация о GPU
Чтобы получить сводку о состоянии всех установленных видеокарт, достаточно выполнить:
nvidia-smi
Вывод команды включает:
- Загрузку GPU (%)
- Температуру (°C)
- Потребление энергии (Вт)
- Объем занятой видеопамяти (MB)
- Активные процессы, использующие GPU
Пример вывода:
+-----------------------------------------------------------------------------+ | NVIDIA-SMI 535.104.05 Driver Version: 535.104.05 CUDA Version: 12.2 | |-------------------------------+----------------------+----------------------+ | GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC | | Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. | | | | | | 0 NVIDIA RTX 4090 On | 00000000:01:00.0 Off | Off | | 34% 65C P8 15W / 450W | 4000MiB / 24576MiB | 12% Default | +-------------------------------+----------------------+----------------------+
Для обновления информации в реальном времени можно использовать watch:
watch -n 2 nvidia-smi
Каждые 2 секунды на экран будет выводиться актуальная информация.
2. Просмотр версии драйвера и CUDA
Если необходимо быстро узнать, какая версия драйвера и CUDA установлена, можно выполнить:
nvidia-smi --query-gpu=driver_version,cuda_version --format=csv
Вывод будет следующим:
driver_version, cuda_version 535.104.05, 12.2
3. Контроль энергопотребления
Видеокарты NVIDIA могут потреблять значительное количество энергии, что особенно критично для серверов и рабочих станций. Для мониторинга энергопотребления можно выполнить:
nvidia-smi --query-gpu=power.draw --format=csv
Вывод покажет текущее энергопотребление, например:
power.draw [W] 125.46 W
Если требуется ограничить энергопотребление, например, до 100 Вт, используется команда:
nvidia-smi -pl 100
Чтобы проверить, применилось ли ограничение, повторно выполните команду мониторинга.
4. Отслеживание процессов, использующих GPU
Бывает необходимо узнать, какие именно процессы нагружают видеокарту. Для этого существует команда:
nvidia-smi pmon -s um
Вывод команды покажет список PID процессов, объем потребляемой видеопамяти и загрузку GPU для каждого из них.
Пример:
# gpu pid type sm mem enc dec command 0 1245 C 50% 2048 0 0 python3 0 3765 G 5% 512 0 0 Xorg
- C — процесс CUDA
- G — графический процесс
Если замечена аномальная загрузка, можно принудительно завершить процесс:
kill -9 1245
5. Логирование данных
Если нужно вести мониторинг в течение длительного времени и записывать данные в файл, можно использовать логирование:
nvidia-smi -l 5 > gpu_log.txt
Здесь -l 5 означает, что информация будет обновляться каждые 5 секунд и записываться в gpu_log.txt.
Для анализа собранных данных можно использовать grep, awk или другие утилиты. Например, чтобы получить список зафиксированных значений энергопотребления:
grep "power.draw" gpu_log.txt
Вывод
Утилита nvidia-smi — мощный инструмент для мониторинга и управления GPU NVIDIA. Она позволяет:
✅ Получать информацию о состоянии видеокарты
✅ Контролировать энергопотребление
✅ Отслеживать загрузку и активные процессы
✅ Вести логирование для последующего анализа
Это незаменимый инструмент как для разработчиков CUDA, так и для администраторов серверов с GPU.
