После обновления ядра в Debian 12 часть серверов с ext4 падает. Ставьте 6.1.192-2

Обложка: Debian 12, ядро 6.1.0-55 падает на ext4, исправление 6.1.192-2

15 ноября Debian выпустил для Debian 12 обновление ядра DLA-4906-1: пакет linux версии 6.1.192-1, в репозитории он называется linux-image-6.1.0-55. В том же уведомлении перечислены 1271 уязвимость. 16 ноября в багтрекере Debian появился критический отчёт № 1154108: на части систем с файловой системой ext4 через несколько минут после перезагрузки ядро аварийно останавливается или машина зависает.

В тот же день мейнтейнеры собрали исправление 6.1.192-2 и закрыли баг. 17 ноября этот пакет уже лежит в bookworm-security как linux-image-6.1.0-56. Отдельного выпуска 6.1.193 на kernel.org пока нет: последняя ветка 6.1 там по-прежнему 6.1.192.

Что происходит на сломанном ядре

Первый отчёт прислал Jon Geerars. Две виртуальные машины Debian 12 после перехода с linux-image-6.1.0-54 (это 6.1.190-1) на linux-image-6.1.0-55 (6.1.192-1) через несколько минут после загрузки получили один и тот же сбой в функции ext4_mb_load_buddy_gfp. На почтовом сервере под VMware через 369 секунд упал процесс init, и ядро выдало panic: «Attempted to kill init!». На второй машине, госте KVM с 1 ГБ памяти, сбой случился через 413 секунд: процессы, которые трогали файловую систему, зависли, а systemd-journald и systemd-timesyncd не убивались даже по SIGKILL. Обе машины после возврата на 6.1.0-54 работают стабильно.

Падают не все. У автора отчёта ещё три виртуалки с 3-4 ГБ памяти проработали на новом ядре около 40 минут без сбоя, их откатили на всякий случай. Похожие случаи собрали в том же баге: обычные серверы и облачные образы amd64 и arm64, в том числе пакеты linux-image-6.1.0-55-cloud-amd64 и linux-image-6.1.0-55-cloud-arm64. В одном из объединённых отчётов после сбоя задание умирает, держа журнальную транзакцию ext4, дальше запись на этот том встаёт, и помогает только перезагрузка.

Сбой чаще проявляется при нехватке памяти. Причина в распределителе блоков ext4: если страницы bitmap и buddy вытеснены из кэша, быстрый путь получает NULL, а код, перенесённый из новых ядер, проверяет результат через IS_ERR() и считает нулевой указатель допустимым. В ядре 6.1 функция __filemap_get_folio() при промахе кэша возвращает NULL, а не код ошибки, как в ветках начиная с 6.4. Патчи перевода mballoc на folio попали в 6.1.191 и вместе с ними в пакет 6.1.192-1.

В багтрекере пользователь Eduard привёл короткий способ воспроизведения (от root, на 6.1.192-1):

dd if=/dev/zero of=/var/tmp/a bs=1M count=8 conv=fsync
sync
echo 3 > /proc/sys/vm/drop_caches
dd if=/dev/zero of=/var/tmp/b bs=1M count=8 conv=fsync

На тестовой машине вторая команда dd завершилась Segmentation fault. Тот же сбой возникает и при обычной нехватке памяти, без drop_caches. Его удаётся повторить и без прав суперпользователя, в том числе из непривилегированного контейнера с лимитом памяти. На рабочей машине эти команды лучше не запускать: они как раз и роняют ядро.

Исправление уже в Debian, ждать 6.1.193 не нужно

Исправление «ext4: fix NULL folio dereference in mballoc» авторы исходного ядра поставили в очередь на 6.1.193. На 17 ноября отдельного выпуска 6.1.193 на kernel.org ещё нет.

Debian не стал ждать. В changelog пакета linux 6.1.192-2 от 16 ноября Salvatore Bonaccorso как раз указывает этот патч и закрывает баг № 1154101, он объединён с № 1154108. В Debian Security Tracker обновление записано как DLA-4906-2, «regression update». В архиве bookworm-security метапакет linux-image-amd64 версии 6.1.192-2 уже зависит от linux-image-6.1.0-56-amd64 той же версии. Сломанный linux-image-6.1.0-55 так и остаётся в версии 6.1.192-1: его не переписывают, а дают соседний пакет с новым номером в имени, 6.1.0-56 вместо 6.1.0-55.

Для облачных образов то же самое: метапакет linux-image-cloud-amd64 версии 6.1.192-2 ведёт на linux-image-6.1.0-56-cloud-amd64. Для arm64 в bookworm-security уже есть linux-image-6.1.0-56-arm64 и linux-image-6.1.0-56-cloud-arm64 той же версии.

16 ноября OpenNET описал эту поломку и ещё писал, что ждут выпуск 6.1.193. К утру 17 ноября ждать его уже не обязательно: исправленный пакет Debian уже в bookworm-security.

Как проверить версию и что сделать

Сначала посмотрите, какое ядро сейчас запущено и какие пакеты доступны:

uname -r
apt-cache policy linux-image-amd64 linux-image-6.1.0-55-amd64 linux-image-6.1.0-56-amd64

Если uname -r показывает 6.1.0-56-amd64, вы уже на исправлении 6.1.192-2. Для облачного или arm64 образа смотрите соответствующее имя пакета, суть та же: нужен 6.1.0-56 версии 6.1.192-2, а не 6.1.0-55 версии 6.1.192-1.

Если запущено 6.1.0-55-amd64, это как раз сломанный 6.1.192-1. Его лучше не оставлять рабочим ядром. Если пакет 6.1.0-55 уже установили, но перезагрузку ещё не делали и система всё ещё на 6.1.0-54, так даже спокойнее: сначала поставьте исправление и уже в него перезагрузитесь.

Перед установкой посмотрите, не закреплён ли метапакет. В исходном отчёте на затронутых машинах как раз сделали apt-mark hold linux-image-amd64, чтобы остаться на 6.1.0-54. После появления 6.1.192-2 такую блокировку нужно снять, иначе исправление не встанет:

apt-mark showhold
apt-mark unhold linux-image-amd64
apt update
apt install linux-image-amd64

Затем перезагрузка уже в 6.1.0-56. Для облачного ядра вместо метапакета берите linux-image-cloud-amd64, для arm64 подойдут linux-image-arm64 или linux-image-cloud-arm64.

Если машина уже на 6.1.0-55 и ставить исправление прямо сейчас нельзя, загрузитесь в предыдущее ядро 6.1.0-54-amd64 (пакет 6.1.190-1), как сделали авторы отчётов. В меню GRUB откройте «Дополнительные параметры» и выберите это ядро. Оно останется в списке, если пакет не удаляли командами вроде apt autoremove.

Когда исправление встанет и сервер загрузится с 6.1.0-56, закреплять linux-image-amd64 больше не нужно: следующие обновления ядра снова должны проходить обычным путём.

Пакет linux-image-6.1.0-55 (6.1.192-1) из DLA-4906-1 закрыл 1271 уязвимость, но на части систем с ext4 через несколько минут после загрузки даёт сбой и может уронить сервер. Ждать отдельного 6.1.193 не обязательно: в bookworm-security уже есть 6.1.192-2 как linux-image-6.1.0-56. Если до него не добраться, временно вернитесь на 6.1.0-54 через GRUB. Похожий случай, когда после обновления безопасности Debian пришлось выпускать пакет с суффиксом -2, уже был с nginx в Debian 13: исправление сборки модулей nginx в trixie. Про обычные обновления безопасности в Debian 12 можно посмотреть заметку про DLA-4784-1 и nginx.

Источники и ссылки


Комментарии загружаются…