11 ноября в 20:07 МСК сотрудник Canonical Хавьер Арреги (Javier Arregui) в Ubuntu Discourse сообщил о сбое инфраструктуры в одном из дата-центров компании. Та же формулировка в 20:08 МСК вышла в официальном аккаунте Ubuntu в X. По словам Canonical, затронуты несколько сервисов, включая сайты компании, а официальный архив пакетов Ubuntu сбой не затронул. Актуальную картину компания просит смотреть на status.canonical.com.
В 20:56 МСК об этом написал OpenNet: недоступны или работают с перебоями больше 20 сервисов, среди них сайты ubuntu.com, canonical.com, launchpad.net и snapcraft.io, почтовые и DNS-серверы, ppa.launchpad.net, cloud-images.ubuntu.com, login.ubuntu.com, keyserver.ubuntu.com, gopkg.in, lists.ubuntu.com, Livepatch API, Landscape, maas.io и ещё ряд площадок Canonical. Доступ к репозиторию пакетов, как отмечает OpenNet, сохраняется.
Когда начался сбой и что уже подняли
На status.canonical.com инцидент открыт с 14:06 МСК 11 ноября. К вечеру многие сайты уже вернули. В ленте обновлений стоит статус Observing: ppa.launchpad.net снова Operational с 20:46 МСК, launchpad.net с 20:44, login.ubuntu.com с 20:37, ubuntu.com и canonical.com с 20:25, cloud-images.ubuntu.com с 19:54. Компонент DNS снова Operational с 20:19 МСК, Livepatch API с 20:28 МСК.
По состоянию RSS этой страницы на 20:46 МСК в major outage ещё оставались Landscape, gopkg.in, images.maas.io, keyserver.ubuntu.com (HTTPS и порт 11371) и lists.ubuntu.com.
Отдельно на status.snapcraft.io с 14:55 МСК открыт инцидент по Snap Store. К 21:11 МСК в major outage всё ещё были api.snapcraft.io (refresh и search), dashboard.snapcraft.io, assertions.ubuntu.com, реестр Charmhub и Serial Vault. Сайт snapcraft.io и вход login.ubuntu.com на этой странице уже Operational.
Что это значит для серверов на Ubuntu
С 21:05 по 21:08 МСК официальный архив был доступен: archive.ubuntu.com и security.ubuntu.com отдавали файлы InRelease, в том числе свежий noble-security с меткой 11 ноября 17:22 UTC, то есть 20:22 МСК. Подключённые PPA тоже отвечали: InRelease открывался и с ppa.launchpad.net по HTTP, и с ppa.launchpadcontent.net по HTTPS. Сайты ubuntu.com, canonical.com, launchpad.net, login.ubuntu.com, cloud-images.ubuntu.com, releases.ubuntu.com и discourse.ubuntu.com открывались. Сервис проверки Livepatch отвечал строкой Canonical Livepatch Health service, version v2.7.1. Файл meta-release на changelogs.ubuntu.com, по которому do-release-upgrade смотрит список релизов, тоже открывался. Сайт snapcraft.io был доступен.
В то же время keyserver.ubuntu.com не отвечал на портах 443 и 11371, lists.ubuntu.com не отвечал на 80 и 443, а запросы к api.snapcraft.io, landscape.canonical.com, images.maas.io и gopkg.in обрывались по таймауту.
На практике это сейчас означает вот что.
- Обычный
apt updateпо официальным archive.ubuntu.com и security.ubuntu.com должен проходить. Если имя вдруг не резолвится (днём из-за DNS такое уже случалось), можно временно взять зеркало из списка Launchpad - Команду
snap refreshи поиск пакетов в магазине лучше отложить, пока api.snapcraft.io не вернётся. Не стоит считать это поломкой самого snapd на машине. - Новые ключи с keyserver.ubuntu.com сейчас не скачать. Уже установленные ключи репозиториев от этого не сбрасываются: ошибка вроде NO_PUBKEY при добавлении нового источника сегодня скорее из-за недоступного кейсервера, а не из-за подмены архива.
- Клиенты Landscape до серверов Canonical сейчас не достучатся. Обновления через эту панель придётся подождать.
- Списки рассылки lists.ubuntu.com, образы для MAAS с images.maas.io, Charmhub и Serial Vault для Ubuntu Core тоже ещё лежат.
Актуальное состояние лучше сверять с status.canonical.com и status.snapcraft.io: вечером 11 ноября сервисы возвращались по одному, и картина ещё может измениться за час.
На этой неделе сбои в дата-центрах уже затрагивали Beget, Yandex Cloud в Сасово, ESTT и ActiveCloud. У Canonical формулировка другая: компания говорит о сбое в собственной инфраструктуре и пока не публикует подробностей о причине.
Архив пакетов Ubuntu компания сразу назвала не затронутым, и к вечеру 11 ноября он действительно отдавал обновления. Сайты ubuntu.com и canonical.com уже открываются. Ждут возврата snap refresh, кейсервер ключей, Landscape и несколько служебных площадок. Пока они лежат, обычные обновления через apt можно ставить, а вот обновление snap-пакетов и добавление новых ключей с keyserver.ubuntu.com лучше отложить.
