Надеюсь я не назову так отдельную рубрику.
В сегодняшний выходной день произошла одна веселая ситуация. Это одновременно пиздец весело с точки зрения наблюдателя за пивком и пиздец больно с точки зрения devops-инженера. Учитывая субботу, весеннее солнце за окном и интересную корейскую дораму, которая была прервана.
Представьте себе — время в районе 12:00 — новый образ контейнера выкачивается из registry успешно, деплой сервиса проходит как ожидается, поды стартуют и все замечательно.
Время в районе 13:00 — начинают, значит, катить второй, совершенно независимый от первого сервис — но при попытке выкачать образ контейнера и docker registry вылетает event с 403й ошибкой. Падает и падает ошибка. Под не стартует — ImagePullBackOff…
Как так, ведь вот только недавно выкатался первый раз успешно? Как оказалось, мы наткнулись на мину — после запуска деплоя первого сервиса случилась авторотация пароля от учетной записи, которая ходит в docker registry. И НИ ОДИН новый сервис теперь не хочет выкатываться.
То ли первый деплой послужил триггером, то ли так великолепно вписались в TTL для пароля… Так великолепно, что на поиск причины убили часа 3 — обивали пороги нескольких дежурок, звонили-писали коллегам и еще затем часа полтора на способы обновления пароля из vault в ServiceAccount в неймспейсе.
(далее…)
