![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
elglinНа работе сгорел к херам центральный свитч фабрики, уронив автомат PDU-шки. Не умерло почти ничего, что говорит о том, что, с одной стороны, мы все-таки не клинические болваны, но с другой - что хозяйство подзапущено. Умереть должно было ничего, но мы проморгали сдохший фибер-порт на одном сервере.
Грусть, печаль, ему шесть лет, сейчас постгарантийка ищет варианты на полную замену. Альтернатива - вынуть из теплого запаса десятилетний свитч, оставив некритичные сервера без второй ноги на сторадж. От хорошей жизни так не делают, но хорошая жизнь давно кончилась.
Бритье яка до бета-релиза подвигается с трудом, хотя после освоения pytest задача регрессионного тестирования упростилась. Проблема в том, что конкретно этот релиз перефигачивает полностью два куска логики, которые нельзя перефигачить покусочно. Ненавижу большие PR, но с альтернативами плохо.
Еще внезапно начали двигаться два проекта из долгого ящика, которые должны были лежать мертвым грузом до конца июня. С одной стороны, плюс, с другой стороны - и где под это найти человеко-часы?
И еще ремонт, будь он трижды неладен, который а) надо закончить до августа, чтобы спокойно уйти в поход б) надо еще понять масштабы бедствий, а то изначальная идея жены мне сразу напомнила тот анекдот про новую машину к новому лаку для ногтей в) надо бы еще деньги на него найти - не то, чтобы это прямо мегаквест, но бюджет ой не резиновый.
Грусть, печаль, ему шесть лет, сейчас постгарантийка ищет варианты на полную замену. Альтернатива - вынуть из теплого запаса десятилетний свитч, оставив некритичные сервера без второй ноги на сторадж. От хорошей жизни так не делают, но хорошая жизнь давно кончилась.
Бритье яка до бета-релиза подвигается с трудом, хотя после освоения pytest задача регрессионного тестирования упростилась. Проблема в том, что конкретно этот релиз перефигачивает полностью два куска логики, которые нельзя перефигачить покусочно. Ненавижу большие PR, но с альтернативами плохо.
Еще внезапно начали двигаться два проекта из долгого ящика, которые должны были лежать мертвым грузом до конца июня. С одной стороны, плюс, с другой стороны - и где под это найти человеко-часы?
И еще ремонт, будь он трижды неладен, который а) надо закончить до августа, чтобы спокойно уйти в поход б) надо еще понять масштабы бедствий, а то изначальная идея жены мне сразу напомнила тот анекдот про новую машину к новому лаку для ногтей в) надо бы еще деньги на него найти - не то, чтобы это прямо мегаквест, но бюджет ой не резиновый.
(no subject)
Date: 2020-05-14 02:24 pm (UTC)-
ошибок не давал или просто не мониторился?
(no subject)
Date: 2020-05-14 03:18 pm (UTC)Датастор виделся по сдохшей фабрике, все было норм. Поскольку это блейд и географически не здесь, сложно понять, что там такое - отошедший контакт на бэкплейне у сервера или блейдового свитча или еще что. Но на свитче было No_Sync, разбираться времени не было - просто завалили хост и подняли машины заново.
(no subject)
Date: 2020-05-14 03:49 pm (UTC)оно само не сработало по all path down ?
(no subject)
Date: 2020-05-14 05:13 pm (UTC)У нас был отключен HA, потому что за несколько дней до этого шатали сеть, и HA сходил с ума, а потом у нас лег вЦентр (внутренний серт заэкспайрился через 2 года, а не штатные 5 после установки), только сегодня починили с помощью суппорта.
То есть наложилось несколько слабо зависимых джепп, и получился зачетный шмяк. У опердежурного огонь неделька выдалась.
(no subject)
Date: 2020-05-14 05:39 pm (UTC)-
(no subject)
Date: 2020-05-14 05:41 pm (UTC)(no subject)
Date: 2020-05-14 05:49 pm (UTC)