«Я просто хотів почистити кеш»: як новачок за 10 хвилин знищив сервери фінтех-стартапу на $120,000

Типовий робочий вівторок у перспективному фінтех-стартапі не віщував нічого поганого. Молодий джуніор-розробник отримав просте та рутинне завдання від ліда: оптимізувати витрати на хмарні сервери та очистити застарілі тимчасові файли. Проте вже за десять хвилин після початку роботи компанія повністю зникла з інтернету.

Бажаючи вразити команду швидкістю виконання, новачок звернувся за допомогою до штучного інтелекту. Він попросив чат-бота написати скрипт для автоматичного видалення непотрібних ресурсів. AI згенерував код бездоганно, але з однією маленькою деталлю: скрипт сприйняв головну базу даних компанії як «тимчасове сміття» через дивний прапорець у налаштуваннях.

Read nextП’ятничний жах у дата-центрі: Як одна помилка в коді зупинила роботу міжнародного сервісу на пів доби

За лічені хвилини автоматика стерла не лише основну базу даних із транзакціями тисяч користувачів, а й усі її репліки. Найстрашніше з'ясувалося пізніше: права доступу у розробника були максимальними, бо старшим колегам було «ліньки налаштовувати окремий доступ», а бекапи зберігалися в тому ж самому місці й теж пішли під ніж.

Спроби врятувати ситуацію перетворилися на абсурдний фарс. Коли панікуючі інженери написали у підтримку хмарного провайдера, автоматичний бот чотири години відповідав їм шаблонними фразами про те, як чудово, що вони змогли зекономити гроші на серверах. А живий оператор, який нарешті підключився до чату, лише знизав плечима: ви самі запустили скрипт зі своїм паролем, тож претензій бути не може.

Your brand, right here.Reach story-obsessed listeners in 45+ languages → advertise on Avonetics

Мережа вже вибухнула дискусіями. Один із коментаторів зазначив, що звільняти у такій ситуації треба не джуніора, а CTO, який дозволив новачку ходити на продакшн із правами суперадміна. Інший додав, що ситуація з техпідтримкою хмарних гігантів давно стала мемною, адже пробитися крізь їхніх роботів під час справжнього аварійного стану майже неможливо.

Загальні збитки компанії від 18 годин простою вже перевищили $120,000, а відновлювати дані довелося буквально по шматочках із залишкових логів.

А от як саме ведучі підкасту розбирають цей епічний техно-факап, кого вони вважають головним винуватцем катастрофи та як не повторити подібних помилок — слухайте у свіжому випуску «Гаряча Лінія»!