Perjantai-illan koodivirheestä tuli 180 000 euron painajainen: "Heräsin lauantaina ja piippaus ei loppunut"

Perjantai-ilta oli tekijälleen tavallinen, kun pienessä ohjelmistoalan yrityksessä päätettiin ajaa tuotantoon viime hetken kuvanpäsittelypäivitys. Muutos oli pienen tuntuinen, ja kehittäjä sulki tietokoneensa viikonlopun viettoon tyytyväisin mielin. Lauantaiaamuna todellisuus iski vasten kasvoja tylyllä tavalla.

Toimitusjohtajan puhelin täyttyi pilvipalveluntarjoajan hälytysviesteistä. Yön aikana viattomalta vaikuttanut koodipätkä oli jäänyt jumiin äärettömään rekursiiviseen silmukkaan. Automaattisesti skaalautuva pilvialusta teki tarkalleen mitä koodi pyysi: se lisäsi suoritustehoa ja ajoi toimintoa satoja kertoja sekunnissa.

Read nextUSB-katastrofi oven takana? Miksi jätämme tikut kiinni ja mitä sinun pitäisi TIETÄÄ!

Kun kehittäjä heräsi ja tarkisti järjestelmän tilan, pilvipalvelun lasku oli ylittänyt jo 180 000 euroa. Mittari raksutti lisää kuluja satojen eurojen minuutissa tahdilla. Automaatio oli suorittanut yön aikana yli kaksi sataa miljoonaa toimintoa kenenkään huomaamatta.

Verkkoyhteisöissä tapaus herätti välittömästi kiivasta keskustelua. Eräs kommentoija ihmetteli, miksi pilvipalveluissa ei ole oletuksena päällä minkäänlaista hätäjarrua, joka pysäyttäisi järjestelmän budjetin ylittyessä. Toinen taas muistutti koodareiden omasta vastuusta ja totesi, että pilvi toimii täsmälleen niin kuin se on käsketty toimimaan – oli se järkevää tai ei.

Paniikinomaisen aamupäivän aikana tiimi yritti epätoivoisesti sammuttaa järjestelmää. Lopulta koko tili oli suljettava väkisin, jotta rahanmeno saatiin loppumaan. Pitkien neuvottelujen ja mediamylläkän jälkeen pilvipalveluyhtiö päätyi armahtamaan nuoren yrityksen ja mitätöi jättilaskun poikkeusluvalla.

Bitti Poikittain -podcastin juontajat ruotivat tätä eeppistä pilvikatastrofia ja sen teknisiä yksityiskohtia tuoreimmassa jaksossa.