Πώς τρεις αστοχίες έγιναν μία μεγάλη κατάρρευση

Η Microsoft δημοσίευσε τη Δευτέρα την αρχική της ανάλυση για τη διακοπή που χτύπησε το Outlook, το Teams και άλλες υπηρεσίες του Microsoft 365. Το συμπέρασμα: κανένας παράγοντας δεν θα έριχνε μόνος του το σύστημα, όμως οι τρεις μαζί έφεραν αλυσιδωτή αντίδραση, όπως μεταδίδουν το iefimerida και το Digital Life.

Ο Τσαρλς Λαμάννα, εκτελεστικός αντιπρόεδρος της εταιρείας για Copilot, Agents και Platform, εξήγησε σε ανάρτηση στην πλατφόρμα X ότι η αρχή βρισκόταν σε ένα λανθάνον σφάλμα στον κώδικα. Το ελάττωμα υπήρχε από τον Ιούλιο, χωρίς να έχει δημιουργήσει ως τότε πρόβλημα.

Ο δεύτερος παράγοντας ήταν οι δικτυακές πύλες (network gateways), τα σημεία από τα οποία περνούν τα δεδομένα μεταξύ των υπηρεσιών. Η Microsoft διαθέτει δύο. Η μία δεν δούλευε σωστά για το Teams και σχεδόν όλη η κίνηση πήγε στην άλλη, που δεν είχε σχεδιαστεί για τέτοιο φορτίο.

Ο τρίτος παράγοντας ήταν η χωρητικότητα. Πάνω από το 14% των servers είχε τεθεί εκτός λειτουργίας, ενώ το iefimerida γράφει ότι η αιτία ήταν ένα διαφορετικό πρόβλημα που εμφανίστηκε την προηγούμενη ημέρα. Το αυξημένο φορτίο και η χαμένη χωρητικότητα ενεργοποίησαν το παλιό σφάλμα, τα αιτήματα στοιβάχτηκαν και οι διακομιστές έπαψαν να απαντούν. Το περιστατικό έπεσε σε ώρες αιχμής για τις ΗΠΑ.

Το Techblog.gr προσθέτει περισσότερες τεχνικές λεπτομέρειες. Κατά το δημοσίευμα, το σφάλμα βρισκόταν στο δεύτερο σύστημα gateway και είχε έρθει με μια διόρθωση φτιαγμένη ειδικά για τους gateway servers του Microsoft 365. Σε ορισμένες συνθήκες φορτίου, μια εσωτερική διεργασία κολλούσε σε «lock contention», δηλαδή ανταγωνισμό για κλειδώματα, και ο server δεν ανταποκρινόταν. Στο χειρότερο σημείο, πάνω από το 80% των servers δεν απαντούσε, και σε λιγότερο από δύο ώρες το πρόβλημα είχε απλωθεί παντού, σύμφωνα με τον Λαμάννα.

Γιατί η αποκατάσταση άργησε και γιατί δεν το είδαν οι δοκιμές

Η επαναφορά ήταν δύσκολη, γιατί κάθε server που σηκωνόταν δεχόταν αμέσως τον όγκο των αιτημάτων που περίμεναν. Όπως είπε ο Λαμάννα, οι servers «κατακλύζονταν αμέσως από την κίνηση που περίμενε να εξυπηρετηθεί» και έπεφταν ξανά. Οι αυτόματοι μηχανισμοί ανάκαμψης δεν είχαν σχεδιαστεί για τόσο εκτεταμένη αδυναμία απόκρισης.

Επειδή το σφάλμα δεν ήταν πρόσφατο, η Microsoft δεν μπορούσε απλώς να αναιρέσει μια τελευταία αλλαγή. Ο αντιπρόεδρος ανέφερε ότι οι συνήθεις διαδικασίες επαναφοράς, σταδιακής διάθεσης και οι διακόπτες λειτουργιών δεν έφερναν γρήγορο αποτέλεσμα. Το Net Week σημειώνει ότι η εταιρεία εφάρμοσε διορθωτική παρέμβαση στα συστήματα αυθεντικοποίησης και δρομολόγησης, ξεκίνησε την αποκατάσταση από την Ασία-Ειρηνικό και επέκτεινε στις 48 ώρες την αναμονή των καθυστερημένων email στις ουρές. Σύμφωνα με το iefimerida, οι υπηρεσίες αποκαταστάθηκαν τελικά έως το Σάββατο.

Το Techblog.gr εξηγεί και γιατί οι δοκιμές δεν έπιασαν το πρόβλημα. Το σφάλμα χειροτέρευε σε μηχανήματα με περισσότερους πυρήνες και νεότερο hardware, ενώ οι δοκιμές φορτίου γίνονταν κυρίως σε πιο αδύναμα μοντέλα. Τα εργαστήρια είχαν επίσης διαφορετική κίνηση και διαφορετικό μείγμα hardware από τους πραγματικούς servers. Η αλλαγή είχε απλωθεί παγκοσμίως μέσα σε λίγες εβδομάδες από τον Ιούλιο και για πάνω από τρεις μήνες δεν είχε προκαλέσει τίποτα.

Η Microsoft ζήτησε συγγνώμη και επέμεινε ότι δεν υπήρξε κυβερνοεπίθεση. Σύμφωνα με το Techblog.gr, αρνήθηκε και σύνδεση με τις χιλιάδες απολύσεις που είχε ανακοινώσει τον προηγούμενο μήνα. Ετοιμάζει τελική έκθεση με περισσότερα στοιχεία για τα αίτια και τη διαχείριση, όπως αναφέρει το iefimerida.

Οι επιπτώσεις: από την Ελλάδα μέχρι την Ιαπωνία

Το Net Week καταγράφει ότι η διακοπή, με κωδικό συμβάντος EX1550543, χτύπησε το Exchange Online και παρέσυρε το Outlook, το Teams, το Copilot, το SharePoint Online και άλλες υπηρεσίες. Στο αποκορύφωμα, οι αναφορές στο Downdetector ξεπέρασαν τις 130.000 στις ΗΠΑ. Επηρεάστηκαν, μεταξύ άλλων, η Βουλή των Αντιπροσώπων των ΗΠΑ, το βρετανικό ΕΣΥ, το χρηματιστήριο Euronext και η Maersk. Σε χρηματοοικονομικές εταιρείες της Ταϊβάν οι συναλλαγές επιβεβαιώνονταν με φαξ.

Στην Ελλάδα, ο υπουργός Ψηφιακής Διακυβέρνησης και Τεχνητής Νοημοσύνης Δημήτρης Παπαστεργίου δήλωσε στον ΣΚΑΪ ότι τα βασικά πληροφοριακά συστήματα του Δημοσίου δούλεψαν χωρίς σοβαρά προβλήματα. Οι δυσλειτουργίες περιορίστηκαν σε Outlook, Copilot και Teams στα υπουργεία που χρησιμοποιούν servers της Microsoft. Ο υπουργός είπε ότι το περιστατικό δείχνει την ανάγκη για μεγαλύτερη ψηφιακή αυτονομία και εναλλακτικές εθνικές και ευρωπαϊκές υποδομές. Εξήγησε ότι το Δημόσιο εφαρμόζει ήδη υβριδικό μοντέλο cloud: ιδιόκτητες υποδομές για τα κρίσιμα δεδομένα και υπηρεσίες cloud για τα λιγότερο κρίσιμα. Ανέφερε και τον ρόλο του υπερυπολογιστή «Δαίδαλος» στην κατηγοριοποίηση και προστασία των δεδομένων.

Στην Ιαπωνία, σύμφωνα με το Techmaniacs, που επικαλείται ιαπωνικά μέσα, επιχειρήσεις και υπηρεσίες γύρισαν σε φαξ και σταθερά τηλέφωνα. Στην περιφέρεια Μίε, όπου περίπου 7.500 δημόσιοι υπάλληλοι εξαρτώνται από το Outlook, οι αρχές ζήτησαν από τους πολίτες να επικοινωνούν προσωρινά μόνο με τηλέφωνο ή φαξ. Ο Masanao Ozaki, αναπληρωτής γενικός γραμματέας του υπουργικού συμβουλίου, επιβεβαίωσε ότι επηρεάστηκε το εσωτερικό δίκτυο των υπουργείων.