Ένα κρυφό σφάλμα λογισμικού, το οποίο παρέμενε απαρατήρητο από τον περασμένο Ιούλιο, βρισκόταν πίσω από την εκτεταμένη βλάβη που παρέλυσε την προηγούμενη εβδομάδα βασικές υπηρεσίες της Microsoft, προκαλώντας σοβαρά προβλήματα σε επιχειρήσεις, δημόσιους οργανισμούς και εκατομμύρια χρήστες σε ολόκληρο τον κόσμο.
Το πρόβλημα ήρθε στην επιφάνεια στις 11 Νοεμβρίου, όταν μια συνηθισμένη διαδικασία ανακατεύθυνσης της διαδικτυακής κίνησης ενεργοποίησε το σφάλμα, προκαλώντας διαδοχικές καταρρεύσεις διακομιστών που υποστηρίζουν το Outlook, το Teams, τον ψηφιακό βοηθό τεχνητής νοημοσύνης Copilot και άλλες υπηρεσίες.
Σύμφωνα με το Bloomberg, η Microsoft χρειάστηκε περίπου 30 ώρες από την εκδήλωση των πρώτων προβλημάτων μέχρι να αρχίσει να εφαρμόζει τη διορθωτική παρέμβαση, καθώς τα αυτοματοποιημένα συστήματα που είχαν σχεδιαστεί για να διατηρούν τις υπηρεσίες ενεργές συνέβαλαν τελικά στην εξάπλωση της βλάβης.
Οι λεπτομέρειες περιλαμβάνονται σε προκαταρκτική έκθεση που απέστειλε η εταιρεία στους πελάτες της αργά την Κυριακή (15/11).
Πώς ξεκίνησε η βλάβη στις 11 Νοεμβρίου
Η αλληλουχία των προβλημάτων ξεκίνησε λίγο μετά τις 8 το βράδυ της 11ης Νοεμβρίου, ώρα Νέας Υόρκης, όταν η διαδικτυακή κίνηση από την υπηρεσία τηλεδιασκέψεων και ανταλλαγής μηνυμάτων Teams ανακατευθύνθηκε αυτόματα σε ξεχωριστό σύστημα διακομιστών, το οποίο εξυπηρετούσε επίσης το Outlook.
Η αλλαγή αυτή συνέπεσε με μια ήδη περιορισμένη διαθεσιμότητα διακομιστών, εξαιτίας άλλου, ανεξάρτητου προβλήματος που είχε παρουσιαστεί νωρίτερα την ίδια εβδομάδα.
Ο συνδυασμός των δύο παραγόντων ενεργοποίησε το σφάλμα λογισμικού, με αποτέλεσμα η απροσδόκητη αύξηση της κίνησης να εξαντλεί τη διαθέσιμη μνήμη των διακομιστών.
Σταδιακά, όλο και περισσότεροι διακομιστές άρχισαν να τίθενται εκτός λειτουργίας.
Το πρόβλημα επιδεινώθηκε από τα αυτοματοποιημένα συστήματα της Microsoft, τα οποία επιχείρησαν να αντιμετωπίσουν τις αστοχίες μεταφέροντας μηνύματα ηλεκτρονικού ταχυδρομείου και διαδικτυακή κίνηση σε άλλους διακομιστές που θεωρούνταν λειτουργικοί.
Ωστόσο, η μεταφορά της κίνησης ενεργοποιούσε το ίδιο σφάλμα και στους νέους διακομιστές, δημιουργώντας έναν φαύλο κύκλο διακοπών λειτουργίας.
Χρειάστηκαν 15 ώρες για να εντοπιστεί η έκταση του προβλήματος
Παρά τις συνεχείς αστοχίες, η Microsoft δεν αντιλήφθηκε αμέσως ότι αντιμετώπιζε ένα πολύ μεγαλύτερο συστημικό πρόβλημα.
Χρειάστηκαν περίπου 15 ώρες μέχρι να αναγνωρίσει την πραγματική έκταση της βλάβης, στις 11:30 το πρωί της 12ης Νοεμβρίου, ώρα Νέας Υόρκης.
Η χρονική στιγμή συνέπεσε με την κορύφωση της επιχειρηματικής δραστηριότητας στις Ηνωμένες Πολιτείες, όταν η ζήτηση για υπηρεσίες ηλεκτρονικού ταχυδρομείου και συνεργασίας ήταν ιδιαίτερα αυξημένη.
Ακολούθησαν άλλες 15 ώρες τεχνικών ελέγχων και αντιμετώπισης προβλημάτων, προτού η εταιρεία αρχίσει να εφαρμόζει τη διόρθωση.
Στο μεταξύ, η καθημερινή λειτουργία πολλών εταιρικών και κυβερνητικών πελατών της Microsoft είχε διαταραχθεί σοβαρά.
Οι χρήστες αδυνατούσαν να αποκτήσουν πρόσβαση στα ηλεκτρονικά τους μηνύματα, οι προσκλήσεις συσκέψεων στο Teams δεν έφταναν στους παραλήπτες και εργαζόμενοι αναγκάζονταν να καταφεύγουν σε τηλεφωνικές επικοινωνίες, ακόμη και σε χαρτί και στιλό, για να συνεχίσουν τη δουλειά τους.
Εκτός λειτουργίας πάνω από το 80% των διακομιστών του Outlook
Σύμφωνα με το αναλυτικό χρονολόγιο που δημοσιοποίησε η Microsoft προς τους χρήστες της πλατφόρμας Microsoft 365, η κατάσταση επιδεινώθηκε δραματικά την Πέμπτη.
Στο χειρότερο σημείο της κρίσης, περισσότερο από το 80% των διακομιστών που υποστηρίζουν το Outlook δεν ανταποκρινόταν.
Η έκταση της βλάβης εξηγεί γιατί η αποκατάσταση αποδείχθηκε πολύ πιο χρονοβόρα σε σχέση με συνηθισμένα περιστατικά διακοπής λειτουργίας διαδικτυακών υπηρεσιών, τα οποία κατά κανόνα επιλύονται μέσα σε λίγες ώρες.
Κάθε φορά που ένας διακομιστής επανερχόταν σε λειτουργία, δεχόταν αμέσως τεράστιο όγκο συσσωρευμένης κίνησης, με αποτέλεσμα να υπερφορτώνεται και να καταρρέει εκ νέου.
Παράλληλα, οι προσπάθειες επαναφοράς πρόσφατων ενημερώσεων λογισμικού δεν είχαν αποτέλεσμα, καθώς το πραγματικό πρόβλημα βρισκόταν στο σύστημα ήδη από τον Ιούλιο.
Γιατί οι έλεγχοι της Microsoft δεν εντόπισαν το σφάλμα
Ένα από τα σημαντικότερα ερωτήματα που προέκυψαν μετά το περιστατικό ήταν πώς ένα τόσο σοβαρό σφάλμα κατάφερε να παραμείνει απαρατήρητο για περίπου τέσσερις μήνες.
Η Microsoft εφαρμόζει συνήθως διαδικασίες δοκιμών πριν από την ευρεία εγκατάσταση αλλαγών στα συστήματά της.
Οι δοκιμές πραγματοποιούνται αρχικά σε εργαστηριακό περιβάλλον και στη συνέχεια σε περιορισμένα τμήματα του δικτύου, προκειμένου να εντοπίζονται προβλήματα πριν επηρεαστεί μεγάλος αριθμός χρηστών.
Ωστόσο, σύμφωνα με τον Τσαρλς Λαμάνα, εκτελεστικό αντιπρόεδρο της Microsoft που εποπτεύει τις εφαρμογές εργασίας της εταιρείας, οι συνθήκες που προσομοιώθηκαν στις δοκιμές δεν ανταποκρίνονταν στην πραγματική λειτουργία των συστημάτων.
Ειδικότερα, τόσο τα πρότυπα διαδικτυακής κίνησης όσο και ο εξοπλισμός που χρησιμοποιούνταν στα εργαστήρια διέφεραν από εκείνα που αντιμετώπισαν οι διακομιστές κατά τη διάρκεια της κρίσης.
Η Microsoft επικεντρώνει συνήθως τις δοκιμές της σε παλαιότερα συστήματα με χαμηλότερη υπολογιστική ισχύ, ώστε να διαπιστώνει εάν μια νέα αλλαγή μπορεί να δημιουργήσει προβλήματα στα πιο αδύναμα σημεία των υποδομών της.
Στη συγκεκριμένη περίπτωση, όμως, το σφάλμα αποδείχθηκε περισσότερο καταστροφικό για νεότερους και ισχυρότερους διακομιστές, με αποτέλεσμα να μην εντοπιστεί από τις καθιερωμένες διαδικασίες ελέγχου.
Η συγγνώμη της Microsoft και το ζήτημα της εξάρτησης από έναν πάροχο
Η εκτεταμένη διακοπή λειτουργίας αποτέλεσε σημαντικό πλήγμα για τη Microsoft, αναδεικνύοντας παράλληλα τους κινδύνους που δημιουργεί η μεγάλη εξάρτηση επιχειρήσεων και δημόσιων οργανισμών από έναν και μόνο τεχνολογικό πάροχο.
Ο Τσαρλς Λαμάνα ζήτησε δημόσια συγγνώμη νωρίς τη Δευτέρα, με ανάρτησή του στην πλατφόρμα X, παρουσιάζοντας πρόσθετες λεπτομέρειες για τα αίτια της βλάβης.
Η μετοχή της Microsoft κατέγραφε πτώση περίπου 1% στις 14:29 της Δευτέρας, ώρα Νέας Υόρκης, σύμφωνα με τα στοιχεία του Bloomberg.
Το περιστατικό ανέδειξε μια κρίσιμη αδυναμία των σύγχρονων υποδομών cloud: οι μηχανισμοί αυτοματοποιημένης αποκατάστασης, που έχουν σχεδιαστεί για να περιορίζουν τις διακοπές υπηρεσιών, μπορούν υπό ορισμένες συνθήκες να επιταχύνουν την εξάπλωση μιας τεχνικής αστοχίας.
Στην περίπτωση της Microsoft, ένα σφάλμα που παρέμενε κρυμμένο επί μήνες μετατράπηκε σε παγκόσμια κρίση όταν μια συνηθισμένη λειτουργία του δικτύου προκάλεσε αλυσιδωτή κατάρρευση των συστημάτων.
