Самые долгие шесть часов в своей истории компании Facebook пришлось пережить 4 октября 2021 года, когда важнейшие ее объекты оказались недоступны. Отключение социальной сети носило поистине катастрофический характер. Единственный положительный момент, если таковой и имелся, заключался в том, что отключение это не было вызвано действиями злоумышленников. Скорее, речь шла о ране, нанесенной себе самой командой сетевых инженеров Facebook.
В первом сообщении в блоге инженеров Facebook 4 октября говорилось об изменениях в конфигурации магистральных маршрутизаторов, которые координировали сетевой трафик между ЦОДами. В результате сбоя связь между ними нарушилась. Прерывание сетевого трафика имело каскадный эффект и привело к полной остановке сервисов.
На следующий день в блоге появилась более подробная информация: «Команда, поданная с целью оценки готовности глобальной магистральной сети, непреднамеренно привела к нарушению соединений в ней и глобальному отключению ЦОДов Facebook». В системах предусмотрены отказоустойчивые процессы, выполнение которых должно предотвращать возникновение неисправностей такого рода, однако ошибка в системе аудита не позволила вовремя заблокировать выполнение команды.
Очередной пример того, как отключение машинной автоматики стало внутренней причиной возникновения полного хаоса.
Влияние машин-инсайдеров
Ошибка системы доменных имен (Domain Name System, DNS) привела к исчезновению необходимой информации из сообщений протокола BGP (border gateway protocol). В результате ни Facebook (Instagram/Whatsapp), ни другие ресурсы Интернета не могли найти адреса нужных доменов. После отказа инструмента аудита платформы оказались недоступны. Удаленная работа в компании стала невозможной, все операции требовалось инициировать локально. Представьте, сколько манипуляций приходилось выполнять, чтобы обойти вручную все технологические барьеры, которые контролировали процесс несанкционированного подключения и теперь по умолчанию переводили систему в состояние ошибки.
Затронутой оказалась и инфраструктура, поддерживавшая различные устройства Интернета вещей и сервисы внутри компании, включая средства контроля доступа, электронную почту и рабочие места сотрудников в Сети. Управление всем этим осуществлялось в Facebook собственными силами.
В результате пострадали не только те 3,5 млрд пользователей, которые обменивались своими фотографиями, сообщениями и рецептами непосредственно в социальной сети Facebook. Клиенты и сотрудники независимых организаций, решившие привязать процедуру аутентификации к Facebook, также не могли получить доступ к своим учетным записям. Отдельные пользователи, обращавшиеся для подключения к нужным им ресурсам к учетной записи Facebook, вынуждены были томиться в ожидании, поскольку доступ к интересовавшим их доменам оказался заблокирован из-за невозможности прохождения процедуры аутентификации.
Уроки, которые следует извлечь директору по информационной безопасности
Идет ли здесь речь об отрицательных последствиях технических решений, принимаемых руководителями нетехнических подразделений? По мнению Кэри Конрада, директора компании SilverSky по развитию, самопроизвольное отключение поднимает более широкую проблему организации управления в мире технологий. Вот уже более 20 лет он из раза в раз убеждается в том, что хорошее управление всякий раз оказывается лучше хороших технологий, но из-за постоянно меняющихся угроз в технологической отрасли в компаниях ради выгоды часто полагаются на неопытное руководство. В мире кибербезопасности принцип Питера проявляется в полной мере. Люди прогрессируют до своего уровня некомпетентности. Это означает, что многие из занимающих сегодня в киберпространстве руководящие должности поднялись до уровня, на котором им трудно справляться со своими обязанностями, и часто не имеют формальной технической подготовки. Директору по информационной безопасности необходимо настраивать, определять и согласовывать стоимость защиты организации, а без достаточного опыта и дисциплинированного подхода совладать с этим сложно.
Чисто рефлекторно руководству в таких случаях, очевидно, хочется наказать инженера, который инициировал обновление, но в данном случае такой посыл неверен. Реальным виновником здесь является собственная архитектура Facebook. Нарушен один из основных принципов построения сети: не допускать возникновения единых точек отказа.
Инфраструктура Facebook рухнула, когда автоматизированный процесс аудита не справился с еще не обнаруженной (или известной, но неисправленной) ошибкой.
Перечислив три урока, которые следует извлечь директорам по информационной безопасности из простоя Facebook, Том Кразит и Джо Уильямс попали в самую точку.
— Готовьтесь к худшему. Предприятиям нужен план действий на случай полной утраты доступа к вычислительным ресурсам или сетевым соединениям, а не только при потере связи с ЦОД или облачным регионом.
— Хеджируйте свои риски. Крайне маловероятно, что весь Интернет выйдет из строя одновременно. Усилия, направленные на взаимозаменяемость нескольких поставщиков услуг, зачастую вполне оправданы.
— Проверьте свои приоритеты. Операции в системе масштаба Facebook невозможны без серьезной автоматизации. А это значит, что инструменты аудита кода, подобные тому, что должен был предотвратить сбой в сети Facebook, нуждаются в дополнительном внимании.
Для Facebook 4 октября оказалось крайне неудачным днем, и образный твит профессора Гарвардской юридической школы Джонатана Зиттрейна отражает это как нельзя лучше: по сути, Facebook заперла ключи от собственного автомобиля в нем самом.