VK

С утра пришло сообщение, что нашими дронами атакован датацентр VK в Санкт-Петербурге, точнее, в Новосергиевке. Сообщается о сбоях в социальной сети, жалобах, по сообщениям повреждена подстанция 330 кВ.

Чем хорош интернет? Тем, что это достаточно прозрачная сеть, где многое можно измерить и наблюдать. Особенно это касается больших сетей — если они были, а затем пропали или сильно уменьшились, то это хорошо заметно.

Итак, куда попали и каков эффект? Датацентр в Новосергиевке (Всеволожский район, вплотную к границе Санкт-Петербурга) расположен вплотную к подстанции 330 кВ “Восточная” (почти как датацентр Яндекса во Владимире) и, вероятно, является первым собственным датацентром компании. Он построен в 2011 году на площадке бывшего испытательного центра высоковольтного аппаратостроения (ИЦВА) — поэтому к площадке подведена мощность около 20 МВт. Подстанция “Восточная” является частью энергокольца Петербурга, через нее в кольцо поступает энергия Ленинградской АЭС и ТЭЦ северо-западной части города и расходится по северным районам и Выборгу. Мощность самого датацентра ниже — публичных данных нет, но можно оценить ее до 10 МВт собственно серверов. Сообщалось о 20 тысяч серверов.

Исторически сеть VK состоит из нескольких сегментов. AS47541 — это сеть самого Вконтакте, находящаяся в Санкт-Петербурге, в основном, это vk.com и VK Video. Еще две автономные системы — AS47542 и AS28709 — это соответственно московский и региональный CDN соцсети. AS47764 — это сеть бывшего Mail.ru, в ней работает сам Mail.ru, Одноклассники, тот самый мессенджер Max и забранный у Яндекса Дзен с главной страницей. Эта сеть всегда была в Москве и к Питеру отношения не имеет. VK Cloud также размещен в Москве в разных датацентрах — группа арендует большие мощности у разных игроков, кроме того, есть два датацентра в Домодедово, где размещена как минимум одна облачная зона. VK Cloud изначально строился отдельно, в отличие от традиционного для гиперскейлеров подхода, когда собственные сервисы изначально являются первыми потребителями облака.

Атакованный датацентр — это как раз самая первая AS47541. По внешним признакам можно сказать, что датацентр пострадал заметно, хоть и сообщается, что все сервисы работают штатно. Но у сети пропали два аплинка в Питере (RETN и Telecom Italia Sparkle) и перестали отвечать примерно половина адресов автономной системы. По статистике BGP-сессий заметен резкий рост количества анонсов именно в момент ударов — это показывает, что часть маршрутов стала недоступна. На данный момент эти маршруты не восстановились — то есть эти сегменты продолжают лежать. Трафик Cloudflare это тоже показывает — часть запросов из AS упали почти до нуля. Одновременно наблюдается рост трафика из AS московского CDN, гипотетически это может свидетельствовать о переносе трафика из пострадавшей сети. Обратите внимание, что это не трафик пользователей VK, это исходящие запросы из сетей компании.

Судя по фотографиям, пострадал именно датацентр, подобное повреждение имеет последствия внутри. Что именно пострадало — оборудование энергоснабжения, вентиляционное оборудование, возможно, это последствие срабатывания системы пожаротушения, или все же повреждено сетевое и серверное оборудование, — по одному снимку сказать нельзя. Было ли возгорание и в каком масштабе — неясно. Повреждения подстанции явно не очень большие, поскольку отключения не носят значительный характер — серьезный ущерб подстанции нанести сложно и в этом случае перебои затронули бы значительную часть города. На видео с моментами удара видно, что свет гаснет, но он восстанавливается через некоторое время на большинстве объектов.

Надо смотреть на то, как восстановится трафик из замолчавших сегментов сети — это покажет масштаб ущерба. Это не Яндекс, где легло практически все облако, но тоже неплохо. Кстати, о Яндексе — там облако продолжает почти лежать, за неделю восстановления не произошло. По некоторым признакам можно предположить, что без новых ударов работу удалось стабилизировать на оставшихся зонах, возможно, спешно арендовали часть сторонних мощностей и помогают клиентам мигрировать. Тарификация Cloud остановлена до конца октября. Будем надеяться, пока.