Выбирая дата-центр, нужно учесть массу факторов. Кому принадлежит дата-центр? Что насчёт каналов связи, какой у него аптайм? Резервное питание? Пожарная безопасность? Охрана? И это только начало огромного списка вопросов и требований к стандартам ЦОДа.
Очевидно, что все дата-центры отличаются по характеристикам. Сравнивать их можно по сотням параметров, но существует единый показатель надежности по совокупности всех факторов. Это стандарт Tier. Достаточно назвать цифру от одного до четырёх — и становится в общих чертах понятно, чего ожидать от дата-центра.
Классификация ЦОД
Стандарт Tier I
Базовый уровень. Чтобы ему соответствовать, нужно наличие ИБП, выделенной системы охлаждения и генератора.
Стандарт Tier II
Добавляются резервные компоненты, аккумуляторы, холодильные установки, насосы, теплообменники, топливные баки, топливные элементы
Стандарт Tier III
Отличительный признак — избыточность компонентов, которые гарантируют обслуживание компонентов без их отключения. Любой модуль дата-центра можно отключить без влияния на его работоспособность. Подавляющее число коммерческих ЦОД в России соответствуют Tier 3
Стандарт Tier IV
Максимальный уровень на сегодняшний день. Дополнительно к предыдущему уровню требуется наличие нескольких независимых и физически изолированных систем, которые действуют как резервные компоненты для раздельных сетей питания. Такое разделение необходимо, чтобы какое-то одно событие не поставило под угрозу обе системы.
Конечно, это очень сильное упрощение. Реальная жизнь сложнее, чем просто четыре цифры. Например, дата-центр может соответствовать всем требованиям Tier 4, но не иметь официального сертификата на этот уровень. Обычно причина в стоимости сертификации — в пересчёте на стойку она весьма значительна, а после прохождения процедуры сертификации дополнительные расходы приходится перекладывать на клиентов.
История
Единую систему стандартов Tier в 2005 году разработал Uptime Institute (Институт аптайма) — научно-исследовательское учреждение, созданное в 90-е годы для классификации и сертификации дата-центров.
Создатели исходили из нужд бизнес-клиентов, которые не могли разобраться в многообразии технических характеристик и нуждались в простой системе классификации дата-центров.
Необходимость сертификации была понятна, поскольку к тому моменту существовали другие стандарты сертификации ЦОД. Некоторые из них по-прежнему актуальны.
- SAS 70 (до 2011 года), SSAE 16 (до 2017 года), SSAE 18 (текущий стандарт)
- SOC 1, 2, 3. Отчёт Service Organization Control (SOC) составляется по результатам аудита Statements on Standards for Attestation Engagements (SSAE)
- и другие (например, существует ряд национальных требований к информационным системам, в том числе российские стандарты ГОСТ Р 58811-2020 и 58812-2020)
Аптайм
Если максимально обобщить суть сертификации дата-центров Tier, то они сводятся к одному — время аптайма, то есть время непрерывной работы ЦОД.
| Tier I | Tier II | Tier III | Tier IV | |
|---|---|---|---|---|
| Uptime (аптайм) | 99,671% | 99,741% | 99,982% | 99,995% |
| Время простоя | меньше 28,8 ч (1729 мин) | 22 ч (1361 мин) | 95 мин | 26 мин |
Uptime — этот параметр можно перевести в количество минут простоя (в год). Здесь разница между уровнями Tier более наглядная.
Время простоя
Время непрерывной работы или время простоя в год — универсальный показатель, который гибко реагирует на изменения в отрасли. Он допускает любое проектное решение, лишь бы оно отвечало требованиям доступности, избыточности и отказоустойчивости, что в конечном счёте влияет на аптайм.
Такая свобода действий означает технологическую нейтральность, широкий спектр инфраструктурных и системных решений. Никакого фиксированного набора технологий. Стандарты легко охватывают технологии в дата-центрах, такие как модульные ЦОД, передовые подходы к электропитанию и охлаждению.
Резервирование электропитания
Ключевой параметр, который обеспечивает надёжность работы и высокий аптайм, — это резервирование электропитания.
В частности, уровень Tier IV требует наличия системы резервирования 2(N+1), то есть двукратное резервирование плюс одна дополнительная система на случай технического обслуживания одной из двух основных. Это максимальный уровень надёжности. Такой реализован в дата-центре «Миран».
В целом сводка требований стандарта Tier выглядит следующим образом.
Cводка требований стандарта Tier
В таблице собраны все требования, определяющие четыре различных уровня классификации стандарта Tier. Распределение бесперебойного энергоснабжения определяется в данной таблице как участок схемы от выходов ИБП до ИТ-нагрузки.
| Tier I | Tier II | Tier III | Tier IV | |
|---|---|---|---|---|
| Минимальное кол-во активных компонентов, поддерживающих ИТ-нагрузку | N | N+1 | N+1 | N после любого отказа |
| Каналы распределения — входной участок системы энергоснабжения | 1 | 1 | 1 активный, 1 запасной | 2 активных одновременно |
| Распределение бесперебойного энергоснабжения | 1 | 1 | 2 активных одновременно | 2 активных одновременно |
| Возможность обслуживания без остановки оборудования | Нет | Нет | Да | Да |
| Отказоустойчивость | Нет | Нет | Нет | Да |
| Секционирование | Нет | Нет | Нет | Да |
| Непрерывное охлаждение | Нет | Нет | Нет | Да |
Основной принцип стандарта Tier
В отношении топологии основной принцип очень простой: уровень Tier топологии всей площадки соответствует уровню слабейшей подсистемы, влияющей на работу площадки. Например, площадка с надёжной конфигурацией ИБП уровня Tier IV и системой чиллерного охлаждения уровня Tier II будет иметь итоговый рейтинг Tier II.
Это действительно жёсткий принцип. Получается, что площадка может соответствовать абсолютно всем требованиям уровня Tier IV, кроме одного мелкого требования — и по этой причине не получит сертификат Tier IV. По идее разработчиков стандарта, такой крайне жёсткий подход отвечает пожеланиям топ-менеджеров, которые принимают решения о многомиллионных инвестициях и хотят иметь объективную картину возможностей ЦОДа.
По этой причине уровни Tier не бывают дробными. Не бывает уровня Tier 2.5 или 2.9. Или площадка полностью соответствует Tier 3, или остаётся на втором уровне.
Стандарт Tier топологии инфраструктуры ЦОД описывает базовые требования к топологии площадки, в том числе:
- Генераторные системы. Энергогенерирующие системы площадки (например, дизель-генераторы) рассматриваются как основной источник электроснабжения. Местная электрическая сеть — всего лишь экономичная альтернатива. Перебои в электрической сети считаются не аварийной ситуацией, а ожидаемым рабочим условием.
- Расчётные значения температуры окружающего воздуха.
- Телекоммуникации.
- Подпиточная вода (в случае чиллерного охлаждения)
Дополнительный стандарт Tier по операционной устойчивости дополняет стандарт топологии инфраструктуры ЦОД и определяет требования к производительности в отношении конфигурации оборудования электроснабжения и охлаждения, включая возможности резервирования, планового технического обслуживания и реагирования на отказ без воздействия на критическую нагрузку. В этом дополнительном стандарте описаны требования конкретно по обслуживанию ЦОДа.
Например, так выглядит категория подбора персонала и организационной структуры для уровней Tier I, II, III и IV:
Подробнее о каждой сфере применения стандарта см. в документации.
Документация
На официальном сайте можно найти полную документацию по стандартам Tier, в том числе частично на русском языке:
- Стандарт Tier: топология
- Стандарт Tier: операционная устойчивость
- Техническая документация Tier: параметры двигателя-генератора
- Техническая документация Tier: подпиточная вода контура охлаждения
- Техническая документация Tier: непрерывное охлаждение
- Техническая документация Tier: требования по электропитанию
Сертификаты
Институт аптайма разработал три программы сертификации для дата-центров. Эти программы действуют на разных стадиях жизненного цикла ЦОД.
- Проект. Оценка соответствия проектной документации, применяемых решений, мощности, инженерных требований объекта, а также архитектуры и месторасположения.
- Строительство. Проверка, что объект построен в соответствии с проектной документацией, прошедшей сертификацию Tier (см. выше). Демонстрация ключевых систем в реальных условиях для подтверждения соответствия требованиям.
- Стабильная работа. Всесторонняя оценка практики управления и эксплуатации объекта. Выявление проблем, которые могут поставить под угрозу надёжность.
Не каждый дата-центр может позволить себе сертификацию Tier, потому что это дорогая процедура. За 16 лет существования стандарта выдано немногим более 2500 сертификатов.
Институт аптайма подчёркивает, что аудит и сертификация — это не просто оформление документа, а эффективная процедура по оптимизации бизнеса. То есть она выгодна владельцам дата-центра, поскольку помогает повысить эффективность, снизить риски и затраты, а также обеспечить высочайший уровень производительности инфраструктуры.
Для некоторых операторов получение сертификата — это стимул провести необходимую модернизацию оборудования, обеспечить резервирование питания и каналов связи. В таком случае сертификация действительно помогает в бизнесе. Понятно, что добиться высокой надёжности можно и без сертификации. Но документ с уровнем Tier автоматически повышает статус ЦОД в глазах клиентов.
По мере внедрения инновационных технологий они включаются в стандарт Tier, так что документация обновляется. Но сам целевой показатель остаётся неизменным. Таким образом, стандарт Tier Standard сегодня такой же актуальный, как и в момент его разработки. По сути, такой стандарт не может устареть, разве что цифры аптайма для разных уровней Tier могут подкорректировать. Например, сегодня максимальная надёжность соответствует уровню Tier 4 с аптаймом 99,995%, максимум 26 минут простоя в год. Возможно, через десять лет в Tier 4 будут брать только пять девяток.