POST-DC – Telegram
POST-DC
378 subscribers
213 photos
4 videos
60 files
131 links
Частные наблюдения о рынке ЦОД от Игоря Дорофеева, президента Ассоциации отрасли ЦОД, гендиректора ООО "АйКорд".

Краткие оперативные заметки и наблюдения без особой редактуры.

Личное мнение автора не всегда совпадает с официальной позицией Ассоциации.
Download Telegram
Channel created
Легенда:
Частный канал о разных вопросах в области ЦОД президента Ассоциации отрасли ЦОД Игоря Дорофеева.

Краткие оперативные заметки и наблюдения без особой редактуры.

Частное мнение автора не всегда совпадает с официальной позицией организации.
POST-DC pinned «Легенда: Частный канал о разных вопросах в области ЦОД президента Ассоциации отрасли ЦОД Игоря Дорофеева. Краткие оперативные заметки и наблюдения без особой редактуры. Частное мнение автора не всегда совпадает с официальной позицией организации.»
Периферийные ЦОДы: сервер на столбе или нормальный капстрой?

В последнее время, весьма популярная, тема, скажу я вам. Edge, периферийные, пограничные - крайне популярное слов. И никто до конца не понимает, что это такое.

Распространенным заблуждением является привязка эйджей к размеру. Дескать, они вынесены на периферию, ближе к абоненту, с малой задержкой первыми обрабатывают информацию. Типа, мачта с коробкой с серваками, стоящая вдоль трассы, взаимодействует с транспортом, может даже беспилотным. Мобильных операторов прочат в операторы сети периферийных ЦОД. Все вендоры, которые сделали более-менее автономное решение на один шкаф, сразу записывают его в периферийный.
Очень хороший пример приводил наш общий знакомый, которого судьба мотает с профессиональными сервисами по всему миру. В Индии банкомат - это уже не банкомат, а многофункциональный центр, где тебе и фото сделают и карточку выпустят и договор распечатают и в местные госуслуги запустят, и все на автомате. Кстати, делаем в уме засечку, зрелость отечественного рынка периферийных ЦОД - никакая даже по сравнению с развивающимися странами.

В противовес вот таким раздутым базовым станциям, в мире на практике эйджи достигают значений мощности даже до 10 мегаватт. Кстати, это весьма неплохо перекликается, что МТС свои капитальные ЦОДы в Новосибе, Нижнем и т.д. называет эйджами, если не путаю конечно.

Возвращаемся к сути определения. ЦОДы, которые первыми взаимодействуют с абонентами. Значит это функциональное понятие из области ИТ, и зависит от способа получения, обработки и выдачи данных. Как вам модель: мощный мультимегаваттный edge-ЦОД расположен у крупного города и обслуживает многочисленных клиентов as soon as, а маленький или немаленький ЦОДик вдали (м.б. из соображений безопасности или дешевизны ресурсов) является системообразующим. С ног на голову, и обратно.

Не знаю останется ли рынок периферийных ЦОД за операторами мобильной связи, но очень хочется отдельного инфраструктурного оператора, а-ля "Русские башни" или "Вертикаль", если смотреть на схожее инфраструктурное направление в мобилке.
ЦОД: клиентоориентированный vs ресурсноориентированный

Общеизвестно, что отечественный рынок ЦОД жутко геоцентричен, в коммерческих ЦОДах Москва и Подмосковье, Питер и окрестности весят 85%, и только оставшиеся 15 процентов - это ЦОДы на просторах Родины. С учётом новых проектов в столичных регионах в ближайшее время дисбаланс будет только усиливаться.

Общие причины геоцентричности понятны: здесь люди, деньги, высокий уровень ИТ-проникновения и ИТ-компетенций. Такую модель, можно назвать клиентоориентированной (далее для краткости КОМ).

В противоположность этому подходу, можно определить ресурсноориентированную модель (аналогично РОМ). Ну действительно, ЦОД - дело дорогое и возможность сэкономить ресурсы дело благое и теоретически привлекательное. Ресурсов может быть много, основные в порядке важности: электричество, связь, земля. А вот холодный климат, особенно экстремально холодный, которым так любят оперировать "что-то слышавшие" вещь весьма спорная. Впрочем, это тема для отдельного поста.
Самый известный ЦОД, построенный по РОМ - площадка в Удомле вблизи Калининской АЭС. И верно, самый интересный и востребованный ресурс - дешевое электричество. Это давно распробовали майнеры, у которых без всяких накруток на ИТ- и прочие услуги, стоимость киловатт/часа = доходу. Связь безусловно важна, но притащить каналы связи будет подешевле, чем строить ЛЭП от генерирующих мощностей.

На западе по РОМ построено достаточно большое количество ЦОД, особенно гипермасштабируемых. В чем же причина, что у нас это направление тормозит?

Первое, что нужно отметить это отстающая зрелость рынка. Отечественные гиперскейлеры (Яндекс, Сбер), так и делают и уже пошли к подключениям по высокой стороне или присаживаются на генерацию, но их мало и доля рынка наших гиперов явно меньше мирового распределения.
Вторая причина - большая территориальная протяженность страны и ограниченность каналов связи. В той же Москве обеспечить связность ЦОДов на два порядка легче, 50-70 операторов любого масштаба, межцодовские и собственные ВОЛС это норма.
Ну третьим фактором, является высококонкурентный рынок Москвы, в том числе и по ресурсам - энергетике. Зачем идти в регионы, где местные "царьки" проигрывают по стоимости ресурсов деловой столице.

Что и когда должно измениться, чтобы сдвинуть текущую клиентскую модель в ресурсную?

Если говорить о значимых причинах, то их по большому счету две. Во-первых, в Москве должно закончится место и дешёвая электроэнергия. Ну, а если без шуток, то вторая причина связана с ростом плотности ИТ-оборудования. Если оно будет потреблять много, то это нарушит баланс экономики ЦОД в пользу экстремально дешёвого электричества, и здравствуйте, майнеры, просим подвинуться. Немаловажным фактором, также является исполнение ИТ-оборудования: типовое, автоматизированное, стойкое к внешним воздействиям.
Сколько ждать этого момента, лет 5-10?
Мифы о региональных ЦОДах: фокусы с разоблачением

В продолжение предыдущего поста.

В 2020 году после очередного разговора с "инвестором", который традиционно вывалил все типичные заблуждения, меня бомбануло, я сел и на одном дыхании написал популярную в определенных кругах статью "Хочу построить ЦОД. Десять откровений для начинающих" https://dcvoice.ru/index.php?noscript=%C2%AB%D0%A5%D0%BE%D1%87%D1%83_%D0%BF%D0%BE%D1%81%D1%82%D1%80%D0%BE%D0%B8%D1%82%D1%8C_%D0%A6%D0%9E%D0%94%C2%BB._10_%D0%BE%D1%82%D0%BA%D1%80%D0%BE%D0%B2%D0%B5%D0%BD%D0%B8%D0%B9_%D0%B4%D0%BB%D1%8F_%D0%BD%D0%B0%D1%87%D0%B8%D0%BD%D0%B0%D1%8E%D1%89%D0%B8%D1%85.

Прошло три года, краткий итог - не изменилось почти ничего.

Особую боль по запросам продолжают оказывать запросы от региональных ЦОД, особенно те, у которых есть доступ к дешёвой генерации, они попробовали вкус майнинговых клиентов, и решили, а теперь мы присадим к нам на площадку классические ЦОДы. Некоторые даже "упаковывают" свои проекты весьма интересно, собирая в описании все существующие на текущий момент баззворды. Но для вынужденной привлекательности проекта, продолжают страдать гигантоманией.
Кто они, люди которые угадали или которые опередили время, узнаем через несколько лет.

Итак, наиболее актуальные типичные заблуждения (с повтором 10 откровений).

Миф №1. Мы построим инфраструктурную площадку, а клиенты сами набегут. Разоблачение: ЦОДы элементы, обеспечивающие ИТ и сильно дорогое дело. Если нет экономических предпосылок и развитого уровня ИТ, то весьма вероятно, что для клиента найдется более привлекательное место для размещения. Плюс должны быть люди, которые будут толкать и развивать тему ЦОДов, само оно не взлетает.

Миф №2. Сейчас как бомбанут все технологии, которые нам обещают (ИИ, AR/VR, 5G, IoT, квантовые вычисления, простите за короткий список).
Разоблачение: не бомбанут, а если и бомбанут, то не сразу и не в таком масштабе. Типичная эйфория от новых технологий, такие же в истории были с изобретением транзистора или лазера. Там своя экономика развития со своими сдерживающими факторами. Тот же Интернет вещей сейчас развивается в локальных зонах, где это экономически оправдано, где не только хайп-сервис, а внедрение в бизнес-процессы (территории транспортной инфраструктуры, промышленные площадки). Пока сенсор и актуатор не будут стоить 5-10 долларов лавины не будет. Да недавно, они стоили 100 долларов, сейчас уже может и 50, но...

Миф №3. Мы построим площадку самую-самую. Разоблачение: расширенные капитальные затраты упадут в тарифы. Строить нужно рачительно и как можно дешевле (но не "сарай"). И желательно модулями, распределяя затраты по времени и надеясь на первый кэшфлоу. Немаловажный момент - это позиционирование ЦОДа, в зависимости от назначения, уровень решений может быть оправданно разным.

Миф №4. Мы построим площадку у дешёвой генерации, но в таких далях, где медведи приходят почесать спину о чиллер.
Разоблачение: Как и писалось ранее, ВОЛС протащить дешевле, чем построить ЛЭП, но что вы будет делать с задержкой n*10мс до хоть какого то нибудь значимого населенного пункта. Уборщицу и охранника вы найдете, а спецов-экспатов, которые захотят скучно сидеть в холоде придется заманивать миллионными зарплатами.

Миф №5. Можно входить в бизнес ЦОД не имея ИТ-компетенций.
Разоблачение: теоретически можно, но простят и правильно поймут меня коллеги, чистый коллокейшн почти умер. Экономику ЦОД делают сервисы и услуги, ну либо нужно точно понимать, что ты делаешь и зачем.

Встречались ещё с какими-то заблуждениями?
О серии стандартов ISO/IEC 22237

В 2021-2022 годах Международная организация по стандартизации (ИСО/ISO) начала публиковать стандарты в области ЦОД, посвящённые требованиям и рекомендациям по исполнению инфраструктурных решений.

За основу была взята серия известных европейских стандартов EN 50600. Они были развиты и выпущены в 2018 году как технические спецификации (TS). Наиболее близкий термин к TS в отечественной стандартизации - предварительный стандарт. Таким образом, если в названии есть эти две буквы, то стандарт ещё не выпущен и есть только редакция предстандарта.

Серия ISO/IEC 22237 включает в себя следующие начальные документы:
• ISO/IEC 22237-1 уже выпущен, описывает общие понятия;
• ISO/IEC TS 22237-2 будет посвящен конструкционной и строительной части;
• ISO/IEC 22237-3, уже выпущен, посвящен электроснабжению и распределению электроэнергии;
• ISO/IEC 22237-4 уже выпущен, посвящен обеспечению параметров окружающей среды в ЦОД;
• ISO/IEC TS 22237-5 будет определять требования к телекоммуникационной кабельной инфраструктуре;
• ISO/IEC TS 22237-6 будет посвящён безопасности
• ISO/IEC TS 22237-7 будет посвящен эксплуатации.
Идёт разработка некоторых других номеров в серии стандартов.

В введении к группе стандартов определено, что ЦОДы, и их реализация могут зависеть от:
а) назначения ЦОДа (корпоративный, коллокация, мультисервисный, операторский);
б) требуемого уровня безопасности;
c) физического размера/масштаба;
г) способа размещения или исполнения (передвижные, временные, постоянные сооружения).

Исполнение ЦОД также различается с точки зрения требуемой доступности услуг, обеспечения безопасности и целей в области энергоэффективности. Эти потребности и цели влияют на проектирование ЦОД с точки зрения строительства зданий, распределения электроэнергии, параметров окружающей среды, прокладки телекоммуникационных кабелей и физической безопасности. Эффективное управление и оперативная информация необходимы для контроля за достижением заданных целей.

В следующих постах, я попробую дать краткие тезисы по выпущенным стандартам 1, 3 и 4.
Подразделение Digital Power компании Huawei озвучило на своей конференции 10 основных трендов в сфере центров обработки данных.

Также опубликован соответствующий технический документ (white paper). Президент направления Huawei Data Center Facility Business Фэй Чжэньфу (Fei Zhenfu) поделился видением трендов развития ЦОД и сопутствующих технологических инноваций. В эпоху цифрового интеллекта ожидается экспоненциальный рост глобальных вычислительных потребностей, что поддержит к буму строительства дата-центров. Huawei обозначила 10 основных трендов сферы ЦОД на следующие пять лет.

Тренд №1: Снижение выбросов углерода
ЦОДы ускорят зеленый переход к "зеленым" и низкоуглеродным технологиям. Чистая энергия (солнечная, ветровая, гидроэнергетика) будет шире использоваться в ЦОДах. Ожидается, что к 2027 году доля использования такой энергии превысит 50%. Кроме того, будут применяться передовые решения и технологии энергосбережения, такие как рекуперация отработанного тепла для повышения энергоэффективности и увеличение доли рекуперации энергии.

Тренд №2: Устойчивое развитие
Устойчивость ЦОДа оценивается по эффективности ресурсов, а также по его влиянию на окружающую среду. Помимо оценки по эффективности использования энергии (PUE) ЦОДы будут применять прочие комплексные показатели, такие как эффективность использования воды (WUE), эффективность использования углерода (CUE), эффективность использования пространства (SUE), эффективность использования электросети (GUE), коэффициент возобновляемости материалов и выбросы вредных веществ в течение всего срока эксплуатации.

Тренд №3: Быстрое развертывание
Из-за ускоренного развития искусственного интеллекта (ИИ) и высокопроизводительных вычислений глобальные потребности в вычислительных ресурсах стремительно возрастают: совокупный темп годового роста (CAGR) превысит 50% в следующие пять лет. Вычислительные мощности должны быстро удовлетворять эти потребности. Например, только за два месяца после запуска ChatGPT привлек 100 миллионов активных пользователей в месяц. Чтобы удовлетворять стремительно растущий спрос, ЦОДы должны быть способны к быстрому развертыванию, а срок их строительства — уменьшиться с 12 до 6 месяцев или даже меньше.

Тренд №4: Высокая плотность
По закону Мура, процессоры обновляются каждые два года. Их производительность и энергопотребление продолжат значительно улучшаться, так что ЦОДы будут меняться, переходя от низкой плотности к высокой. С непрерывным ростом вычислительной производительности и удельной мощности облачные ЦОДы станут повсеместными, а всестороннее сотрудничество в сфере обработки информации — нормой. Стандартная удельная мощность на одну ИТ-стойку увеличится с 6–8 кВт до 12–15 кВт в 2027 году. Удельная мощность суперкомпьютерных и интеллектуальных вычислительных центров увеличится до 30 кВт и даже больше.

Тренд №5: Эластичность/масштабирование
Обычный ЦОД требует индивидуального строительства, что приводит к высоким капитальным затратам (CAPEX), усложненному расширению емкости и последующему несоответствию ИТ-оборудования инфраструктуре ЦОД. Срок службы ИТ-оборудования обычно составляет от четырех до пяти лет, в то же время его удельная мощность удваивается каждые пять лет, тогда как срок службы оборудования ЦОД составляет от 10 до 15 лет. ЦОДы будут более гибкими с точки зрения их модификации. Одно поколение оборудования будет поддерживать эволюцию мощности двух-трех поколений ИТ-оборудования. Типичная конструкция будет обеспечивать развертывание по требованию и гибкое расширение емкости.
Тренд №6: Предварительные фабричные решения
Решения с простой архитектурой заводской готовности будут применяться для преодоления вызовов по длительному сроку строительства и сложному обслуживанию и эксплуатации. К примеру, PowerPOD — фабричное решение, имеющее модульную конструкцию. Основные компоненты предварительно установлены и введены в эксплуатацию на заводе. Время доставки на место сократится от двух месяцев до двух недель. В дальнейшем, в здании ЦОД будут размещаться более 1000 стоек, а в кампусе — более 10000. Использование префабов сократит срок строительства с 12 до 6 месяцев для ЦОД на 1000 стоек, что гарантирует быструю доставку и развертывание по требованию.

Тренд №7: Интеграция систем хранения энергии и бесперебойного питания
ЦОДы являются энергоемкими объектами, что требует применения возобновляемых источников энергии и накопители энергии. Поскольку генерация источников возобновляемой энергии периодическая и непредсказуемая, подача большего количества возобновляемой энергии в сети поставит под угрозу стабильность электроснабжения. Разница в цене на электроэнергию между часами пиковой и обычной нагрузки увеличивается, что поощряет перенос потребления электроэнергии в более выгодные периоды. Это открывает возможности для реализации систем накопления энергии. Развертывание накопителей в ЦОД будет интегрировано с системами бесперебойного питания. Снижение пиковых нагрузок улучшает эффективность использования сети (GUE), чтобы можно было развернуть больше ИТ-стоек для увеличения прибыли.

Тренд №8: Распределенное охлаждение
Обычная централизованная система охлаждения имеет такие недостатки, как сложная эксплуатация и техническое обслуживание, большое количество неисправностей и низкая надежность. Сбои оказывают влияние на надежность всего ЦОДа. Система распределенного охлаждения использует отдельные источники охлаждения для каждого машинного зала ЦОД и в случае необходимости имеет резервирование. Такую систему также можно быстро установить. В дальнейшем системы распределенного охлаждения постепенно заменят централизованное охлаждение, как лучшее решение для охлаждения крупных ЦОДов благодаря гибкой архитектуре и высокой надежности.

Тренд №9: Умная эксплуатация и техническое обслуживание
Поскольку цифровые технологии быстро развиваются, а ЦОДы растут в масштабе, эксплуатация и техобслуживание будут все сложнее. Умная эксплуатация и техобслуживание будут внедряться для улучшения использования ресурсов ЦОД и надежности. Интеллектуальные операции автоматически будут определять статус активов для максимизации их отдачи. Интеллектуальное техническое обслуживание будет выявлять неисправности и оптимизировать энергосбережение в режиме реального времени для улучшения эффективности эксплуатации и техобслуживания, а также достижения прогнозируемости производительности и оптимальной энергоэффективности.

Тренд №10: Безопасность и надежность
Безопасность и надежность являются основными приоритетами ЦОД. Благодаря усилению цифровизации и интеллектуальным решениям в ЦОД повысится надежность оборудования, безопасность программного обеспечения, устойчивость системы, общая безопасность, конфиденциальность и доступность. Технологии на основе ИИ введут прогнозируемое техобслуживание компонентов, устройств и систем на уровне аппаратного обеспечения. Многоуровневая защита будет обеспечиваться на уровне ПО. Сочетание программных и аппаратных подходов повысит надежность ЦОД.
На неделе был в новом ЦОДе и у нового оператора ООО "Нубес". Название с испанского означает "облако", а первый ЦОД у них соответственно Альто. Направление - мультисервисный ЦОД, свое облако уже есть.

Проект был достаточно непрозрачный, многие спрашивали кто это такие. Мне такой загадочный подход импонирует, обычно ведь как, хайп на хайпе, а сделают потом ЦОД или нет, кто знает.

Здесь сначала сделали (причем по уму), потом пошли в публичное поле. Есть 4 мегаватта с расширением, потенциал для роста по площадям.
Владелец к ЦОДам отношения до этого не имел, но правильно вложился и привлек толковую команду, многие из Даталайна. Отлично пообщались, явно на одной волне.
Классно, когда появляются такие проекты.
👍1