Баннер
Баннер
19.04.2013 13:48

«За чей счет банкет?»

Автор  Игорь Обухов
Оценить
(0 голоса)

Разворачивающаяся во всем мире битва за повышение энергоэффективности завораживает. Строители ЦОД и суперкомпьютеров заявляют о новых и новых победах в области снижения коэффициента PUE (эффективность использования энергии, отношение полной мощности, потребляемой ЦОД, к мощности IT-оборудования ЦОД, меньше – лучше) и мегафлопс/ватт.

Очень часто главной целью такого повышения эффективности называют снижение эксплуатационных расходов и снижение вреда экологии.

Для начала посмотрим, какой ценой достигается снижение эксплуатационных расходов, есть ли оно на самом деле и стоит ли за ним гнаться.

Основная цель строительства суперкомпьютера – получение максимальной вычислительной мощности (либо максимальной эффективности решения вычислительной задачи) за отведенный бюджет.

Срок жизни суперкомпьютера сурово ограничен. Три года. Если очень повезет – пять. Через десять лет этот суперкомпьютер будет проигрывать игровым приставкам, через двадцать – микроволновкам и будильникам. Это означает, что любые «энергоэффективные» технологии должны окупиться максимум за 3 года эксплуатации.

В такой ситуации необходимость обеспечивать суперкомпьютеру охлаждение и качественное энергоснабжение – это, с точки зрения владельца, зло: каждый рубль, потраченный на охлаждение или энергоснабжение компьютера, – это рубль, не потраченный на дополнительный мегафлопс.

Отсюда возникает один из методов решения «проблемы» – отказаться от системы охлаждения как таковой, просто брать воздух с улицы и охлаждать им. Априори это самый простой и дешевый способ охлаждения, хотя есть несколько сугубо технических проблем.

Воздух с улицы может быть слишком холодным, значит, нужно обеспечить подмес нагретого компьютером воздуха. Когда воздух на улице холодный, при его нагревании очень сильно падает относительная влажность. Низкая влажность чревата накоплением статики и, как следствие, сбоями в процессе вычислений вплоть до повреждения компонентов компьютера. Значит, необходимо увлажнение воздуха.

Увлажнение воздуха – это расход пресной воды, которая тоже не бесплатна. Плюс требуется система водоподготовки, чтобы вентиляторы, вычислительные узлы и стойки не покрывались характерным белым налетом.

Воздух с улицы достаточно пыльный. Это значит, что его необходимо   фильтровать. Еще одна проблема – воздух с улицы может быть загрязнен, например продуктами горения, если где-то рядом что-то загорелось, или, как регулярно случается летом в Москве, где-то недалеко горят торфяники или, как это часто бывает в Калифорнии, горят леса. Попадание продуктов горения в машинный зал означает высокий риск срабатывания системы пожаротушения, что, во-первых, приводит к расходу недешевого огнетушащего вещества, а во-вторых, обычно означает еще и остановку компьютера.

Это значит, что на случай, если на улице пожар, система должна включить полную рециркуляцию и охлаждать воздух традиционным способом.

И вот здесь-то и возникает одна из главных проблем большинства «бесплатных» систем охлаждения – нам все равно нужно построить систему охлаждения традиционную, а к ней в дополнение – систему фрикулинга.

Система фрикулинга добавляет к цене «инженерной инфраструктуры» около 20%. Полная цена инженерной инфраструктуры обычно составляет 600–1000 руб. за ватт полезной нагрузки. Расчетный PUE систем с полным фрикулингом в условиях Москвы обычно составляет около 1.1 (без учета торфяных пожаров), а расчетный PUE «традиционной» системы с чиллерами и фрикулингом в условиях Москвы – около 1.4. Это значит, что экономия электроэнергии для суперкомпьютера, вычислительная часть которого потребляет 1 мВт энергии, составит порядка 300 кВт. Мы сэкономили электроэнергии более чем на 11 миллионов рублей в год – весьма достойная сумма.

На «фрикулинг» мы потратили всего около 120 миллионов рублей. Окупаемость через 11 лет? Отнюдь! Для окупаемости через 11 лет нам нужно будет обеспечить наш суперкомпьютер непрерывной стопроцентной вычислительной нагрузкой на все эти 11 лет, без перерывов на апгрейды, остановок на обслуживание, поломок и т. п. Заодно нужно будет решить проблему торфяных и лесных пожаров.

Как вариант – использование систем охлаждения с изолированным внутренним воздушным контуром и адиабатическим охлаждением в воздухо-воздушном теплообменнике. Но соотношение стоимости получается практически такое же, как в системах с прямым фрикулингом.

Есть варианты с прямым жидкостным охлаждением, есть варианты с погружением в масло. Про эти варианты, к сожалению, что-то сказать очень сложно – информации о стоимости инфраструктуры и более-менее реальных показателях PUE пока недостаточно.

Из вышесказанного не следует делать вывод, что не стоит стремиться к энергоэффективности. Просто для нашего примера с мегаваттом энергопотребления переплата за «фрикулинг» должна либо отсутствовать, либо быть не больше, чем потенциальная экономия на электроэнергии за 3 года.

Скорее всего, система охлаждения может быть использована для нового суперкомпьютера через 3 года эксплуатации. Но не стоит на это рассчитывать. Предсказать сейчас, каковы будут потребности суперкомпьютеров через 3–5 лет, можно с очень большой погрешностью. И зачастую стоимость адаптации «старой» системы охлаждения к новым серверам оказывается больше, чем «до основания, а затем...» построить все заново.

Остается еще один вариант – придумать что-то новое, чего еще никто не строил. Тогда любые затраты могут быть оправданы, если они позволят получить интересный научный результат.

Есть другая сторона этой медали – энергоэффективность собственно вычислителя. Флопс на ватт. Возможность при том же энергетическом бюджете получить большую вычислительную мощность. Если обычно технологии, разработанные для суперкомпьютеров, в дальнейшем применялись для «бытовых» задач, то сейчас тенденция меняется. Все чаще и чаще мы видим применение технологий, разработанных для мобильных устройств и игровых приставок, при создании новых суперкомпьютеров.

И это понятно: как раз с точки зрения повышения энергоэффективности вычислителя мобильные устройства ушли далеко вперед: процессор вместе с обвязкой помещается на площади в несколько квадратных сантиметров, максимальное энергопотребление меньше двух ватт, производительность – под сотню гигафлопс (правда, пока не с двойной точностью). Конечно, есть свои проблемы с объединением таких вычислительных узлов в кластер, но их решением сейчас достаточно активно занимаются.

Собственно, интересные особенности начинаются на этапе измерения потребляемой мощности. Официальное мнение организации Green500.org: измеряем среднее потребление одной стойки и/или одного вычислительного шасси во время вычисления тестовой задачи (да-да, того самого Linpack (HPL)), экстраполируем на весь кластер.

Рекомендованная методика измерения энергопотребления обеспечивает высокую точность и повторяемость результатов. Однако у строителей суперкомпьютера есть способ построить систему так, чтобы учитывалось только энергопотребление вычислительных узлов – достаточно, чтобы в стойке с вычислительными узлами не было дисковых накопителей и коммутаторов.

Тем не менее по мере роста объемов информации и скоростей передачи данных увеличивается процент энергопотребления суперкомпьютера, приходящийся на интерконнект и дисковые массивы.

Снижение вреда для экологии – отдельная, гигантская и очень интересная тема, подозрительно тщательно избегаемая официальной наукой и научно-популярной прессой. Мне так и не удалось найти каких-либо результатов моделирования влияния ветроэнергетических ферм и полей солнечных батарей на климат, например. Только общие слова о том, что «никак не влияют». И несмотря на раскрученность темы, найти научно обоснованную информацию о том, как на самом деле повлияет на экологию уменьшение выбросов CO2 на 2–3 тонны в год, оказалось тоже нетривиальной задачей, которую мне пока решить не удалось.

Выводы получаются не очень утешительные. Само по себе повышение энергоэффективности при нынешних ценах на электроэнергию с финансовой точки зрения абсолютно неэффективно. А экологическая безопасность этих методов как минимум требует серьезного исследования.

Изменено 19.04.2013 13:54

Добавить комментарий


Защитный код
Обновить

Новости

Календарь материалов

« Апреля 2017 »
Пн Вт Ср Чт Пт Сб Вс
          1 2
3 4 5 6 7 8 9
10 11 12 13 14 15 16
17 18 19 20 21 22 23
24 25 26 27 28 29 30