Баннер
Баннер
31.01.2013 15:27

Спор о Пути

Автор  Игорь Лёвшин
Оценить
(0 голоса)

Полтора года назад в Гамбурге произошло запоминающееся событие: диалог-поединок Томаса Стерлинга и Дэвида Кирка на конференции ISC’2011. Он запомнился многим. Не то чтобы там было высказано нечто сенсационное, доселе неслыханное. Да и на поединок это было не так уж и похоже: два специалиста обсуждали технические вопросы, тихо и чинно, даже со всяческими реверансами. Без особой экспрессии, даже схваткой не назовешь. И все-таки запомнилось.

Наверное, потому, что обсуждали Путь, обозначили вопросы, которые не обойти, говоря о перспективах HPC, о препятствиях на дороге к таинственному экзаскейлу. Так ведь и пресловутый экзаскейл уже не кажется этаким абстрактным понятием, символом, а то и фетишем, каким казался еще год-два назад. Да, до него еще далеко, но к рекордам прибавился один нолик справа, а следующий нолик уже не в мечтах, а в планах, довольно конкретных.

Томас Стерлинг выступал в амплуа революционера: чтобы достичь цели, недостаточно эволюции, надо радикально менять подходы, думать о принципиально новой архитектуре. Но и Дэвида Кирка, представлявшего NVIDIA, ретроградом никак не назовешь. Гибридные архитектуры – чем не революция? Пусть не столько концептуально, сколько технологически, но NVIDIA революционизировала отрасль.

И вот в Москве, в начале зимы удается побеседовать с Томасом Стерлингом и со Стивом Скоттом из NVIDIA. А побеседовав, хочется понять, что же изменилось за эти полтора года в понимании Пути. Или есть просто два Пути, ведущие к цели?

Путь Томаса Стерлинга

Отношение к идеям, которые Томас Стерлинг упорно старается довести до сознания HPC-общественности, изменилось. Многие из тех, кто отмахивался от них как от экзотических насекомых, прислушиваются и присматриваются. Это относится и к менеджерам HPC-компаний, и к ученым, и к чиновникам. К убедительности Стерлинга-лектора добавились и результаты возглавляемого им в Университете Индианы проекта ParalleX.

Есть коллективы, занимающиеся исследованиями, о которых можно говорить как о параллельном движении в том же направлении. К ним Томас относит, например, разработки в Суперкомпьютерном Центре Барселоны. «Они давно ведут серьезные работы по реализации алгоритмов и исследованию алгоритмов, использующих направленные графы. Они исследуют адаптивную планировку заданий. Это уже другой, более высокий уровень параллелизма по сравнению с тем, чем занимаются многие. Все это у них делается в парадигме программирования MPI. Но это, если говорить точнее, направление "MPI + X", в котором движутся сейчас многие. У переменной Х много значений, и все эти исследования с различными X по-своему важны».

Но кто станет первой и главной жертвой революции, которую возглавил Стерлинг? Системный софт, приложения? Или дойдет и до чипов?

«Прежде всего, нужно сделать Runtime-систему, соответствующую задачам HPC. Тут надо менять очень многое. То, что было раньше, мало подходит для задач, которые будут решаться в эпоху экзаскейла.  Мы очень подробно исследовали все, что связано с рантайм-системой. Это и планирование заданий, и пути обеспечения наилучшей локальности данных, и организация глобального адресного пространства. Так что сейчас задача номер один – запустить рантайм-систему, протестировать ее, померить и проверить параметры. Это будет огромный шаг вперед. После этого уже можно будет непосредственно исследовать работу алгоритмов, заложенных в приложения.

Уже сейчас мы получили ускорение существующих приложений в 3 раза, что, прямо скажем, неплохо само по себе. Представьте: на машине, которая давала поддерживаемую производительность в
1 ПФлопс, мы получаем 3 ПФлопс. Но это не цель. Дальше мы можем начать внимательно исследовать, какие алгоритмы хорошо «ложатся» на новую рантайм-систему, а какие не очень. И тогда их лучше заменить другими, которые подходят. И придется, скорее всего, не просто менять что-то в приложениях, а вторгаться в операционную систему. Прежде всего, в те ее части, что управляют потреблением энергии и обеспечивают надежную работу при отказе отдельных частей системы. А насколько придется переписывать ОС –  этого мы не узнаем, пока не начнем исследовать работу приложений с новой рантайм-системой.

При переходе к экзамасштабам, скорее всего, придется добавлять какую-то логику и в кремний. Думаю, что изменения потребуются не такие уж сильные, но уверен, что они потребуются.

Вот такой будет порядок в решении проблем – по мере их поступления».

Это «осторожный» прогноз. В душе Томас Стерлинг, похоже, не особенно сомневается в том, что малой кровью в революции не отделаешься. «Вообще-то, надо пересмотреть саму роль операционной системы, роль рантайм-системы и то, как они взаимодействуют. После этого станет понятно, что надо менять в ОС. Я скажу непопулярную вещь: боюсь, что ОС придется переделывать целиком. Но это не такая уж и проблема, потому что ОС будущего должна быть намного меньше и проще ОС, к которым мы привыкли. Некоторые известные в отрасли люди считают, что нужно две ОС: управляющая (front-end) и вычислительная ОС. Я так не считаю. Нужна одна ОС. Она должна взаимодействовать с пользователем в том же стиле, что и с системой хранения, с рантайм-системой. Которая, кстати, я предполагаю, и будет делать очень большую часть той работы, которую раньше брала на себя ОС. По сути, это может быть большое количество маленьких ОС, работающих в синергии друг с другом. Как в жизни, в общем-то».

Путь NVIDIA

А что же Путь NVIDIA? Собственно, Пути NVIDIA нет, есть Путь гибридных вычислений, который должен стать мейнстримом, главной магистралью, ведущей к экзаскейлу, а NVIDIA является и будет, как надеются в этой компании, лидером этого направления. Поэтому если выигрывает направление – выигрывает NVIDIA.

Не все на этом пути ясно, но такой уж романтической, скрывающейся в тумане Неизвестности не ждут. Препятствия возможны, но не тупик.

«Мы сейчас много обсуждаем путь к экзаскейлу и, я скажу, что он, в общем, вырисовывается», – признается Стив Скотт, директор по технологиям в NVIDIA.

На рынке HPC между тем происходят важные события, и главный ньюсмейкер на конференции SC’2012 в этом году все же не NVIDIA с Kepler, а Intel со своим ускорителем Xeon Phi.

«Скажу вам без всякого кокетства, что мы очень рады появлению на рынке Intel Xeon Phi, – говорит Стив. – Во-первых, это еще одно доказательство того, что гибридные вычисления становятся столбовой дорогой HPC. Ну, а конкуренции мы не боимся.

Более того: скоро появятся системы, где будет и секция Kepler, и секция Xeon Phi. И это тоже радует, потому что, честно говоря, нет ничего скучней, чем соревноваться с процессором-призраком, постоянно слышать разговоры, мол, как это хорошо и удобно, но цифры и подробности мы обнародовать пока не можем».

А что же с другими архитектурами? Чего ждать от AMD APU, например? «Думаю, что они идут в правильном направлении. С инженерной точки зрения, с точки архитектуры там все правильно. Проблемы энергопотребления заставляют всех мыслить примерно в одном духе. Вопросы общие, ответы различаются, но не так уж принципиально. Для AMD проблемы кроются не в инженерных и не в стратегических вопросах. Главная проблема – дальнейшая стабильность AMD как компании».

Стив Скотт, как известно, работал в Cray, и планы NVIDIA во многом связаны с будущими системами этой компании. Интересная ситуация: обе мощные инсталляции самого последнего времени – Titan в Национальной Лаборатории Окриджа  (ORNL) и Blue Waters в суперкомпьютерном центре Университета Иллинойса (NCSA) – построены на сетях Cray не последнего поколения – Gemini. Сеть нового поколения – Aries – есть в системе Cascade.

Cray, как будто услышав, как NVIDIA приветствует честную конкуренцию, в новой сети Aries вместо поддержки только AMD Opteron и NVIDIA поддерживает теперь и CPU Intel Xeon, и ускорители Xeon Phi. Один из проектов, которые обсуждаются, – это будущий суперкопьютер, который придет на смену Titan в Окридже. Стив Скотт проработал в Cray немало лет – с 1992 года, из них немало времени  провел именно в лаборатории Окриджа. И сейчас, мне кажется, он чувствует, что держит руку на пульсе.

«Сейчас в Национальной Лаборатории в Окридже думают над созданием 200-петафлопсной машины к 2016 году. Это для них типично. Когда я работал в Cray, Jaguar была самой мощной машиной в мире. Но именно в это время, в 2009 году решали, какой должна стать следующая машина-лидер, то есть нынешний Titan. В то время в TOP500 была одна-единственная система, использующая GPU (сейчас их там более 50). Скептиков было немало. Они говорили, что путь этот слишком рискованный, что может получиться машина с хорошими показателями Linpack, но малопригодная для научных задач.

И тогда решили выбрать 6 ключевых приложений из самых важных областей: климат, материаловедение, биология, горение, астрофизика и ядерная физика. Е

сли на этих приложениях будут получены хорошие результаты с GPU, то сделаем такую систему. В основе этих приложений были совершенно разные алгоритмы, разное распределение и разный тип нагрузки, поэтому картина должна была получиться объективная.

Результаты были хорошие, и скептики стали оптимистами. И вот они попали на 1-ю строку TOP500, но больше волновал их и сейчас волнует не Linpack, а производительность на этих реальных приложениях.

Они анализируют, какие задачи лучше используют ресурсы, каким проектам выделить время, кому вручить призы. При этом ресурсы, требуемые по заявкам, уже превышают ресурсы существующей системы в 3.5 раза».

Платит за эксплуатацию машины Министерство энергетики – пользователи не платят ничего. Отбирают соискателей по двум критериям: научная ценность работы и то, насколько эффективно в проекте будут использовать ресурсы системы.

При этом проект может быть из любой части света и даже не обязательно научным: частные компании, даже небольшие, получают бесплатный доступ к ресурсам, если их исследования интересны и полезны.

Машинам придется поумнеть

Вернемся к идеям и делам Томаса Стерлинга. Те системы, адаптирующиеся, асинхронные, о которых он говорит, должны будут не просто решать примерно те же задачи быстрее и детальней. Они будут «умнее» уже по своей природе (недостаточно интеллектуальные системы просто не вытянут масштабов экзаскейла – по Т. Стерлингу), и задачи они смогут решать умные, подменять человека, принимающего решения, а не служить ему гигантским калькулятором.

«Кто больше всего выиграет от этих новых архитектур? Я думаю, что радикальней всего ускорятся задачи, в основе которых лежат динамические графы, те, что постоянно меняются. Это вам не привычные всем матрицы. Решение линейных уравнений уже и так настолько оптимизировано, что ждать здесь сенсаций не стоит. Применение графов может дать прорыв в очень важных областях. Я думаю, что важнейшая из них – управление знаниями. Современные компьютеры работают с данными. Но мы с вами принимаем решения не на основе данных, а на основе знаний. Между данными и знаниями – пропасть, и никакого моста через нее. Никакой суперкомпьютер не сможет заново вывести законы Ньютона, проанализировав данные, которые мы в него вложим. А нам нужны машины, которые будут думать. Если они научатся думать, то динамические графы им в этом очень сильно помогут.

Думаю, стремительно развиваться будет все, что связано с интерфейсом «человек–машина». Новые архитектуры и парадигмы программирования помогут научить компьютер понимать естественный язык. Машины должны стать не инструментами, а помощниками человека.

Важнейшая область их будущей деятельности – принятие решений. И в медицине, и в катастрофических ситуациях, когда каждая секунда важна.

Такие системы могли бы помочь во время бедствий вроде последнего урагана в Нью-Йорке».

Честно говоря, оба Пути, нарисованные Томасом Стерлингом и Стивом Скоттом, не выглядят взаимоисключающими. Хотелось бы, во всяком случае, чтобы нашлось место и сверхинтеллектуальным системам, использующим динамические графы, и чтобы новые гибридные системы использовали всю мощь графических ускорителей, которая будет, конечно, расти и дальше, позволяя решать задачи более высокой сложности. А еще лучше, если появятся еще Пути – Третий, Четвертый, Пятый. Но это уж как получится.

Изменено 31.01.2013 15:31

Добавить комментарий


Защитный код
Обновить

Новости

Календарь материалов

« Апреля 2017 »
Пн Вт Ср Чт Пт Сб Вс
          1 2
3 4 5 6 7 8 9
10 11 12 13 14 15 16
17 18 19 20 21 22 23
24 25 26 27 28 29 30