Игорь Лёвшин: Когда говорят об экзаскейле, имеют в виду результаты Linpack, где решается система линейных уравнений. А как дело обстоит с обработкой с помощью GPU Больших Данных, анализом больших графов и прочими сложными задачами, к Linpack прямого отношения не имеющими?

Стив Скотт: Все это очень интересные проблемы, и мы в NVIDIA много на эту тему думаем в связи с будущими поколениями GPU. При работе с Большими Данными и большими графами система должна обеспечить высокую пропускную способность коммуникаций и уметь эффективно работать со ссылками на данные с  мелкозернистой гранулярностью. Короче говоря, вы должны уметь быстро выполнять операции load/store с одним коротким словом. Параллелизм на таких задачах может требовать от каждого потока исполнения изрядной работы с многоуровневой косвенной адресацией (pointer chasing), и это может сильно тормозить работу всей системы.

При работе с Большими Данными и большими графами система должна обеспечить высокую пропускную способность коммуникаций и уметь эффективно работать со ссылками на данные с мелкозернистой гранулярностью.

Сотни тысяч потоков могут одновременно требовать доступа к памяти по одному слову, чтобы получить ссылку. Толерантность к таким задержкам непросто обеспечить, кэширование здесь малоэффективно. GPU для таких задач хорошо подходят при работе на уровне узла потому, что в GPU сотни потоков и большая пропускная способность тракта памяти. А вот работать с той же эффективностью на уровне межсоединений они пока не могут. Поэтому я говорю о необходимости интеграции сетевых контроллеров на кристалле в будущих наших разработках, и тогда можно будет получить высокую общую пропускную способность для нормальной работы с глобальным адресным пространством. Вот тогда машины с GPU будут прекрасно работать и как анализаторы больших графов.

И. Л.: Системы с графическими ускорителями – это все-таки шажок в сторону от универсальных машин. Не произойдет ли возвращение к идеям более радикального отказа от универсализма, не станут ли системы с ускорителями под специфические задачи более активно конкурировать с гибридными GPU-системами? И будут ли в будущем решать такие разные задачи, как решение систем линейных уравнений и анализ графов, на системах одного типа?

С. С.: Я недавно говорил, что Cray больше не разрабатывает процессоры, но я был не совсем точен. Я имел в виду то, что Cray не разрабатывает специализированные процессоры для научных расчетов, а вот как раз для анализа больших графов разрабатывает. NVIDIA не пойдет этим путем. Разрабатывать отдельный специализированный процессор для больших графов слишком дорого и экономически не оправданно, если мы следуем нашей бизнес-модели. Мы предпочитаем улучшать наши существующие архитектуры, делая доступ к глобальному адресному пространству более эффективным, и тогда можно будет вполне эффективно решать задачи обоих типов – и решать системы линейных уравнений, и обходить графы. А вот сами вычислительные системы будут различаться. У систем для анализа графов гораздо более жесткие требования к бисекционной пропускной способности. Типичные научные расчеты не требуют столько сложных и дорогих межсоединений. Так что для таких компаний, как Cray, определенно имеет смысл делать системы специально под задачи типа анализа графов. Они под эти проекты получают государственную поддержку, а над NVIDIA висит пресс больших объемов продаж.