Баннер
Баннер
Баннер
Баннер
Баннер
  • Транспьютеры, Большие Данные и математика

  • Мир, возможно, изменится

  • Искусственный интеллект, а не бухгалтерия

Транспьютеры, Большие Данные и математика

Игорь Лёвшин встретился с заместителем директора по науке ФГУП «НИИ «Квант» Виктором Владимировичем Корнеевым.

 

Игорь Лёвшин: Не начать ли наш разговор о параллелизме с почти забытого слова «транспьютер»? Ведь они сыграли заметную роль не только в мировой, но и в отечественной вычислительной технике. Как минимум в машинах серии МВС, разработанных «Квантом».

Виктор Корнеев: Конечно. Транспьютеры — английское изделие, их производила фирма Inmos. Американцы их не приняли и до сих пор не упоминают. А ведь на их базе были созданы первые промышленные установки, в которых параллельно работали более 2 тысяч процессоров. Если посмотреть список самых производительных компьютеров в 1980-е годы, то там очевидно некоторое топтание на месте, как раз в то время, которое приходится на разработки машин с векторно-конвейерной архитектурой с небольшим числом процессоров. Видно, что роста производительности почти нет. Когда появились на рынке транспьютеры, включился фактор массового параллелизма, и отметки производительности вернулись на магистральную линию.

И. Л.: А почему в Америке их не принимали?

В. К.: Потому что они не были американскими. Они появились примерно в то время, когда росла популярность Intel 80286. При этом какое-то время транспьютеры оставались самыми быстрыми 32-разрядными процессорами. Их даже использовали тогда в ПК, но законы массового производства их вытеснили. Только во времена Intel 486-я линейка транспьютеров была побеждена по производительности линией Intel. Окончательная победа Intel над транспьютерами — это заслуга Intel 860.

Мир, возможно, изменится

Я продолжаю думать, что в индустрии HPC именно сейчас уже творятся удивительные вещи. Опять потихоньку, не на телеэкранах, не на первых полосах онлайновых изданий. Не сравнить, во всяком случае, с такими звездами-перфомансами, как «Геном» или «3D-принтер».

Большие Данные и Высокопроизводительные Вычисления держались как-то больше порознь – разные издания, разные конференции. Хотя, казалось бы, как же так? Как же обрабатывать петафлопсы данных без суперкомпьютера приличествующей таким цифрам мощности?

И что же, петабайты памяти мощнейших суперкомпьютеров – неужели в них хранятся не Большие, а маленькие данные?

Все имеет объяснение. У одних в разговоре через слово InfiniBand, у других – Hadoop. Или другое: дело в Больших Друзьях. Аналогия из далекой области: жили поэты, писали похожие, в общем, стихи. Но входили в разные, не слишком дружественные между собой компании, в результате в историю культуры они попали под совсем разными «-измами». Лучшие друзья производителей суперкомпьютеров – государственные фонды. Большие Данные частенько кормятся с руки Большого Бизнеса: большим есть что анализировать и оптимизировать. Чья рука щедрее?

Искусственный интеллект, а не бухгалтерия

Редактор журнала «Суперкомпьютеры» Игорь Лёвшин встретился с Аркадием Борковским, директором 

по технологиям лаборатории Яндекса
в Кремниевой долине.

Игорь Лёвшин: Яндекс, как я понял еще из моего посещения Яндекса три года назад, отнюдь не сводится к понятию «поисковой» компании. Но что бы ни делал Яндекс, наверняка речь идет о Big Data — Больших Данных?

Аркадий Борковский: Поиск у нас по-прежнему главная часть бизнеса. А Big Data — наше «сырье». Когда-то сырьем были лес или пушнина, теперь — данные. Мы это сырье перерабатываем в знания, полезные для людей, и в деньги для себя.

Индексирование веба, как и с самого начала, —  основа всех наших технологий.
С этого все началось и на этом все отрабатывалось. Нам приходится иметь дело с бесконечным количеством страниц. Не огромным, а именно бесконечным: каждое обращение к серверу по одному и тому же адресу может выдавать каждый раз новую страницу. Мы не можем охватить бесконечность — нам нужно выбрать лучшую, конечную часть. В день собираем миллиарды страниц. Но обрабатывать много — этого одного теперь уже недостаточно: мы умеем обрабатывать огромные объемы данных относительно дешево. А это значит, что надо обрабатывать их эффективно.

В умении обращаться с большими данными можно выделить несколько уровней — аппаратная инфраструктура, вычислительная платформа, алгоритмы, машинное обучение. Базовый — это просто техническое умение как-то справляться с петабайтами данных. Строя уже 20 лет те самые индексы, мы приобрели громадный, уникальный опыт в этой области.

Дальше надо с этими данными сделать что-то полезное. Необходимы интеллектуальные алгоритмы. Вообще говоря, поисковая машина — это самый что ни на есть искусственный интеллект (ИИ). Ведь что такое интеллект? Обычно это понятие у людей ассоциируется с вербальными возможностями: человек оценивает интеллект собеседника по адекватности ответов на его вопросы. При этом адекватность ответов определяется способностью интерпретировать и агрегировать информацию, полученную от других людей — из разговоров, книг, школы, родителей. Поисковая машина старается делать именно это — адекватно отвечать на самые разнообразные вопросы, агрегируя информацию, полученную от других людей — страниц веба, запросов, кликов на результаты.

Previous
Следующая
Баннер

Новости

Календарь материалов

« Сентября 2014 »
Пн Вт Ср Чт Пт Сб Вс
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30