Суперкомпьютер RoadRunner

Суперкомпьютер Roadrunner стал первым компьютером, преодолевшим на тесте Linpack рубеж производительности в 1 PFlop/s. В 31-ой редакции (июнь 2008 года), возглавлял список TOP500 наиболее мощных компьютеров мира. Суперкомпьютер создан фирмой IBM для Министерства Энергетики США и установлен в Лос-Аламосской национальной лаборатории в Нью-Мексико, США.

Суперкомпьютер Roadrunner построен по гибридной схеме из 6120 двухъядерных процессоров Opteron и почти 12240 процессоров Cell 8i в специальных блэйд-модулях TriBlades, соединенных с помощью коммуникационной сети Infiniband. Установка занимает площадь приблизительно 560 квадратных метров, и весит 226 тонн. Общее знергопотребление установки - 2.35 МВт, при этом энергоэффективность составляет 437 MFlop/s/Вт. Стоимость суперкомпьютера Roadrunner составила 133 миллиона долларов, пиковая производительность - 1.376 PFlop/s, производительность на тесте Linpack - 1.026 PFlop/s.

Министерство Энергетики США использует RoadRunner для расчёта старения ядерных материалов и анализа безопастности и надёжности ядерного арсенала США. Также планируется использование для научных, финансовых, транспортных и аэрокосмических расчетов.

Структура

Процессоры

В суперкомпьютере Roadrunner использованы двухъядерные процессоры Opteron 2210, работающие на частоте 1.8 ГГц. Всего задействовано 6912 таких процессоров: 6120 вычислительных и 442 процессора для системных функций (13124 процессорных ядра: 12240 и 884 соответственно).

Также в суперкомпьютере Roadrunner задействованы процессоры PowerXCell 8i, работающие на частоте 3.2 ГГц. Каждый такой процессор включает в себя одно универсальное ядро Power (PPE) и 8 специальных ядер для операций с плавающей точкой (SPE). Всего задействовано 12240 таких процессоров, что составляет 12240 ядер PPE и 97920 ядер SPE (всего 110160 ядер).

Блэйд-модули TriBlade

Логически блэйд-модуль TriBlade состоит из двух двухядерных процессоров Opteron, четырёх процессоров PowerXCell 8i, 16 Гбайт оперативной памяти для процессоров Opteron и 16 Гбайт оперативной памяти для процессоров Cell (рис. 9). Физически блэйд-модуль TriBlade состоит из одной платы LS21, платы расширения и двух плат QS22. Плата LS21 содержит два двухъядерных процессора Opteron с 16 Гбайт памяти, по 4 Гбайт на ядро. Каждая плата QS22 содержит два процессора PowerXCell 8i и 8 Гбайт памяти, по 4 Гбайт на каждый процессор. Плата расширения соединяет QS22 через четыре разъёма PCI-e x8 с LS21, по два разъёма на QS22. Также она обеспечивает подключение Infiniband 4x DDR. В результате один блэйд-модуль TriBlade занимает четыре слота, и три блэйд-модуля TriBlades помещаются в шасси BladeCenter H.

Рис. 9. Структурная схема блэйд-модуля TriBlade

Объединённый модуль (Connected Unit)

Объединённый модуль - это 60 шасси BladeCenter H с установленными блэйд-модулями TriBlades, всего 180 блэйд-модулей TriBlades. Все блэйд-модули TriBlades подсоединены к 288-портовому маршрутизатору Voltaire ISR2012 Infiniband. Каждый объединённый модуль также подсоединён к файловой системе Panasas через 12 серверов System x3755.

Системная информация по объединённому модулю:

360 двухъядерных процессоров Opteron с 2.88 Тбайт памяти;

720 процессоров PowerXCell с 2.88 Тбайт памяти;

12 серверов System x3755 с двумя 10 Гбит Ethernet каждый;

288-портовый маршрутизатор Voltaire ISR2012 с 192 Infiniband 4x DDR (180 TriBlades и 12 узлов ввода/вывода).

Кластер Roadrunner

Кластер собран из 17 объединённых модулей, соединённых через восемь дополнительных (второго уровня) маршрутизаторов ISR2012. Каждый объединённый модуль подсоединён через 12 каналов к каждому маршрутизатору, суммарно получается 96 соединений.

Суммарная информация по системе:

6120 двухъядерных процессоров Opteron с 49 Тбайт памяти (на 3060 LS21);

12240 процессоров Cell с 49 Тбайт памяти (на 6120 QS22);

204 узла ввода-вывода System x3755;

26 288-портовых маршрутизаторов ISR2012 Infiniband 4x DDR;

278 стоек;

Энергопотребление системы 2.35 МВт.

Программное обеспечение

Roadrunner работает под управлением Red Hat Enterprise Linux и управляется при помощи программного обеспечения xCAT.

В общей сложности система потребляет 2,35 МВт и с показателем «437 млн операций на ватт».