Роль распределенных вычислительных систем в решении современных задач

Последние три столетия преподносили человеку новые, немыслимые до того технологии, определяющие весь ход дальнейшего научно-технического прогресса. Появление в 18-м веке механических машин перевернуло человеческие представления о труде. Паровые машины, изобретенные в 19-м веке, открыли новые мощности. 20-й век был ознаменован появлением вычислительной техники. Это открыло для человека новые, гораздо более эффективные способы хранения, передачи и обработки информации. С появлением этих способов, стали возрастать и потребности. Развитие промышленных технологий ставило задачи построения сложных систем. Аналитическое проектирование стало все меньше подходить для этого. Компьютеры стали использоваться для моделирования процессов и систем. Потребность во все более высокой производительности вычислительных систем стала расти экспоненциально.

Существует несколько доступных путей увеличения производительности. Можно улучшить аппаратное обеспечение, используя более высокопроизводительный процессор, можно улучшать программное обеспечение. В первом случае сразу становится виден предел повышения производительности (на каждом этапе развития процессоростроения). Во втором - возникают те же проблемы. Хотя явно нельзя определить «верхний предел» эффективности алгоритма, но и изобретать алгоритмы - дело непредсказуемой сложности.

Но есть еще третий путь - параллельные вычисления. Многие алгоритмы хорошо масштабируемы, и потому выполнение их параллельно на нескольких вычислительных устройствах, даёт большой выигрыш в скорости выполнения. И именно этот третий путь, возможно является своеобразным толчком к появлению главного достижения 21-го века - внедрения вычислительных сетей. Однако, параллельные вычисления - только первая ступенька на этом пути. Еще не существует достаточного количества программных средств, позволяющих писать и, что не менее важно, отлаживать параллельные программы.

Вообще многопроцессорные системы классифицируются по признаку обмена данными между процессорами. Существуют две основные модели параллельного выполнения программ - модель передачи сообщений, и модель взаимодействия через общую память.

В первой модели программа представляет собой систему процессов, взаимодействующих с помощью передачи сообщений. Первая модель может быть использована на любых кластерах.

Во второй модели параллельная программа представляет собой систему нитей (thread), взаимодействующих посредством общих переменных и примитивов синхронизации. Нить - это легковесный процесс имеющий с другими процессами общие ресурсы, в том числе - общую оперативную память. Вторая модель может быть использована только на DSM-кластерах, то есть кластерах, на которых аппаратно или программно-аппаратно реализована распределенная общая память, позволяющая выполняющимся на разных узлах программам взаимодействовать через общие переменные.

Однако, обе эти модели в чистом виде были неудобны для разработчика. Они заставляют его иметь дело с параллельными процессами и низкоуровневыми примитивами передачи сообщений или синхронизации. Особенно большие трудности возникают при необходимости использования многоуровневого параллелизма (например, параллелизм между разными подзадачами и параллелизм внутри подзадач).

Кроме того, программист обычно вынужден иметь и сопровождать два варианта программы - последовательный и параллельный. В качестве примера можно привести несколько подходов различающихся моделями и языками параллельного программирования.

Модель передачи сообщений. MPI.

В этой модели параллельная программа представляет собой множество процессов, каждый из которых имеет собственное локальное адресное пространство. Взаимодействие процессов - обмен данными и синхронизация осуществляется посредством передачи сообщений. В 1993 году был разработан стандарт MPI. К числу приятных особенностей MPI относятся :

- возможность совмещения передачи сообщений и вычислений;

- широкий набор коллективных операций;

- возможность задания типа передаваемой информации;

- широкий набор редукционных операций;

К недостаткам относится то, что интерфейс слишком сложный и громоздкий.

Модель параллелизма по данным. HPF.

В этой модели нет понятия процесса как такового, и, следовательно, нет передачи сообщений и синхронизации. Программист указывает какие данные на какой процессор распределять, а компилятор сам распределяет вычисления таким образом, чтобы каждый узел работал со своими локальными данными. При этом достигается высокая локализация данных, а программа сохраняет удобный «последовательный» стиль.

Модель параллелизма по управлению. OpenMP.

Эта модель возникла в применении к мультипроцессорам. Вместо термина «нить» она использует специальные конструкции - параллельные циклы и секции. Создание и уничтожение нитей, распределения по ним витков циклов - все это делал сам компилятор.