Презентация на тему: Лекция 2. Архитектура параллельных вычислительных систем. Часть 2

Лекция 2. Архитектура параллельных вычислительных систем. Часть 2. Классификация ПВС
Классификация вычислительных систем…
Систематика Флинна
Систематика Флинна
Классификация вычислительных систем…
Классификация ПВС
Классификация по взаимодействию с оперативной памятью
Мультипроцессоры с единой общей памятью
Мультипроцессоры ( UMA )
Мультипроцессоры ( UMA )
Мультипроцессоры (NUMA)
Мультипроцессоры (NUMA)
Мультипроцессоры (NUMA)
Мультипроцессоры (NUMA)
Классификация ПВС
Классификация ПВС Мультикомпьютеры
Лекция 2. Архитектура параллельных вычислительных систем. Часть 2.
Лекция 2. Архитектура параллельных вычислительных систем. Часть 2.
Лекция 2. Архитектура параллельных вычислительных систем. Часть 2.
Лекция 2. Архитектура параллельных вычислительных систем. Часть 2.
Мультикомпьютеры. MPP- системы
Топологии сети передачи данных в ПВС
Лекция 2. Архитектура параллельных вычислительных систем. Часть 2.
Лекция 2. Архитектура параллельных вычислительных систем. Часть 2.
Расстояние между процессорами
Расстояние между процессорами.
Расстояние между процессорами.
Лекция 2. Архитектура параллельных вычислительных систем. Часть 2.
Расстояние между процессорами. Гиперкуб.
Архитектура с топологией "толстого дерева" (fat-tree)
Характеристики некоторых топологий сети
Характеристики топологий сети
Характеристики топологий сети
Языки и системы программирования
Языки и системы параллельного программирования
Технология программирования OpenMP.
Система параллельного программирования PVM.
Технология MPI
Технология программирования CUDA.
1/39
Средняя оценка: 4.5/5 (всего оценок: 49)
Код скопирован в буфер обмена
Скачать (570 Кб)
1

Первый слайд презентации: Лекция 2. Архитектура параллельных вычислительных систем. Часть 2. Классификация ПВС

Основы параллельного программирования. М.А. Сокольская

Изображение слайда
2

Слайд 2: Классификация вычислительных систем…

2 Классификация вычислительных систем… Систематика Флинна ( Flynn ) классификация по способам взаимодействия последовательностей ( потоков ) выполняемых команд и обрабатываемых данных: SISD ( Single Instruction, Single Data ) SIMD ( Single Instruction, Multiple Data ) MISD ( Multiple Instruction, Single Data ) MIMD ( Multiple Instruction, Multiple Data ) Практически все виды параллельных систем, несмотря на их существенную разнородность, относятся к одной группе MIMD

Изображение слайда
3

Слайд 3: Систематика Флинна

3 SISD SIMD

Изображение слайда
4

Слайд 4: Систематика Флинна

4 MISD MIMD

Изображение слайда
5

Слайд 5: Классификация вычислительных систем…

5 Классификация вычислительных систем… Детализация систематики Флинна… дальнейшее разделение типов многопроцессорных систем основывается на используемых способах организации оперативной памяти, позволяет различать два важных типа многопроцессорных систем: multiprocessors ( мультипроцессоры или системы с общей разделяемой памятью), multicomputers ( мультикомпьютеры или системы с распределенной памятью).

Изображение слайда
6

Слайд 6: Классификация ПВС

6 Классификация ПВС Детализация систематики Флинна…

Изображение слайда
7

Слайд 7: Классификация по взаимодействию с оперативной памятью

Типы многопроцессорных систем: multiprocessors ( мультипроцессоры или системы с общей разделяемой памятью), multicomputers ( мультикомпьютеры или системы с распределенной памятью). 7

Изображение слайда
8

Слайд 8: Мультипроцессоры с единой общей памятью

8 Мультипроцессоры с единой общей памятью Мультипроцессоры с использованием единой общей памяти ( shared memory )… обеспечивается однородный доступ к памяти ( uniform memory access or UMA ), являются основой для построения: векторных параллельных процессоров ( parallel vector processor or PVP ). Примеры: Cray T 90, симметричных мультипроцессоров ( symmetric multiprocessor or SMP ). Примеры: IBM eServer, Sun Star Fire, HP Superdome, SGI Origin.

Изображение слайда
9

Слайд 9: Мультипроцессоры ( UMA )

9

Изображение слайда
10

Слайд 10: Мультипроцессоры ( UMA )

Проблемы: Доступ с разных процессоров к общим данным и обеспечение, в этой связи, однозначности (когерентности) содержимого разных кэшей ( cache coherence problem ), Необходимость синхронизации взаимодействия одновременно выполняемых потоков команд 10

Изображение слайда
11

Слайд 11: Мультипроцессоры (NUMA)

C использованием физически распределенной памяти ( distributed shared memory or DSM ): неоднородный доступ к памяти ( non - uniform memory access or NUMA ), Среди систем такого типа выделяют: С ache - only memory architecture or COMA (системы KSR -1 и DDM ), cache - coherent NUMA or CC - NUMA (системы SGI Origin 2000, Sun HPC 10000, IBM/ Sequent NUMA-Q 2000), non - cache coherent NUMA or NCC - NUMA (система Cray T 3 E ). 11

Изображение слайда
12

Слайд 12: Мультипроцессоры (NUMA)

12 Мультипроцессоры (NUMA) Мультипроцессоры с использованием физически распределенной памяти…

Изображение слайда
13

Слайд 13: Мультипроцессоры (NUMA)

Мультипроцессоры с использованием физически распределенной памяти: упрощаются проблемы создания мультипроцессоров (известны примеры систем с несколькими тысячами процессоров), возникают проблемы эффективного использования распределенной памяти (время доступа к локальной и удаленной памяти может различаться на несколько порядков). 13

Изображение слайда
14

Слайд 14: Мультипроцессоры (NUMA)

14 Мультипроцессоры (NUMA) Мультипроцессоры с использованием физически распределенной памяти: упрощаются проблемы создания мультипроцессоров (известны примеры систем с несколькими тысячами процессоров), возникают проблемы эффективного использования распределенной памяти (время доступа к локальной и удаленной памяти может различаться на несколько порядков).

Изображение слайда
15

Слайд 15: Классификация ПВС

15 Классификация ПВС Мультикомпьютеры… не обеспечивают общий доступ ко всей имеющейся в системах памяти ( no - remote memory access or NORMA ), каждый процессор системы может использовать только свою локальную память, для доступа к данным, располагаемых на других процессорах, необходимо явно выполнить операции передачи сообщений ( message passing operations ).

Изображение слайда
16

Слайд 16: Классификация ПВС Мультикомпьютеры

16 Классификация ПВС Мультикомпьютеры

Изображение слайда
17

Слайд 17

17 Мультикомпьютеры Данный подход используется при построении двух важных типов многопроцессорных вычислительных систем: массивно-параллельных систем ( massively parallel processor or MPP ), например: I BM RS/6000 SP2, Intel PARAGON, ASCI Red, транспьютерные системы Parsytec, кластеров ( clusters ), например: AC3 Velocity и NCSA NT Supercluster.

Изображение слайда
18

Слайд 18

18 Мультикомпьютеры. Кластеры… Кластер - множество отдельных компьютеров, объединенных в сеть, для которых при помощи специальных аппаратно-программных средств обеспечивается возможность унифицированного управления ( single system image ), надежного функционирования ( availability ) и эффективного использования ( performance )

Изображение слайда
19

Слайд 19

19 Мультикомпьютеры. Кластеры… Преимущества : Могут быть образованы на базе уже существующих у потребителей отдельных компьютеров, либо же сконструированы из типовых компьютерных элементов; Повышение вычислительной мощности отдельных процессоров позволяет строить кластеры из сравнительно небольшого количества отдельных компьютеров ( lowly parallel processing ), Для параллельного выполнения в алгоритмах достаточно выделять только крупные независимые части расчетов ( coarse granularity ).

Изображение слайда
20

Слайд 20

20 Мультикомпьютеры. Кластеры Недостатки : Организация взаимодействия -> к значительным временным задержкам, Дополнительные ограничения на тип разрабатываемых параллельных алгоритмов и программ ( низкая интенсивность потоков передачи данных )

Изображение слайда
21

Слайд 21: Мультикомпьютеры. MPP- системы

21 Мультикомпьютеры. MPP- системы MPP – Massive Parallel Processing или массивно-параллельные системы. Система строится из отдельных модулей, содержащих процессор, локальный банк операционной памяти (ОП), коммуникационные процессоры (роутеры) или сетевые адаптеры, иногда – жесткие диски и/или другие устройства ввода/вывода. По сути, такие модули представляют собой полнофункциональные компьютеры

Изображение слайда
22

Слайд 22: Топологии сети передачи данных в ПВС

Линейка - система, в которой все процессоры перенумерованы по порядку и каждый процессор, кроме первого и последнего, имеет линии связи только с двумя соседними процессорами. Кольцо - данная топология получается из линейки процессоров соединением первого и последнего процессоров линейки Звезда - система, в которой все процессоры имеют линии связи с некоторым управляющим процессором. Решетка - система, в которой граф линий связи образует прямоугольную сетку (обычно двух- или трехмерную). Полный граф - система, в которой между любой парой процессоров существует прямая линия связи. 22

Изображение слайда
23

Слайд 23

Гиперкуб - данная топология представляет собой частный случай структуры решетки, когда по каждой размерности сетки имеется только два процессора (т.е. гиперкуб содержит 2 N процессоров при размерности N ). Характеризуется следующим рядом отличительных признаков: - два процессора имеют соединение, если двоичные представления их номеров имеют только одну различающуюся позицию; - в N -мерном гиперкубе каждый процессор связан ровно с N соседями; - N -мерный гиперкуб может быть разделен на два ( N–1 )-мерных гиперкуба; - кратчайший путь между двумя любыми процессорами имеет длину, совпадающую с количеством различающихся битовых значений в номерах процессоров (данная величина известна как расстояние Хэмминга ). 23

Изображение слайда
24

Слайд 24

24

Изображение слайда
25

Слайд 25: Расстояние между процессорами

Архитектура кластерной системы (способ соединения процессоров друг с другом) в большей степени определяет ее производительность, чем тип используемых в ней процессоров. Критическим параметром, влияющим на величину производительности такой системы, является расстояние между процессорами. 25

Изображение слайда
26

Слайд 26: Расстояние между процессорами

26 Какое максимальное расстояние между двумя процессорами? Соединение 16 процессоров – плоская решетка

Изображение слайда
27

Слайд 27: Расстояние между процессорами

27 Теория показывает, что если в системе максимальное расстояние между процессорами больше 4, то такая система не может работать эффективно. Для получения более компактной конфигурации необходимо решить задачу о нахождении фигуры, имеющей максимальный объем при минимальной площади поверхности.

Изображение слайда
28

Слайд 28

Гиперкуб - данная топология представляет собой частный случай структуры решетки, когда по каждой размерности сетки имеется только два процессора (т.е. гиперкуб содержит 2 N процессоров при размерности N ). Характеризуется следующим рядом отличительных признаков: - два процессора имеют соединение, если двоичные представления их номеров имеют только одну различающуюся позицию; - в N -мерном гиперкубе каждый процессор связан ровно с N соседями; - N -мерный гиперкуб может быть разделен на два ( N–1 )-мерных гиперкуба; - кратчайший путь между двумя любыми процессорами имеет длину, совпадающую с количеством различающихся битовых значений в номерах процессоров (данная величина известна как расстояние Хэмминга ). 28

Изображение слайда
29

Слайд 29: Расстояние между процессорами. Гиперкуб

29 Куб – при 8-ми процессорах. Больше восьми процессоров - гиперкуб Гиперкуб – схема вторая по эффективности, но самая наглядная На картинке – 3-мерный гиперкуб

Изображение слайда
30

Слайд 30: Архитектура с топологией "толстого дерева" (fat-tree)

30 Одна из самых эффективных. Вид «сверху» Вид «сбоку»

Изображение слайда
31

Слайд 31: Характеристики некоторых топологий сети

31

Изображение слайда
32

Слайд 32: Характеристики топологий сети

32 Диаметр – показатель, определяемый как максимальное расстояние между двумя процессорами сети (под расстоянием обычно понимается величина кратчайшего пути между процессорами Связность ( connectivity ) – показатель, характеризующий наличие разных маршрутов передачи данных между процессорами сети. Показатель может быть определен, например, как минимальное количество дуг, которое надо удалить для разделения сети передачи данных на две несвязные области.

Изображение слайда
33

Слайд 33: Характеристики топологий сети

33 Ширина бинарного деления ( bisection width ) – показатель, определяемый как минимальное количество дуг, которое надо удалить для разделения сети передачи данных на две несвязные области одинакового размера; Стоимость – показатель, который может быть определен, например, как общее количество линий передачи данных в многопроцессорной вычислительной системе.

Изображение слайда
34

Слайд 34: Языки и системы программирования

Базовые языки параллельного программирования: C, Fortran, Lisp, Erlang и их производные (расширения, библиотеки, диалекты). 34

Изображение слайда
35

Слайд 35: Языки и системы параллельного программирования

35 Многоядерные процессоры Многопоточное программирование ( OpenMP, средства Intel ) Видеокарты CUDA, API Direct Compute 5.0, OpenCL, OpenACC Мультикопьютеры MPI, PVM, DVM, Linda и др.

Изображение слайда
36

Слайд 36: Технология программирования OpenMP

OpenMP является одной из популярных технологий программирования систем с общей памятью. Стандарт OpenMP был разработан для языков Fortran, C и C ++. 36 Main Thread Main Thread Child Threads

Изображение слайда
37

Слайд 37: Система параллельного программирования PVM

PVM ( Parallel Virtual Machine ) позволяет объединить набор разных компьютеров, связанных сетью, в общую вычислительную систему, называемую параллельной виртуальной машиной. Компьютеры сети могут быть многопроцессорными машинами любого типа. PVM поддерживает языки Fortran, C, C ++, а также имеются средства сопряжения с языками Perl, Java. 37

Изображение слайда
38

Слайд 38: Технология MPI

38 вычислительные системы с распределённой памятью Программа Процессор Процессор Процессор копия копия копия

Изображение слайда
39

Последний слайд презентации: Лекция 2. Архитектура параллельных вычислительных систем. Часть 2: Технология программирования CUDA

CUDA (Compute Unified Device Architecture) - программно аппаратное решение, позволяющее использовать видеопроцессоры для вычислений общего назначения. 39

Изображение слайда