Презентация на тему: Введение

Введение
Введение
Определение вычислительной системы
Понятие параллельных вычислений…
Понятие параллельных вычислений
Необходимость параллельных вычислений…
Необходимость параллельных вычислений
Необходимость параллельных вычислений
Примеры приложений: Науки о Земле
Примеры приложений: Науки о жизни
Примеры приложений: Инженерные расчёты
Значимость параллельных вычислений…
Значимость параллельных вычислений…
Введение
Параллельные вычислительные системы: краткий обзор и классификация
Пути достижения параллелизма…
Пути достижения параллелизма…
Пути достижения параллелизма…
Пути достижения параллелизма
Параллельное выполнение программы
Примеры параллельных вычислительных систем…
Примеры параллельных вычислительных систем…
Примеры параллельных вычислительных систем…
Примеры параллельных вычислительных систем…
Примеры параллельных вычислительных систем…
Примеры параллельных вычислительных систем…
Примеры параллельных вычислительных систем…
Примеры параллельных вычислительных систем…
Примеры параллельных вычислительных систем…
Примеры параллельных вычислительных систем…
Примеры параллельных вычислительных систем…
Примеры параллельных вычислительных систем…
Примеры параллельных вычислительных систем…
Примеры параллельных вычислительных систем…
Примеры параллельных вычислительных систем…
Примеры параллельных вычислительных систем…
Примеры параллельных вычислительных систем…
Примеры параллельных вычислительных систем…
Примеры параллельных вычислительных систем…
Примеры параллельных вычислительных систем…
Примеры параллельных вычислительных систем…
Примеры параллельных вычислительных систем…
Примеры параллельных вычислительных систем…
Примеры параллельных вычислительных систем
Классификация вычислительных систем…
Классификация вычислительных систем…
Классификация вычислительных систем…
Классификация вычислительных систем…
Классификация вычислительных систем…
Классификация вычислительных систем…
Классификация вычислительных систем…
Классификация вычислительных систем
Заключение
Общая характеристика многопроцессорных вычислительных систем
Классификация вычислительных систем…
Классификация вычислительных систем…
Классификация вычислительных систем…
Классификация вычислительных систем…
Классификация вычислительных систем…
Классификация вычислительных систем…
Классификация вычислительных систем…
Классификация вычислительных систем…
Классификация вычислительных систем…
Классификация вычислительных систем…
Классификация вычислительных систем…
Классификация вычислительных систем…
Классификация вычислительных систем…
Классификация вычислительных систем…
Классификация вычислительных систем…
Классификация вычислительных систем…
Классификация вычислительных систем…
Классификация вычислительных систем…
Классификация вычислительных систем
Введение
Введение
Обозначения к таблице
Характеристика типовых схем коммуникации…
Характеристика типовых схем коммуникации…
Характеристика типовых схем коммуникации…
Характеристика типовых схем коммуникации…
Характеристика типовых схем коммуникации…
Характеристика типовых схем коммуникации…
Определить архитектуру ВС….
Определить архитектуру ВС….
Определить архитектуру ВС….
Определить архитектуру ВС….
Введение
1/87
Средняя оценка: 4.8/5 (всего оценок: 43)
Код скопирован в буфер обмена
Скачать (5903 Кб)
1

Первый слайд презентации: Введение

Учебный курс Основы параллельных вычислений Гергель В.П., профессор, д.т.н. Нижегородский университет

Изображение слайда
2

Слайд 2

Изображение слайда
3

Слайд 3: Определение вычислительной системы

Вычислительная система (ВС) – совокупность взаимосвязанных и взаимодействующих процессоров или ЭВМ, периферийного оборудования и программного обеспечения, предназначенная для сбора, хранения, обработки и распределения информации.

Изображение слайда
4

Слайд 4: Понятие параллельных вычислений…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 4 Понятие параллельных вычислений… Под параллельными вычислениями ( parallel or concurrent computations) можно понимать процессы решения задач, в которых в один и тот же момент времени могут выполняться одновременно несколько вычислительных операций Параллельные вычисления составляют основу суперкомпьютерных технологий и высокопроизводительных расчётов

Изображение слайда
5

Слайд 5: Понятие параллельных вычислений

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 5 Параллельные вычисления не сводятся к использованию только многопроцессорных вычислительных систем (существуют ли последовательные компьютеры !?) Одновременные выполняемые операции должны быть направлены на решение общей задачи Параллельные вычисления следует отличать от многозадачных (многопрограммных) режимов работы последовательных ЭВМ Понятие параллельных вычислений

Изображение слайда
6

Слайд 6: Необходимость параллельных вычислений…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 6 Необходимость параллельных вычислений… Опережение потребности вычислений быстродействия существующих компьютерных систем ( ex., Problems of Grand Challenge) моделирование климата, генная инженерия, проектирование интегральных схем, анализ загрязнения окружающей среды, создание лекарственных препаратов и др. Оценка необходимой производительности – 10 12 операций (1 Tflops) FLOPS ( флопс ) — величина, используемая для измерения производительности компьютеров, показывающая, сколько операций с плавающей запятой в секунду выполняет данная вычислительная система.

Изображение слайда
7

Слайд 7: Необходимость параллельных вычислений

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 7 Теоретическая ограниченность роста производительности последовательных компьютеров Резкое снижение стоимости многопроцессорных ( параллельных ) вычислительных систем ПК на базе четырехядерного процессора Intel Core 2 Quad – 20 GFlops ($ 1 500), Персональный мини-кластер T - Edge Mini на базе четырехядерных процессоров Intel Xeon – 2 40 GFlops ($ 20 000) Смена парадигмы построения высокопроизводительных процессоров - многоядерность Необходимость параллельных вычислений

Изображение слайда
8

Слайд 8: Необходимость параллельных вычислений

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 8 Необходимость параллельных вычислений Технические характеристики мини-кластера T-Edge Mini: До 5-ти двухпроцессорных узлов на базе четырехъядерных процессоров Intel Xeon. Память до 64 Гб. 3 блока питания мощностью 600 Вт. Порты ввода/вывода на передней панели: VGA port, USB ports, Keyboard and Mouse. Порты ввода/вывода на задней панели: 2 RJ-45 GbE ports, 1 RJ-45 FE port, 4 порта для мониторинга узлов по протоколу RS 485. Встроенный DVD привод. Встроенный KVM and GbE коммутатор. Операционная система: ОС SUSE Linux Enterprise Server 9, RedHat Enterprise Linux 4 или Microsoft Windows Compute Cluster Server 2003.

Изображение слайда
9

Слайд 9: Примеры приложений: Науки о Земле

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 9 Примеры приложений: Науки о Земле Анализ изменений климата Прогнозирование погоды Состояние атмосферы Суперкомпьютерный центр в Барселоне

Изображение слайда
10

Слайд 10: Примеры приложений: Науки о жизни

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 10 Примеры приложений: Науки о жизни Новые лекарства и методы лечения Геномика Поиск в базах данных Национальный Институт Здоровья США

Изображение слайда
11

Слайд 11: Примеры приложений: Инженерные расчёты

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 11 Примеры приложений: Инженерные расчёты Виртуальное проектирование Оптимизация

Изображение слайда
12

Слайд 12: Значимость параллельных вычислений…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 12 Значимость параллельных вычислений… Принятие обоснованных решений практически в любой сфере человеческой деятельности с необходимостью предполагает проведение расширенного математического моделирования с тщательным исследованием возможных вариантов деятельности с помощью вычислительных экспериментов При этом, появление столь радикально возросших возможностей суперкомпьютерных технологий позволяет разрабатывать углублённые математические модели, максимально точно описывающих объекты реального мира, и требующие для своего анализа проведения масштабных вычислений

Изображение слайда
13

Слайд 13: Значимость параллельных вычислений…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 13 Области приложений, в которых суперкомпьютерные вычисления имеют особую значимость: Невозможность (недопустимость) натурных экспериментов : изучение процессов при ядерном взрыве или серьезных воздействий на природу Изучение влияния экстремальных условий (температур, магнитных полей, радиации и др.) — старение материалов, безопасность конструкций, боевое применение Моделирование наноустройств и наноматериалов Науки о жизни  — изучение генома человека, разработка новых лекарственных препаратов и т.п. Науки о Земле  — обработка геоинформации: полезные ископаемые; селевая, сейсмическая и т.п. безопасность, прогнозы погоды, модели изменения климата... Моделирование при разработке новых технических устройств — инженерные расчеты Значимость параллельных вычислений…

Изображение слайда
14

Слайд 14

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 14 Конкурентоспособность страны в современных условиях во многом определяется уровнем развития суперкомпьютерных вычислительных технологий Суперкомпьютерные технологии становятся одним из решающих факторов научно-технического прогресса и могут служить точно таким стимулом развития страны, как ранее были авиация, атом, ракетная техника и космос Значимость параллельных вычислений

Изображение слайда
15

Слайд 15: Параллельные вычислительные системы: краткий обзор и классификация

Учебный курс Основы параллельных вычислений Гергель В.П., профессор, д.т.н. Нижегородский университет Лекция 1 :

Изображение слайда
16

Слайд 16: Пути достижения параллелизма…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 16 Пути достижения параллелизма… Под параллельными вычислениями понимаются процессы обработки данных, в которых одновременно могут выполняться несколько операций компьютерной системы

Изображение слайда
17

Слайд 17: Пути достижения параллелизма…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 17 Достижение параллелизма возможно только при выполнимости следующих требований: независимость функционирования отдельных устройств ЭВМ (устройства ввода-вывода, обрабатывающие процессоры и устройства памяти), избыточность элементов вычислительной системы использование специализированных устройств ( например, отдельные процессоры для целочисленной и вещественной арифметики, устройства многоуровневой памяти ), дублирование устройств ЭВМ (например, использование нескольких однотипных обрабатывающих процессоров или нескольких устройств оперативной памяти), Дополнительная форма обеспечения параллелизма - конвейерная реализация обрабатывающих устройств Пути достижения параллелизма…

Изображение слайда
18

Слайд 18: Пути достижения параллелизма…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 18 Возможные режимы выполнения независимых частей программы: многозадачный режим ( режим разделения времени ), при котором для выполнения нескольких процессов используется единственный процессор (данный режим является псевдопараллельным, в каждый момент времени исполняемым может быть единственный процесс), параллельное выполнение, когда в один и тот же момент времени может выполняться несколько команд обработки данных (обеспечивается при наличии нескольких процессоров или при помощи конвейерных и векторных обрабатывающих устройств), распределенные вычисления, при которых для параллельной обработки данных используется несколько обрабатывающих устройств, достаточно удаленных друг от друга, а передача данных по линиям связи приводит к существенным временным задержкам. Пути достижения параллелизма…

Изображение слайда
19

Слайд 19: Пути достижения параллелизма

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 19 Пути достижения параллелизма Основное внимание будем уделять второму типу организации параллелизма, реализуемому на многопроцессорных вычислительных системах

Изображение слайда
20

Слайд 20: Параллельное выполнение программы

Параллельным называется такое выполнение программы, когда две или более части одной и той же программы выполняются одновременно двумя или более центральными процессорами одного компьютера или вычислительной системы. В первом случае архитектура вычислительной системы считается многопроцессорной (мультипроцессорной), а во втором многомашинной (мульти компьютерной). Вычислительные системы, содержащие более одного центрального процессора, называются параллельными.

Изображение слайда
21

Слайд 21: Примеры параллельных вычислительных систем…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 21 Суперкомпьютеры Суперкомпьютер – это вычислительная система, обладающая предельными характеристиками по производительности среди имеющихся в каждый конкретный момент времени компьютерных систем Примеры параллельных вычислительных систем…

Изображение слайда
22

Слайд 22: Примеры параллельных вычислительных систем…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 22 Суперкомпьютеры. Программа ASCI ( Accelerated Strategic Computing Initiative ) 1996, система ASCI Red, построенная Intel, производительность 1 TFlops, 1999, ASCI Blue Pacific от IBM и ASCI Blue Mountain от SGI, производительность 3 TFlops, 2000, ASCI White с пиковой производительностью свыше 12 TFlops ( реально показанная производительность на тесте LINPACK составила на тот момент 4938 GFlops ) Примеры параллельных вычислительных систем…

Изображение слайда
23

Слайд 23: Примеры параллельных вычислительных систем…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 23 Суперкомпьютеры. ASCI White … Система с 512-ю симметричными мультипроцессорными (SMP) узлами, каждый узел имеет 16 процессоров, Процессоры IBM RS/6000 POWER3 с 64-х разрядной архитектурой и конвейерной организацией с 2 устройствами по обработке команд с плавающей запятой и 3 устройствами по обработке целочисленных команд, они способны выполнять до 8 команд за тактовый цикл и до 4 операций с плавающей запятой за такт, тактовая частота 375 MHz, Оперативная память системы – 4 TB, Емкость дискового пространства 180 TB Примеры параллельных вычислительных систем…

Изображение слайда
24

Слайд 24: Примеры параллельных вычислительных систем…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 24 Суперкомпьютеры. ASCI White … Примеры параллельных вычислительных систем…

Изображение слайда
25

Слайд 25: Примеры параллельных вычислительных систем…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 25 Суперкомпьютеры. ASCI White Операционная система представляет собой версию UNIX – IBM AIX, Программное обеспечение ASCI White поддерживает смешанную модель программирования – передача сообщений между узлами и многопотоковость внутри SMP-узла, Поддерживаются библиотеки MPI, OpenMP, потоки POSIX и транслятор директив IBM, имеется параллельный отладчик IBM. Примеры параллельных вычислительных систем…

Изображение слайда
26

Слайд 26: Примеры параллельных вычислительных систем…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 26 Суперкомпьютеры. Система BlueGene Первый вариант системы представлен в 2004 г. и сразу занял 1 позицию в списке Top 500 Расширенный вариант суперкомпьютера (ноябрь 2007 г.) по прежнему на 1 месте в перечне наиболее быстродействующих вычислительных систем: 212992 двухядерных 32-битных процессоров PowerPC 440 0.7 GHz, пиковая производительность около 600 TFlops, производительность на тесте LINPACK – 478 TFlops Примеры параллельных вычислительных систем…

Изображение слайда
27

Слайд 27: Примеры параллельных вычислительных систем…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 27 Суперкомпьютеры. Система BlueGene Примеры параллельных вычислительных систем…

Изображение слайда
28

Слайд 28: Примеры параллельных вычислительных систем…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 28 Суперкомпьютеры. Система RoadRunner RoadRunner является наиболее быстродействующей вычислительной системой (2008) и первым в мире суперкомпьютером, производительность которого превысила рубеж 1 PFlops (1000 TFlops) : Примеры параллельных вычислительных систем… 12960 процессоров IBM PowerXCell 8i и 6480 двухядерных процессоров AMD Opteron, пиковая производительность около 1700 TFlops, производительность на тесте LINPACK – 1026 TFlops

Изображение слайда
29

Слайд 29: Примеры параллельных вычислительных систем…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 29 Суперкомпьютеры. МВС-15000… ( Межведомственный Суперкомпьютерный Центре РАН ) 2005 Общее количество узлов 276 (552 процессора). Каждый узел представляет собой: 2 процессора IBM PowerPC 970 с тактовой частотой 2.2 GHz, кэш L 1 96 Kb и кэш L 2 512 Kb, 4 Gb оперативной памяти на узел, 40 Gb жесткий диск IDE, Операционная система SuSe Linux Enterprise Server версии 8 для платформ x 86 и PowerPC, Пиковая производительность 4857.6 GFlops и максимально показанная на тесте LINPACK 3052 GFlops. Примеры параллельных вычислительных систем…

Изображение слайда
30

Слайд 30: Примеры параллельных вычислительных систем…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 30 Суперкомпьютеры. МВС-15000 Примеры параллельных вычислительных систем…

Изображение слайда
31

Слайд 31: Примеры параллельных вычислительных систем…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 31 Суперкомпьютеры. МВС-15000 Примеры параллельных вычислительных систем…

Изображение слайда
32

Слайд 32: Примеры параллельных вычислительных систем…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 32 Суперкомпьютеры. СКИФ МГУ… ( НИВЦ МГУ ) 2008 Общее количество двухпроцессорных узлов 625 ( 1250 четырехядерных процессоров Intel Xeon E5472 3.0 ГГц), Примеры параллельных вычислительных систем… Общий объем оперативной памяти – 5,5 Тбайт, Объем дисковой памяти узлов – 15 Тбайт, Операционная система Linux, Пиковая производительность 60 T Flops, быстродействие на тесте LINPACK 47 T Flops.

Изображение слайда
33

Слайд 33: Примеры параллельных вычислительных систем…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 33 Кластеры Примеры параллельных вычислительных систем… Кластер – группа компьютеров, объединенных в локальную вычислительную сеть (ЛВС) и способных работать в качестве единого вычислительного ресурса. Предполагает более высокую надёжность и эффективность, нежели ЛВС, и существенно более низкую стоимость в сравнении с другими типами параллельных вычислительных систем (за счет использования типовых аппаратных и программных решений).

Изображение слайда
34

Слайд 34: Примеры параллельных вычислительных систем…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 34 Кластеры Примеры параллельных вычислительных систем…

Изображение слайда
35

Слайд 35: Примеры параллельных вычислительных систем…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 35 Кластеры. Beowulf… В настоящее время под кластером типа “ Beowulf ” понимается вычислительная система, состоящая из одного серверного узла и одного или более клиентских узлов, соединенных при помощи сети Ethernet или некоторой другой сети передачи данных. Это система, построенная из готовых серийно выпускающихся промышленных компонент, на которых может работать ОС Linux /Windows, стандартных адаптеров Ethernet и коммутаторов. Примеры параллельных вычислительных систем…

Изображение слайда
36

Слайд 36: Примеры параллельных вычислительных систем…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 36 Кластеры. Beowulf… 1994, научно-космический центр NASA Goddard Space Flight Center, руководители проекта - Томас Стерлинг и Дон Бекер: 16 компьютеров на базе процессоров 486DX4, тактовая частота 100 MHz, 16 Mb оперативной памяти на каждом узле, три параллельно работающих 10Mbit/s сетевых адаптера, операционная система Linux, компилятор GNU, поддержка параллельных программ на основе MPI. Примеры параллельных вычислительных систем…

Изображение слайда
37

Слайд 37: Примеры параллельных вычислительных систем…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 37 Кластеры. Beowulf 1998, Система Avalon, Лос-Аламосская национальная лаборатория (США), руководители проекта - астрофизик Майкл Уоррен: 68 процессоров (позднее расширен до 140) Alpha 21164A с тактовой частотой 533 MHz, 256 Mb RAM, 3 Gb HDD, Fast Ethernet card на каждом узле, операционная система Linu x, пиковая производительность в 149 GFlops, производительность на тесте LINPACK 48.6 GFlops. Примеры параллельных вычислительных систем…

Изображение слайда
38

Слайд 38: Примеры параллельных вычислительных систем…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 38 Кластеры. AC3 Velocity Cluster 2000, Корнельский университет (США), результат совместной работы университета и Advanced Cluster Computing Consortium, образованного компаниями Dell, Intel, Microsoft, Giganet: 64 четырехпроцессорных сервера Dell PowerEdge 6350 на базе Intel Pentium III Xeon 500 MHz, 4 G B RAM, 54 GB HDD, 100 Mbit Ethernet card, 1 восьмипроцессорный сервер Dell PowerEdge 6350 на базе Intel Pentium III Xeon 550 MHz, 8 G B RAM, 36 GB HDD, 100 Mbit Ethernet card, операционная система Microsoft Windows NT 4.0 Server Enterprise Edition, пиковая производительность AC3 Velocity 122 GFlops, производительность на тесте LINPACK 47 GFlops. Примеры параллельных вычислительных систем…

Изображение слайда
39

Слайд 39: Примеры параллельных вычислительных систем…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 39 Кластеры. NCSA NT Supercluster 2000, Национальный центр суперкомпьютерных технологий ( National Center for Supercomputing Applications) : 38 двухпроцессорных систем Hewlett-Packard Kayak XU PC workstation на базе Intel Pentium III Xeon 550 MHz, 1 Gb RAM, 7.5 Gb HDD, 100 Mbit Ethernet card, операционная система ОС Microsoft Windows, пиковая производительностью в 140 GFlops и производительность на тесте LINPACK 62 GFlops. Примеры параллельных вычислительных систем…

Изображение слайда
40

Слайд 40: Примеры параллельных вычислительных систем…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 40 Кластеры. Thunder 2004, Ливерморская Национальная Лаборатория (США): 1024 сервера, в каждом по 4 процессора Intel Itanium 1.4 GHz, 8 Gb оперативной памяти на сервер, общая емкость дисковой системы 150 Tb, операционная система CHAOS 2.0, пиковая производительность 22938 GFlops и максимально показанная на тесте LINPACK 19940 GFlops (5-ая позиция списка Top500 ). Примеры параллельных вычислительных систем…

Изображение слайда
41

Слайд 41: Примеры параллельных вычислительных систем…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 41 Кластеры. Вычислительный кластер ННГУ… 2001, Нижегородский государственный университет, оборудование передано в рамках Академической программы Интел: 2 вычислительных сервера, каждый из которых имеет 4 процессора Intel Pentium III 700 MHz, 512 MB RAM, 10 GB HDD, 1 Gbit Ethernet card, 12 вычислительных серверов, каждый из которых имеет 2 процессора Intel Pentium III 1000 MHz, 256 MB RAM, 10 GB HDD, 1 Gbit Ethernet card, 12 рабочих станций на базе процессора Intel Pentium 4 1300 MHz, 256 MB RAM, 10 GB HDD, 10/100 Fast Ethernet card, операционная система Microsoft Windows. Примеры параллельных вычислительных систем…

Изображение слайда
42

Слайд 42: Примеры параллельных вычислительных систем…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 42 Кластеры. Вычислительный кластер ННГУ… Примеры параллельных вычислительных систем…

Изображение слайда
43

Слайд 43: Примеры параллельных вычислительных систем…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 43 Кластеры. Вычислительный кластер ННГУ 2007, Модернизация в рамках Инновационной образовательной программы ННГУ: 64 вычислительных сервера, каждый из которых имеет 2 двухядерных процессора Intel Core Duo 2,66 GHz, 4 GB RAM, 100 GB HDD, 1 Gbit Ethernet card, пиковая производительность ~ 3 Tflops операционная система Microsoft Windows. Примеры параллельных вычислительных систем…

Изображение слайда
44

Слайд 44: Примеры параллельных вычислительных систем

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 44 Персональные мини-кластеры T-Edge Mini - см. http://www.t-platforms.ru/ru/temini.php 4 двухпроцессорных узла на базе четырехядерных процессоров Intel Xeon ( всего 32 вычислительных ядер) Оперативная память – до 128Гбайт Сеть передачи данных - Gigabit Ethernet или InfiniBand Операционная система - SUSE Linux Enterprise Server, RedHat Enterprise Linux или Microsoft Windows Compute Cluster Server 2003 Пиковая производительность – 384 GFlops Размеры (см) - 57х33х76 Примеры параллельных вычислительных систем

Изображение слайда
45

Слайд 45: Классификация вычислительных систем…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 45 Классификация вычислительных систем… Под потоком понимается последовательность элементов, команд или данных, обрабатываемая процессором. Потоком команд называется последовательность команд программы, выполняемая одним процессорным элементом ВС. Потоком данных называется последовательность данных, выдаваемая на обработку в один из процессорных элементов. Если количество одновременно выполняемых различными процессорными элементами ВС команд больше одной, то поток команд называется множественным. Если в ВС на одной и той же стадии обработки находится более одного набора операндов, которые поступают в различные процессорные элементы, то поток данных называется множественным.

Изображение слайда
46

Слайд 46: Классификация вычислительных систем…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 46 Систематика Флинна ( Flynn )… Классификация по способам взаимодействия последовательностей ( потоков ) выполняемых команд и обрабатываемых данных: SISD ( Single Instruction, Single Data ) SIMD ( Single Instruction, Multiple Data ) MISD ( Multiple Instruction, Single Data ) MIMD ( Multiple Instruction, Multiple Data ) Классификация вычислительных систем…

Изображение слайда
47

Слайд 47: Классификация вычислительных систем…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 47 Систематика Флинна ( Flynn )… SISD – Один поток команд, Один поток данных: Классификация вычислительных систем… Поток команд Поток данных Вычислительная система "Обычные" последовательные компьютеры ОКОД - одиночный поток команд - одиночный поток данных, или SISD ( Single Instruction Single Data ) охватывает все однопроцессорные и одномашинные варианты систем, т.е. ВС с одним вычислителем (рис). Все ЭВМ классической структуры попадают в этот класс. Здесь параллелизм вычислений обеспечивается путём совмещения выполнения операций отдельными блоками АЛУ, а также парал­лельная работа устройств ввода-вывода информации и процессора.

Изображение слайда
48

Слайд 48: Классификация вычислительных систем…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 48 Систематика Флинна ( Flynn )… SIMD – Один поток команд, Множественный поток данных: Классификация вычислительных систем… Вычислительные системы с синхронным управлением, векторные компьютеры – классический пример – система ILLIAC IV    Поток команд Поток данных Вычислительная система

Изображение слайда
49

Слайд 49: Классификация вычислительных систем…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 49 Систематика Флинна ( Flynn )… Классификация вычислительных систем… ОКМД — одиночный поток команд - множественный поток данных, или SIMD ( Single Instruction Multiple Data ) предполагает создание структур векторной или матричной обработки. Системы этого типа обычно строятся как однородные, т.е. процессорные элементы, входящие в систему, идентичны, и все они управля­ются одной и той же последовательностью команд. Однако каждый процессор обрабатывает свой поток данных. Под эту схему хорошо подходят задачи обработки матриц или векторов (массивов), задачи решения систем линейных и нелинейных, алгебраических и дифференциальных уравнений, задачи теории поля и др. В структурах данной архитектуры желательно обеспечивать соединения между процессорами, соответствующие реализуемым математическим зависимостям. Как правило, эти связи напоминают матрицу, в которой каждый процессорный элемент связан с соседними. Векторный или матричный тип вычислений является необходимым атрибутом любой супер-ЭВМ.

Изображение слайда
50

Слайд 50: Классификация вычислительных систем…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 50 Систематика Флинна ( Flynn )… MISD – Множественный поток команд, Один поток данных: Классификация вычислительных систем… Конвейерная обработка ? Пустой класс ?    Поток команд Поток данных Вычислительная система МКОД — множественный поток команд - одиночный поток данных, или MISD ( Multiple Instruction Single Data ) К классу MISD ряд исследователей относит конвейерные ЭВМ, однако это не нашло окончательного признания, поэтому можно считать, что реальных систем — представителей данного класса ещё не существует.

Изображение слайда
51

Слайд 51: Классификация вычислительных систем…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 51 Систематика Флинна ( Flynn )… MIMD – Множественный поток команд, Множественный поток данных: Классификация вычислительных систем… Многопроцессорные вычислительные системы       Поток команд Поток данных Вычислительная система МКМД — множественный поток команд - множественный поток данных, или MIMD ( Multiple Instruction Multiple Data ) предполагает, что все процессоры системы работают по своим программам с собственным потоком команд. В простейшем случае они могут быть автономны и независимы. Такая схема использования ВС часто применяется на многих крупных вычислительных центрах для увеличения пропускной способности центра.

Изображение слайда
52

Слайд 52: Классификация вычислительных систем

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 52 Систематика Флинна ( Flynn ) Классификация вычислительных систем Практически все виды параллельных систем, несмотря на их существенную разнородность, относятся к одной группе MIMD

Изображение слайда
53

Слайд 53: Заключение

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 53 Заключение Приведена общая характеристика способов организации параллельных вычислений Рассмотрено различие между многозадачным, параллельным и распределенным режимами выполнения программ Приведен ряд примеров параллельных вычислительных систем Дано описание одного из наиболее известных способов классификации вычислительных систем – систематики Флинна

Изображение слайда
54

Слайд 54: Общая характеристика многопроцессорных вычислительных систем

Учебный курс Основы параллельных вычислений Гергель В.П., профессор, д.т.н. Нижегородский университет Лекция 2 :

Изображение слайда
55

Слайд 55: Классификация вычислительных систем…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 55 Систематика Флинна ( Flynn ) Классификация по способам взаимодействия последовательностей ( потоков ) выполняемых команд и обрабатываемых данных: SISD ( Single Instruction, Single Data ) SIMD ( Single Instruction, Multiple Data ) MISD ( Multiple Instruction, Single Data ) MIMD ( Multiple Instruction, Multiple Data ) Классификация вычислительных систем… Практически все виды параллельных систем, несмотря на их существенную разнородность, относятся к одной группе MIMD

Изображение слайда
56

Слайд 56: Классификация вычислительных систем…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 56 Детализация систематики Флинна… Дальнейшее разделение типов многопроцессорных систем основывается на используемых способах организации оперативной памяти, Позволяет различать два важных типа многопроцессорных систем: multiprocessors ( мультипроцессоры или системы с общей разделяемой памятью), multicomputers ( мультикомпьютеры или системы с распределенной памятью). Классификация вычислительных систем…

Изображение слайда
57

Слайд 57: Классификация вычислительных систем…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 57 Детализация систематики Флинна… Классификация вычислительных систем…

Изображение слайда
58

Слайд 58: Классификация вычислительных систем…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 58 Мультипроцессоры с использованием единой общей памяти ( shared memory )… Обеспечивается однородный доступ к памяти ( uniform memory access or UMA ), Являются основой для построения: векторных параллельных процессоров ( parallel vector processor or PVP ). Примеры: Cray T 90, симметричных мультипроцессоров ( symmetric multiprocessor or SMP ). Примеры: IBM eServer, Sun Star Fire, HP Superdome, SGI Origin. Классификация вычислительных систем…

Изображение слайда
59

Слайд 59: Классификация вычислительных систем…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 59 Мультипроцессоры с использованием единой общей памяти… Классификация вычислительных систем…

Изображение слайда
60

Слайд 60: Классификация вычислительных систем…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 60 Мультипроцессоры с использованием единой общей памяти… Проблемы: Доступ с разных процессоров к общим данным и обеспечение, в этой связи, однозначности (когерентности) содержимого разных кэшей ( cache coherence problem ), Необходимость синхронизации взаимодействия одновременно выполняемых потоков команд Классификация вычислительных систем…

Изображение слайда
61

Слайд 61: Классификация вычислительных систем…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 61 Мультипроцессоры с использованием единой общей памяти… Проблема : Обеспечение однозначности (когерентности) содержимого разных кэшей ( cache coherence problem ) Классификация вычислительных систем… При изменении данных необходимо проверять наличие "старых" значений в кэш-памяти всех процессоров (обеспечивается на аппаратном уровне, но становится сложным при большом количестве процессоров)

Изображение слайда
62

Слайд 62: Классификация вычислительных систем…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 62 Мультипроцессоры с использованием единой общей памяти… Проблема : Необходимость синхронизации взаимодействия одновременно выполняемых потоков команд… Пример: Пусть процессоры выполняют последовательность команд над общей переменной N ( в скобках указывается значение этой переменной) Вариант исполнения 1 Вариант исполнения 2 Классификация вычислительных систем… Временная последовательность команд может быть различной – необходима синхронизация при использовании общих переменных ! N = N + 1 Печать N

Изображение слайда
63

Слайд 63: Классификация вычислительных систем…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 63 Мультипроцессоры с использованием единой общей памяти… Проблема : Необходимость синхронизации взаимодействия одновременно выполняемых потоков команд… Рассмотренный пример может рассматриваться как проявление общей проблемы использования разделяемых ресурсов (общих данных, файлов, устройств и т.п.) Для организации разделения ресурсов между несколькими потоками команд необходимо иметь возможность: -  определения доступности запрашиваемых ресурсов (ресурс свободен и может быть выделен для использования, ресурс уже занят одним из потоков и не может использоваться дополнительно каким-либо другим потоком); - выделения свободного ресурса одному из процессов, запросивших ресурс для использования; -  приостановки (блокировки) потоков, выдавших запросы на ресурсы, занятые другими потоками. Классификация вычислительных систем…

Изображение слайда
64

Слайд 64: Классификация вычислительных систем…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 64 Мультипроцессоры с использованием единой общей памяти Проблема : Необходимость синхронизации взаимодействия одновременно выполняемых потоков команд Доступ к общей переменной в рассмотренном примере в самом общем виде должен быть организован следующим образом: Классификация вычислительных систем… < Получить доступ > N = N + 1 Печать N < Завершить доступ > Полное рассмотрение проблемы синхронизации будет выполнено позднее при изучении вопросов параллельного программирования для вычислительных систем с общей памятью

Изображение слайда
65

Слайд 65: Классификация вычислительных систем…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 65 Мультипроцессоры с использованием физически распределенной памяти ( distributed shared memory or DSM ): Неоднородный доступ к памяти ( non - uniform memory access or NUMA ), Среди систем такого типа выделяют: cache - only memory architecture or COMA (системы KSR -1 и DDM ), cache - coherent NUMA or CC - NUMA (системы SGI Origin 2000, Sun HPC 10000, IBM/Sequent NUMA-Q 2000), non - cache coherent NUMA or NCC - NUMA (система Cray T 3 E ). Классификация вычислительных систем…

Изображение слайда
66

Слайд 66: Классификация вычислительных систем…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 66 Мультипроцессоры с использованием физически распределенной памяти… Классификация вычислительных систем…

Изображение слайда
67

Слайд 67: Классификация вычислительных систем…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 67 Мультипроцессоры с использованием физически распределенной памяти: Упрощаются проблемы создания мультипроцессоров (известны примеры систем с несколькими тысячами процессоров), Возникают проблемы эффективного использования распределенной памяти (время доступа к локальной и удаленной памяти может различаться на несколько порядков). Классификация вычислительных систем…

Изображение слайда
68

Слайд 68: Классификация вычислительных систем…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 68 Классификация вычислительных систем… Мультикомпьютеры… Не обеспечивают общий доступ ко всей имеющейся в системах памяти ( no - remote memory access or NORMA ), Каждый процессор системы может использовать только свою локальную память

Изображение слайда
69

Слайд 69: Классификация вычислительных систем…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 69 Мультикомпьютеры… Для доступа к данным, располагаемых на других процессорах, необходимо явно выполнить операции передачи сообщений ( message passing operations ), Основные операции передачи данных: Отправить сообщение ( send ), Получить сообщение ( receive ) Пример: Классификация вычислительных систем… Процессор 1 < Отправить сообщение > < Продолжение вычислений > Процессор 2 < Получить сообщение > < Продолжение вычислений с использованием данных полученного сообщения > Полное рассмотрение проблемы передачи сообщений будет выполнено позднее при изучении вопросов параллельного программирования для вычислительных систем с распределенной памятью

Изображение слайда
70

Слайд 70: Классификация вычислительных систем…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 70 Мультикомпьютеры Данный подход используется при построении двух важных типов многопроцессорных вычислительных систем: массивно-параллельных систем ( massively parallel processor or MPP ), например: I BM RS/6000 SP2, Intel PARAGON, ASCI Red, транспьютерные системы Parsytec, кластеров ( clusters ), например: AC3 Velocity и NCSA NT Supercluster. Классификация вычислительных систем…

Изображение слайда
71

Слайд 71: Классификация вычислительных систем…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 71 Мультикомпьютеры. Кластеры… Классификация вычислительных систем… Кластер - множество отдельных компьютеров, объединенных в сеть, для которых при помощи специальных аппаратно-программных средств обеспечивается возможность унифицированного управления ( single system image ), надежного функционирования ( availability ) и эффективного использования ( performance )

Изображение слайда
72

Слайд 72: Классификация вычислительных систем…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 72 Мультикомпьютеры. Кластеры… Преимущества : Могут быть образованы на базе уже существующих у потребителей отдельных компьютеров, либо же сконструированы из типовых компьютерных элементов; Повышение вычислительной мощности отдельных процессоров позволяет строить кластеры из сравнительно небольшого количества отдельных компьютеров ( lowly parallel processing ), Для параллельного выполнения в алгоритмах достаточно выделять только крупные независимые части расчетов ( coarse granularity ). Классификация вычислительных систем…

Изображение слайда
73

Слайд 73: Классификация вычислительных систем

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 73 Мультикомпьютеры. Кластеры Недостатки : Организация взаимодействия вычислительных узлов кластера при помощи передачи сообщений обычно приводит к значительным временным задержкам, Дополнительные ограничения на тип разрабатываемых параллельных алгоритмов и программ ( низкая интенсивность потоков передачи данных ) Классификация вычислительных систем

Изображение слайда
74

Слайд 74

Классификация вычислительных систем

Изображение слайда
75

Слайд 75

Признак классификации Многопроцессорная ВС Многомашинная ВС Состав структуры CP*, PM, BM, EM, I/O, SW ВМ ( ЭВМ, МПВС ), EM, I/O, SW Вид связи между элементами структуры (вид коммутатора) Матричный SW, многоступенчатый SW, общая шина Шинные (многошинный SW и др. ) или линковые ( SW с регулярными связями и др. ) Организация памяти Общая память Распределенная память Способ передачи данных Параллельный (сильная связь) Параллельно-последовательный (ослабленная связь) Приемник передаваемых данных – Кэш-память или оперативная память Инициатор передачи данных – Процесс-последователь или процесс-предшественник Операционная система (ОС), управление Общая, централизованное Копии ОС и общая надстройка, смешанное Пространственное размещение элементов структуры На одной плате или в одном блоке В одном блоке, в одной стойке и т.д. (в одном помещении)

Изображение слайда
76

Слайд 76: Обозначения к таблице

CP – центральный процессор (не содержит кэш-памяти СМ ); PM – процессорный модуль, т.е. CP +СМ, при этом СМ может быть двухуровневой; BM – оперативная память, которая может состоять из одного или нескольких модулей ММ (2, 4, 8 …); ММ – модуль оперативной памяти, который представляет собой секционированную память с числом секций, равным числу слов в блоке СМ (обычно 4), ЕМ – внешняя память на магнитных или оптических носителях информации; I / O – устройства ввода/вывода ; SW – коммутатор, т.е. совокупность средств, обеспечивающих взаимодействие между элементами структуры. В состав SW помимо ключевых элементов входит устройство управления, выполняющее функции маршрутизации, арбитража и т.п., ВМ – вычислительный модуль (это ЭВМ или МПВС).

Изображение слайда
77

Слайд 77: Характеристика типовых схем коммуникации…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 77 Характеристика типовых схем коммуникации… При организации параллельных вычислений в мультикомпьютерах для взаимодействия, синхронизации и взаимоисключения параллельно выполняемых процессов используется передача данных между процессорами вычислительной среды. Топология сети передачи данных - структура линий коммутации между процессорами вычислительной системы

Изображение слайда
78

Слайд 78: Характеристика типовых схем коммуникации…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 78 Топология сети передачи данных… полный граф ( completely - connected graph or clique ) – система, в которой между любой парой процессоров существует прямая линия связи, линейка ( linear array or farm ) – система, в которой все процессоры перенумерованы по порядку и каждый процессор, кроме первого и последнего, имеет линии связи только с двумя соседними, Характеристика типовых схем коммуникации… Полный граф ( completely - connected graph or clique ) Линейка ( linear array or farm )

Изображение слайда
79

Слайд 79: Характеристика типовых схем коммуникации…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 79 Топология сети передачи данных… кольцо ( ring ) – данная топология получается из линейки процессоров соединением первого и последнего процессоров линейки, звезда ( star ) – система, в которой все процессоры имеют линии связи с некоторым управляющим процессором, Характеристика типовых схем коммуникации… Кольцо ( ring ) Звезда ( star )

Изображение слайда
80

Слайд 80: Характеристика типовых схем коммуникации…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 80 Топология сети передачи данных… решетка ( mesh ) – система, в которой граф линий связи образует прямоугольную сетку, гиперкуб ( hypercube ) – данная топология представляет частный случай структуры решетки, когда по каждой размерности сетки имеется только два процессора. Характеристика типовых схем коммуникации… Решетка ( mesh )

Изображение слайда
81

Слайд 81: Характеристика типовых схем коммуникации…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 81 Топология сети вычислительных кластеров Для построения кластерной системы во многих случаях используют коммутатор ( switch ), через который процессоры кластера соединяются между собой. Одновременность выполнения нескольких коммуникационных операций является ограниченной. Характеристика типовых схем коммуникации… В любой момент времени каждый процессор может принимать участие только в одной операции приема - п ередачи данных

Изображение слайда
82

Слайд 82: Характеристика типовых схем коммуникации…

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 82 Характеристики топологии сети… диаметр – максимальное расстояние между двумя процессорами сети; характеризует максимально-необходимое время для передачи данных между процессорами, связность ( connectivity ) – минимальное количество дуг, которое надо удалить для разделения сети передачи данных на две несвязные области, ширина бинарного деления ( bisection width ) – минимальное количество дуг, которое надо удалить для разделения сети передачи данных на две несвязные области одинакового размера, стоимость – общее количество линий передачи данных в многопроцессорной вычислительной системе. Характеристика типовых схем коммуникации…

Изображение слайда
83

Слайд 83: Определить архитектуру ВС…

Изображение слайда
84

Слайд 84: Определить архитектуру ВС…

Изображение слайда
85

Слайд 85: Определить архитектуру ВС…

Изображение слайда
86

Слайд 86: Определить архитектуру ВС…

Изображение слайда
87

Последний слайд презентации: Введение

Н.Новгород, 2008 г. Основы параллельных вычислений: Введение © Гергель В.П. 87 Гергель В.П., профессор, д.т.н., декан факультета вычислительной математики и кибернетики Нижегородский университет gergel@unn.ru http://www.software.unn.ru/?dir=17 Контакты

Изображение слайда