100. Виртуализация вычислительных ресурсов. "Облачные" вычисления

Облачные вычисления (Cloud computing) – вид вычислений, в которых динамически масштабируемые и часто виртуализованные ресурсы предоставляются в виде услуги через сеть (чаще всего сеть Интернета). Под услугой (сервисом) подразумевается способ предоставления ценности заказчику, путем способствования получения заказчиком ценности без специфических вложений (напр. капитальных инвестиций) и рисков.

Сервера вычислений/приложений/хранения из собственных серверных переносятся в облачные. При этом оборудование для cloud используется по большому счету тоже, что уже используется в ЦОД: сервера, устройства хранения, сетевые и даже клиентские (возможно) устройства.

С технической точки зрения – сверху есть приложение в виде поиска/форума, оно через API получает доступ к определенным сервисам хранения/обработки данных, которые реализуются на облачной платформе. Платформа полагается на ряд технологий для реализациии виртуализации/пераллельной обработки и прочее (ниже подробнее).

Облачные вычисления имеют три основных компонента: облачная архитектура, облачные устройства и облачные сервисы:

• Облачная архитектура – должна быть высокопроизводительной, надежной, безопасной, масштабируемой scale out (подробнее ниже)

• Облачные устройства включают сервера (для обработки данных), СХД (для хранения данных) и сетевые устройства (как связующее звено). Устройства обладают теми же характеристиками, что и архитектура и при этом они должны быть дешевыми per device. Характеристики по устройствам:

  • сервера с большим количество памяти, высокоскоростная сеть и высокая скорость чтения/записи на диски

  • поддержка и реализация QoS на устройствах – даем гарантию на вычислительную мощность, сетевые каналы или объем данных по хранению.

  • устройства хранения поддерживают linked cloning, thin provisioning, snapshot и прочие функции

  • многопортовые и относительно дешевые коммутаторы, форвардящие трафик на L2 и поддерживающие некостыльный балансинг на L2 типо TRILL (TranspaRent Interconnection of Lots of Links), SPB (Shortest Path Bridging),  CEE (Converged Enhanced Ethernet)/DCB (Data Center Bridging),  MPLS (MultiProtocol Label Switching) (подробнее ниже)

• Облачные сервисы включают платформу облака, используемое для виртуализации физических ресурсов в виртуальные (создание пулов ресурсов), функции диспетчера (scheduling),  управления и платформу приложений, на которой хостятся приложения с доступом к ним через API платформы. За этим всем стоит ряд технологий, которые предоставляют Cloud/app платформы: Virtualization technology, Distributed storage, Automation (легкость внедрения и поддержки услуг, как в VPS/VDS через WEB), могут быть так же Application service API, Cloud capability service API, Cluster management, Parallel processing (например, для анализа Big Data).

МОДЕЛИ ОБЛАКОВ

• Private cloud (частное облако) – все принадлежит организации. Отличается от обычного ЦОД внутри организации в легкости масштабирования.

• Community cloud (групповое облако) – разделение ифраструктуры между несколькими компаниями для решения общих задач. Кейсы: общая безопасность, решение юридических/комплаенс вопросов, доступ к инфраструктуре для подрядчиков/поставщиков, образование, etc

• Public cloud (публичное облако) – электронная почта, сервисы по хранению данных, cloud office и прочие сервисы.

• Hybrid cloud (гибридное облако) – сочетание частного и публичных облаков.

ВИДЫ CLOUD УСЛУГ

Различают следующие виды cloud услуг/бизнес моделей:

• SaaS (software as a service) – ПО как услуга. Мы арендуем CRM, email, games, instant message. Cloud провайдер отвечает за установку/конфигурацию/обновление всех ОС и приложений, которые необходимы для корректной работы софта. Примеры: Microsoft Office 365, Google Drive, Skype, облачная CRM Salesforce, разные облачные АТС, разные WEB хостинги

• PaaS (platform as a service) – платформа как услуга. Мы арендуем емкость баз данных, средств разработки (java, .net), приложения разрабатываем/развертываем/обслуживаем сами. Пример: Microsoft Azure

  • DaaS (data as a service)  – аренда пространства хранения

  • DBaaS (database as a Service) – аренда БД

  • DaaS (desktop as a service) – аренда десктопа в виде услуги (VDI)

• IaaS (infrastructure as a service) – инфраструктура как услуга. Мы арендуем server, storage, network. ОС и приложения разрабатываем/развертываем/обслуживаем сами на основе наших потребностей. Пример: Amazon EC2, VPS/VDS хостинги

  • BaaS (bare-mated as a service) – реальные сервера как сервис (редкая услуга)

ЧТО ТАКОЕ ВИРТУАЛИЗАЦИЯ

Виртуализация предоставляет ОС разделяемые hardware ресурсы в виде виртуальных пулов (CPU/ОЗУ/HDD/etc), в результате чего ОС становится не привязана к конкретному hardware, а полагается на виртуальные ресурсы. По сути добавляется отдельная прослойка между ОС и аппаратными компонентами в виду уровня виртуализации.

КОМОНЕНТЫ ВИРТУАЛИЗАЦИИ

Система виртуализации состоит из:

• Физической машины с hardware (host machine) на которой установлена ОС (host OS)

• Виртуальных машин с виртуальным hardware (guest machine) на которой установлена ОС (guest OS)

• Гипервизора (hypervisor) или VMM (Virtual Machine Monitor) – ПО, которое позволяет виртуализировать физ. ресурсы host machine для предоставления их guest machine

ВИРТУАЛИЗАЦИЯ HARDWARE

Виртуализация hardware в общем случае подразумевает возможность создания нескольких логических устройств (процессоров, сетевых карт, etc) на основе одного физического – т.е. нет привязки один к одному.

Виртуализация процессора – выделение части ресурсов CPU в пул для VM, причем можно регулировать, сколько ресурсов будет отдано каждой VM. VM взаимодействует с процессором через Virtual Machine Monitor (VMM). VMM (Hypervisor) принимает инструкцию от VM, снимает с нее привилегии (делает как в QoS BE – тут это Ring 3) и ставит ее в очередь к CPU.

Виртуализация памяти (как ОЗУ, так и ПЗУ) – выделение части ресурсов ОП в пул для VM, причем можно регулировать, сколько ресурсов будет отдано каждой VM. Последовательные блоки к которым обращается VM по факту не последовательные в памяти host-машины. VMM (Hypervisor) сохраняет соответствие адресов физ. памяти и виртуальной памяти, которая предоставляется (типо NAT). Дополнительный уровень из-за того, что адресация не может для каждой виртуальной машины начинаться с нуля, потому что существует только один адрес с номером 0. Кроме того нужно разграничивать доступ к памяти разных VM между собой.

Виртуализация GPU (Graphics Processing Unit) реализуется путем создания множества vGPU с отдельным vGPURAM на GPU, который поддерживает такое создание (NVIDIA GRID K1/K2). В результате каждая VM получает прямой доступ к ресурсам GPU, сопоставляя себе vGPU. Такая схема позволяет без проблем запускать на VM графически-требовательные приложения типа 3D игр, AutoCAD, ProE, Catia, из-за поддержки vGPU библиотек/технологий OpenGL, DirectX, DXVA, Aero effects.

Виртуализация сетевой карты

Существует три основных метода виртуализации сетевой карты: 1) Common vNIC – взаимодействие между VM и аппаратной сетевой только через гипервизор (dom0) -> большая нагрузка на CPU. Есть поддержка Live migration/snapshot. 2) VMDq iNIC – частичная виртуализация, своего рода QoS для VM (Virtual Machine Device Queues). В результате использования пакеты с данными передаются напрямую в очередь сетевой карты без участия гипервизора (dom0) -> небольшая нагрузка на CPU. Есть поддержка Live migration/snapshot. 3) SR-IOV – полная виртуализация. Нет поддержки Live migration/snapshot.

Виртуализация I/O периферии – так же как с памятью требует дополнительных прослоек:

• для нахождения устройства VM: XenBus (драйвер паравиртуализации Xen) на VM взаимодействует с XenStore на Domain0 (Domain0 – это host машина) для получения информации об устройстве

• для обмена: в виде front-end driver (blkfront, на стороне VM)  и back-end driver (blkback, на стороне гипервизора) драйверов, взаимодействующих через интерфейс, созданный гипервизором, по протоколу Xen BLKIF. Картинка по работе драйверов blkback <-> blkfront (отсюда).

ВИРТУАЛИЗАЦИЯ ХРАНЕНИЯ

Виртуализация ресурсов хранения (storage virtualization) создает логический уровень хранения поверх физического уровня. В результате ресурсы хранения доступны через логическую прослойку виртуализации. Такая схема значительно упрощает масштабирование, резервирование, управление, увеличивает производительность.

• Raw Device + Logical Volume – чистые устройства (SAN или локальные диски примонтированные к хосту) разделяются на блоки в 1GB, используя эти блоки создаются LUN. Плюсы: лучшая производительность R/W из-за простого пути I/O. Минусы: нет поддержки продвинутых фич.

• Storage Device Virtualization – виртуализация устройства хранения. С этим типом виртуализации устройства хранения могут предоставить продвинутые фичи типа thin provisioning, snapshot, linked clone. Понравилась пометка: относится только к Huawei Advanced SAN и FusionStorage и в текущий момент не предоставляет много продвинутых фич :D. Плюсы: средняя поддержка продвинутых фич, средняя производительность R/W.  Минусы: зависимость от аппаратного устройства.

• Host Storage Virtualization + File System – виртуализация ресурсов хоста + файловая система (SAN или локальные диски примонтированные к хосту, хост создает на них файловую систему, VM создаются как файлы в этой ФС). Позволяет хостам управлять файлами на VM через файловую систему. Этот тип виртуализации позволяет предоставлять фичи, независимые от устройства хранения. В текущий момент это очень популярный тип виртуализации. Плюсы: самая хорошая поддержки продвинутых фич независимо от типа аппаратного устройства хранения.  Минусы: плохая производительность R/W из-за сложного пути I/O.

ВИРТУАЛИЗАЦИЯ СЕТИ

Основные варианты:

• Виртуализация сетевой карты (выше)

• Классический стек – из нескольких коммутаторов делается кластер (Cluster Switch System).

• Коммутатор гипервизора – гипервизор создает виртуальный коммутатор, который соединяется с физической сетью, предоставляя доступ к сети для VM, базовый пример можно посмотреть в статье VirtualBox.

• Виртуализация аппаратных коммутаторов – физический коммутатор разделяется на разные логические коммутаторы внутри с разным управлением (Ericsson SmartEdge 600, Huawei CloudEngine 12800).