Проект

Общее

Профиль

OVERVIEW » История » Версия 18

Dmitry Chernyak, 12.03.2016 02:30

1 1 Dmitry Chernyak
h1. ОБЗОР
2 1 Dmitry Chernyak
3 1 Dmitry Chernyak
{{toc}}
4 1 Dmitry Chernyak
5 10 Dmitry Chernyak
[[OVERVIEW]] | [[INSTALL]] | [[BUILD-ISO]] | [[SETUP]] | [[OPERATIONS]] | [[GITMAGIC]] | [[LICENSE]] | [[STATUS]]
6 13 Dmitry Chernyak
[[ОБЗОР]] | [[СБОРКА-ISO]] | [[УСТАНОВКА]] | [[НАСТРОЙКА]] | [[ОПЕРАЦИИ]] | [[МАГИЯ GIT]] | [[ЛИЦЕНЗИЯ]] | [[СОСТОЯНИЕ]]
7 1 Dmitry Chernyak
8 14 Dmitry Chernyak
*SkyCover Infrastructure Cluster Distribution (SCI-CD)* - средство для развертывания кластера виртуальных
9 14 Dmitry Chernyak
серверов высокой надежности на любом оборудовании.
10 1 Dmitry Chernyak
11 1 Dmitry Chernyak
h2. ВВЕДЕНИЕ
12 1 Dmitry Chernyak
13 15 Dmitry Chernyak
Linux имеет встроенный функционал DRBD для создания зеркальных дисковых устройств по сети.
14 15 Dmitry Chernyak
Протокол DRBD позволяет вести синхронную запись данных сразу на два сервера и обеспечивает
15 15 Dmitry Chernyak
высокую отказоустойчивость дисковой системы.
16 18 Dmitry Chernyak
В сочетании со средствами виртуализации, такими как XEN, это позволяет объединить несколько
17 17 Dmitry Chernyak
компьютеров - "узлов", каждый со своей дисковой емкостью и создать на них кластерную среду.
18 17 Dmitry Chernyak
В этой среде каждая виртуальная машина  будет запущена на одном узле и зарезервирована на втором
19 17 Dmitry Chernyak
в режиме он-лайн синхронизации диска.
20 17 Dmitry Chernyak
В случае аварии восстановление производится максимально быстро и дисковые данные не теряются.
21 17 Dmitry Chernyak
При этом, за счет синхронного режима, DRBD позволяет резервировать, в том числе, и базы данных,
22 17 Dmitry Chernyak
что выгодно отличает технологию от ближайших конкурентов.
23 1 Dmitry Chernyak
24 1 Dmitry Chernyak
!cluster-sync.jpg!
25 1 Dmitry Chernyak
26 15 Dmitry Chernyak
Такая конструкция позволяет из любого оборудования, взятого парой, создать серверную систему
27 15 Dmitry Chernyak
с очень высоким уровнем надежности, который устроить большинство запросов современного бизнеса.
28 1 Dmitry Chernyak
29 15 Dmitry Chernyak
Обслуживание технологии XEN/DRBD очень трудоемко и для упрощения этого процесса компания Google
30 15 Dmitry Chernyak
создала систему управления виртуализацией Ganeti (http://code.google.com/p/ganeti/), которая обслуживает,
31 15 Dmitry Chernyak
в частности, ферму DNS-серверов Google.
32 15 Dmitry Chernyak
33 1 Dmitry Chernyak
Ganeti также может управлять "обычными", отдельными виртуальными машинами.
34 1 Dmitry Chernyak
35 15 Dmitry Chernyak
h2. SCI-CD
36 1 Dmitry Chernyak
37 15 Dmitry Chernyak
SCI-CD основан на проекте Debian/GNU Linux и позволяет легко развернуть кластер Ganeti, который будет
38 15 Dmitry Chernyak
сразу готов к промышленной эксплуатации.
39 15 Dmitry Chernyak
40 15 Dmitry Chernyak
Для этого дистрибутив SCI-CD содержит:
41 15 Dmitry Chernyak
* Упрощенный инсталлятор, который не задает лишних вопросов и позволяет инсталлировать узлы быстро и однотипно
42 15 Dmitry Chernyak
* Несколько десятков настроек операционной системы для лучшей работы кластера
43 15 Dmitry Chernyak
* Автоматизацию установки ВМ Debian Squeeze, Wheezy, Jessie; Ubuntu Trusty, ..., CentOS 6, 7
44 15 Dmitry Chernyak
* Дополнения для удобного развертывания Windows и Solaris
45 15 Dmitry Chernyak
* Средства диагностики XEN
46 15 Dmitry Chernyak
* Алгоритм поэтапной загрузки виртуальных машин для соблюдения звисимостей
47 15 Dmitry Chernyak
* Сетевую инфраструктуру для виртуальных машин
48 15 Dmitry Chernyak
49 15 Dmitry Chernyak
Устанавливая SCI-CD, вы получаете привычную систему Debian/GNU Linux, настроенную в виде
50 1 Dmitry Chernyak
комплексной кластерной платформы.
51 1 Dmitry Chernyak
52 15 Dmitry Chernyak
Все это позволяет вам создавать кластерные системы с минимумом трудозатрат.
53 5 Владимир Ипатов
54 1 Dmitry Chernyak
h2. СОСТАВ
55 1 Dmitry Chernyak
56 1 Dmitry Chernyak
Базовая платформа SCI состоит из двух узлов Ganeti и одной *служебной
57 3 Владимир Ипатов
виртуальной машины* (ВМ), названной *sci*.
58 1 Dmitry Chernyak
59 1 Dmitry Chernyak
Служебная ВМ предоставляет:
60 1 Dmitry Chernyak
* DNS для локальных зон, форвардеры и хинт-зону (BIND9 chrooted),
61 1 Dmitry Chernyak
* DHCP сервер для локальной сети(по умолчанию отключен),
62 1 Dmitry Chernyak
* Управление конфигурациями, с возможностью автоматической настройки
63 1 Dmitry Chernyak
новых узлов и ВМ (Puppet),
64 1 Dmitry Chernyak
* Apt-proxy, с аплинком к зеркалам Debian, а также с локальным репозиторием,
65 1 Dmitry Chernyak
скопированным с инсталляционного SCI-CD CD-ROM (Approx).
66 1 Dmitry Chernyak
67 1 Dmitry Chernyak
После установки возможно создавать новые виртуальные машины любого назначения
68 1 Dmitry Chernyak
и управлять ими с помощью обычных команд Ganeti.
69 1 Dmitry Chernyak
70 6 Владимир Ипатов
h2. ЖЕЛЕЗО
71 1 Dmitry Chernyak
72 1 Dmitry Chernyak
Минимальная аппаратная основа SCI состоит из двух узлов, которыми могут быть
73 6 Владимир Ипатов
два любых компьютера - от широко известных брендов, таких как HP, IBM,
74 1 Dmitry Chernyak
"Китайских брендов", как SuperMicro или самосборных серверов или даже
75 1 Dmitry Chernyak
персональных компьютеров.
76 12 Dmitry Chernyak
77 1 Dmitry Chernyak
Конечно, производительность вашей системы будет сильно зависеть от железа,
78 12 Dmitry Chernyak
которое вы выберете - процессор, память, RAID-система - все компоненты имеют
79 1 Dmitry Chernyak
свое обычное значение для производительности, но, большей частью - не для
80 1 Dmitry Chernyak
возможностей высокой надежности.
81 1 Dmitry Chernyak
82 1 Dmitry Chernyak
Возможности высокой надежности обеспечиваются наличием двух отдельных узлов
83 1 Dmitry Chernyak
с индивидуальными дисковыми подсистемами и он-лайн синхронизацией между ними.
84 1 Dmitry Chernyak
В большинстве случаев этот уровень избыточности достаточен для защиты от
85 6 Владимир Ипатов
потери данных и значимых перерывов в обслуживании даже с дешевыми аппаратными
86 1 Dmitry Chernyak
компонентами.
87 1 Dmitry Chernyak
88 1 Dmitry Chernyak
Конечно, при планировании систем, которые не могут быть остановлены даже на
89 1 Dmitry Chernyak
несколько минут, должен применяться индивидуальный подход.
90 1 Dmitry Chernyak
91 1 Dmitry Chernyak
h2. ЛОКАЛЬНАЯ СЕТЬ
92 1 Dmitry Chernyak
93 1 Dmitry Chernyak
Все узлы должны находиться в одном общем сегменте сети TCP/IP, подключенном
94 1 Dmitry Chernyak
через основной интерфейс (возможны исключения - см. документацию Ganeti).
95 1 Dmitry Chernyak
96 1 Dmitry Chernyak
Установка SCI поддерживает 802.1q VLAN тэггинг, так что вы легко можете давать
97 1 Dmitry Chernyak
вашим узлам и ВМ интерфейсы в разных сегментах сети (требуется сетевой
98 1 Dmitry Chernyak
коммутатор с поддержкой 802.1q).
99 1 Dmitry Chernyak
100 1 Dmitry Chernyak
h2. СЕТЬ ДАННЫХ
101 1 Dmitry Chernyak
102 1 Dmitry Chernyak
Узлы должны быть объединены быстрым TCP/IP соединением для передачи дисковых
103 1 Dmitry Chernyak
данных (синхронизация DRBD). Рекомендуется сеть 1GigE.
104 1 Dmitry Chernyak
105 1 Dmitry Chernyak
Возможно (и рекомендуется) чтобы сеть данных была отделена от основного TCP/IP
106 6 Владимир Ипатов
интерфейса. Другими словами, узел должен иметь два сетевых адаптера, как минимум
107 1 Dmitry Chernyak
один из которых должен поддерживать 1GigE.
108 1 Dmitry Chernyak
109 1 Dmitry Chernyak
Для всего лишь двух узлов сеть данных может быть построена без сетевого
110 1 Dmitry Chernyak
коммутатора, с использованием простого кабеля категории 5e.
111 1 Dmitry Chernyak
112 1 Dmitry Chernyak
Для простых и демонстрационных целей возможно использование всего одного сетевого
113 1 Dmitry Chernyak
адаптера на узле, но *обязательно* с поддержкой скорости 1Гбит/с.
114 1 Dmitry Chernyak
115 1 Dmitry Chernyak
h2. СЕТЬ ИНТЕРНЕТ
116 1 Dmitry Chernyak
117 1 Dmitry Chernyak
Для доступа к Интернет вы должны подключить ваш локальный сегмент сети к Интернет -
118 1 Dmitry Chernyak
роутеру.
119 1 Dmitry Chernyak
120 1 Dmitry Chernyak
Наиболее простой способ - это использовать отдельный роутер с функцией NAT.
121 1 Dmitry Chernyak
122 1 Dmitry Chernyak
Более продвинутый способ - это построить роутер/брандмауэр на виртуальной машине
123 1 Dmitry Chernyak
кластера. Эта настройка вариант не является частью проекта SCI-CD, но может быть
124 1 Dmitry Chernyak
на нем реализован.
125 1 Dmitry Chernyak
126 1 Dmitry Chernyak
h2. РЕПОЗИТОРИИ DEBIAN
127 1 Dmitry Chernyak
128 1 Dmitry Chernyak
Служебная ВМ предоставляет apt-прокси "approx", который может быть подключен к
129 1 Dmitry Chernyak
обычным зеркалам Debian или к внутренним зеркалам/прокси.
130 1 Dmitry Chernyak
131 1 Dmitry Chernyak
В любом случае, в "approx" на служебной ВМ загружена копия репозитория с SCI-CD
132 1 Dmitry Chernyak
CD-ROM. Его можно использовать даже в отсутствие подключения квнешним источникам.
133 1 Dmitry Chernyak
134 1 Dmitry Chernyak
Стандартный список репозиториев автоматически доставляется на системы с запущенным
135 7 Владимир Ипатов
puppet-клиентом (по умолчанию - все узлы и ВМ).
136 1 Dmitry Chernyak
137 1 Dmitry Chernyak
h2. УСТАНОВКА
138 1 Dmitry Chernyak
139 1 Dmitry Chernyak
Для инструкций читайте раздел [[УСТАНОВКА]].