OVERVIEW » История » Версия 28
Версия 27 (Dmitry Chernyak, 15.03.2016 01:28) → Версия 28/35 (Dmitry Chernyak, 15.03.2016 01:31)
h1. OVERVIEW ОБЗОР
{{toc}}
[[OVERVIEW]] | [[INSTALL]] | [[BUILD-ISO]] | [[INSTALL]] | [[SETUP]] | [[OPERATIONS]] | [[GITMAGIC]] | [[LICENSE]] | [[STATUS]]
[[ОБЗОР]] | [[СБОРКА-ISO]] | [[УСТАНОВКА]] | [[НАСТРОЙКА]] | [[ОПЕРАЦИИ]] | [[МАГИЯ GIT]] | [[ЛИЦЕНЗИЯ]] | [[СОСТОЯНИЕ]]
*SkyCover Infrastructure Cluster Distribution (SCI-CD)* - средство для развертывания кластера виртуальных
серверов высокой надежности на любом оборудовании.
h2. THE PROJECT ВВЕДЕНИЕ
"SkyCover Infrastructure" (*SCI*) is the multipurpose, mostly automated high Linux имеет встроенную подсистему DRBD для создания зеркальных дисковых устройств по сети.
reliability virtual server infrastructure, equipped with automatic monitoring, Протокол DRBD позволяет синхронно дублировать запись на жесткий диск сразу на два сервера
backup and audit processes. и обеспечивает высокую отказоустойчивость дисковой системы.
"SCI-CD" is the deployment engine for cheap and flexible virtual high В сочетании со средствами виртуализации, такими как XEN, это позволяет объединить несколько
reliability cluster, the ground level for *SCI*.
h2. INTRODUCTION
SCI-CD is created to make easy the deployment of the virtual infrastructure,
based on the Ganeti project (http://code.google.com/p/ganeti/).
With Ganeti you will be able to install the "farm" of several computers компьютеров - "узлов", каждый со своей дисковой емкостью и создать на них кластерную среду.
"nodes", each with it's own storage and to create the cluster environment over Каждая виртуальная машина в кластерной среде будет запущена на одном узле и зарезервирована
them when each virtual instance will be started on the one node and backed up на втором в режиме он-лайн синхронизации диска.
В случае аварии перезапуск на резервном сервере производится за считаные минуты и, что особенно
on the another node with on-line disk synchronization (via DRBD) and fast важно, дисковые данные не теряются - поэтому безопасное переключение будет безопасным в любой
failover. момент!
За счет синхронного режима, DRBD позволяет резервировать, в том числе, и базы данных, что выгодно
отличает технологию от конкурентов.
!cluster-sync.jpg!
This provides the way to made cheap redundant high reliable systems. Такая конструкция позволяет из любого оборудования, взятого парой, создать серверную систему
с очень высоким уровнем надежности, который устроить большинство запросов современного бизнеса.
Обслуживание технологии XEN/DRBD очень трудоемко и для упрощения этого процесса компания Google
создала систему управления виртуализацией Ganeti is also able to manage "regular", stand-alone virtual instances. (http://code.google.com/p/ganeti/), которая обслуживает,
в частности, ферму DNS-серверов Google.
Ganeti также может управлять "обычными", отдельными виртуальными машинами.
h2. SOFTWARE SCI-CD
SCI-CD is based on the основан на Debian/GNU project and uses it's installer (simple-cdd) Linux и позволяет легко развернуть кластер Ganeti, который будет сразу готов
and also it's package repositories. к промышленной эксплуатации.
Для этого дистрибутив SCI-CD содержит:
Installing SCI-CD you'll not got a new thing * Улучшенный инсталлятор, который не задает лишних вопросов и позволяет инсталлировать узлы быстро и однотипно
* Несколько десятков настроек операционной системы для стабильной работы кластера
* Автоматизацию установки ВМ Debian Squeeze, Wheezy, Jessie; Ubuntu Trusty, ...; CentOS 6, 7
* Дополнения для удобного развертывания Windows и Solaris, поддержку gnt-backup
* Средства диагностики XEN
* Алгоритм поэтапной загрузки виртуальных машин для соблюдения зависимостей
* Сетевую инфраструктуру для виртуальных машин - you'll got a regular DNS, DHCP, Approx, Puppet
Устанавливая SCI-CD, вы получаете привычную систему Debian/GNU Linux, настроенную в виде
Linux system, just by the easy way and tuned as complex cluster platform. комплексной кластерной платформы.
SCI-CD contains the minimum of original software, instead it is focused on the
proper usage of existing open source components. Все это позволяет вам создавать кластерные системы с минимумом трудозатрат.
h2. CONTENTS СОСТАВ
Базовая платформа SCI core platform consists of two состоит из двух узлов Ganeti nodes and one *service instance* (virtual и одной *служебной
machine, named *sci*). виртуальной машины* (ВМ), названной *sci*.
The service instance provides: Служебная ВМ предоставляет:
* DNS for local zones, forwarders, hint для локальных зон, форвардеры и хинт-зону (BIND9 chrooted),
* DHCP server for LAN and with DDNS (disabled by default), сервер для локальной сети(по умолчанию отключен),
* Configuation management, able to tune up new nodes and instances Управление конфигурациями, с возможностью автоматической настройки
новых узлов и ВМ (Puppet),
* Apt-proxy, with uplink to Debian mirrors and also with local repository, с аплинком к зеркалам Debian, а также с локальным репозиторием,
copied from скопированным с инсталляционного SCI-CD CD-ROM (Approx).
More virtual instances may be created and more functions may be assigned to them После установки возможно создавать новые виртуальные машины любого назначения
using the regular Ganeti commands. и управлять ими с помощью обычных команд Ganeti.
h2. HARDWARE ЖЕЛЕЗО
Minimal Минимальная аппаратная основа SCI core hardware is based on the two nodes which can be any two computers состоит из двух узлов, которыми могут быть
два любых компьютера -
the major brands, such as от широко известных брендов, таких как HP, IBM, the "China brands", such as
"Китайских брендов", как SuperMicro or self-maiden servers or even workstations. или самосборных серверов или даже
персональных компьютеров.
Of course, the performance of your system will be very dependent on the Конечно, производительность вашей системы будет сильно зависеть от железа,
hardware you have chosed которое вы выберете - the CPU, memory, RAID subsystem процессор, память, RAID-система - all will matters все компоненты имеют
as usual for the performance, but mostly - NOT for the high reliability свое обычное значение для производительности, а на надежность кластерной
capabilities. системы они существенного влияния не окажут.
The high reliability features are supported by providing two separate nodes with Возможности высокой надежности обеспечиваются наличием двух отдельных узлов
their own storage subsystems and on-line storage synchronization between them. In the с индивидуальными дисковыми подсистемами и он-лайн синхронизацией между ними.
most cases this level of redundancy is sufficient to cover the data losses and В большинстве случаев этот уровень избыточности достаточен для защиты от
service interrupts even with the cheap hardware. потери данных и значимых перерывов в обслуживании даже с дешевыми аппаратными
компонентами.
Конечно, при планировании систем, которые не могут быть остановлены даже на
несколько минут, должен применяться индивидуальный подход.
h2. LOCAL AREA NETWORKING ЛОКАЛЬНАЯ СЕТЬ
All nodes should be attached to the same TCP/IP LAN segment (or segments)nto be able Все узлы должны находиться в одном общем сегменте сети TCP/IP, подключенном
to launch the clustered virtual linstances. через основной интерфейс (возможны исключения - см. документацию Ganeti).
The Установка SCI setup supports поддерживает 802.1q VLAN tagging, so you can easy give your nodes and тэггинг, так что вы легко можете давать
instances the interfaces in different network segments (the network switch with вашим узлам и ВМ интерфейсы в разных сегментах сети (требуется сетевой
802.1q support is required). коммутатор с поддержкой 802.1q).
h2. STORAGE NETWORKING СЕТЬ ДАННЫХ
The nodes need to be interconnected with the fast Узлы должны быть объединены быстрым TCP/IP interlink to transfer соединением для передачи дисковых
storage data (DRBD synchronization). 1GigE will be sufficient usually. данных (синхронизация DRBD). Рекомендуется сеть 1GigE.
It is possible (and recommended) to separate the storage interlink from the main
Возможно (и рекомендуется) чтобы сеть данных была отделена от основного TCP/IP access interfaces. In the other words, each node should have a two network
adapters and at least one of them should support интерфейса. Другими словами, узел должен иметь два сетевых адаптера, как минимум
один из которых должен поддерживать 1GigE.
For only two nodes the storage network may be implemented with the cat5e patch cord Для всего лишь двух узлов сеть данных может быть построена без сетевого
without an Ethernet switch. коммутатора, с использованием простого кабеля категории 5e.
For the simple and demo tasks there is possible to use only one network adapter Для простых и демонстрационных целей возможно использование всего одного сетевого
on the node, but it *MUST* support 1GigE speed. адаптера на узле, но *обязательно* с поддержкой скорости 1Гбит/с.
h2. INTERNET NETWORKING СЕТЬ ИНТЕРНЕТ
In order to access to the Internet you should connect your local network segment Для доступа к Интернет вы должны подключить ваш локальный сегмент сети к Интернет -
to the Internet router. роутеру.
The simplest way is to use the separate router with Наиболее простой способ - это использовать отдельный роутер с функцией NAT.
The more advanced way is to construct the router/firewall on the cluster's virtual Более продвинутый способ - это построить роутер/брандмауэр на виртуальной машине
instance, probably with separate network interface. кластера.
h2. РЕПОЗИТОРИИ DEBIAN REPOSITORIES
The service instance provides Служебная ВМ предоставляет apt-прокси "approx" apt proxy, which can be uplinked to для кэширования пакетов Debian, который может быть подключен к
regular обычным зеркалам Debian mirrors or to the intermediate mirrors or apt proxies in your LAN.
In any case, the service instance's или к внутренним зеркалам/прокси.
В любом случае, в "approx" is loaded by the copy of the
repository from the на служебной ВМ загружена копия репозитория со SCI-CD CD-ROM. It can be used even in absence of the uplink
to the external sources. ISO. Его можно использовать даже в отсутствие подключения к Интернет.
The standard reposiporise list is pushed automatically into the sources.lists Стандартный список репозиториев автоматически доставляется на системы с запущенным
of the puppet-client instances (which are by default all the nodes and
instances). puppet-клиентом (по умолчанию - все узлы и ВМ).
h2. INSTALLATION УСТАНОВКА
Please read [[INSTALL]] for instructions. Для инструкций читайте раздел [[УСТАНОВКА]].
{{toc}}
[[OVERVIEW]] | [[INSTALL]] | [[BUILD-ISO]] | [[INSTALL]] | [[SETUP]] | [[OPERATIONS]] | [[GITMAGIC]] | [[LICENSE]] | [[STATUS]]
[[ОБЗОР]] | [[СБОРКА-ISO]] | [[УСТАНОВКА]] | [[НАСТРОЙКА]] | [[ОПЕРАЦИИ]] | [[МАГИЯ GIT]] | [[ЛИЦЕНЗИЯ]] | [[СОСТОЯНИЕ]]
*SkyCover Infrastructure Cluster Distribution (SCI-CD)* - средство для развертывания кластера виртуальных
серверов высокой надежности на любом оборудовании.
h2. THE PROJECT ВВЕДЕНИЕ
"SkyCover Infrastructure" (*SCI*) is the multipurpose, mostly automated high Linux имеет встроенную подсистему DRBD для создания зеркальных дисковых устройств по сети.
reliability virtual server infrastructure, equipped with automatic monitoring, Протокол DRBD позволяет синхронно дублировать запись на жесткий диск сразу на два сервера
backup and audit processes. и обеспечивает высокую отказоустойчивость дисковой системы.
"SCI-CD" is the deployment engine for cheap and flexible virtual high В сочетании со средствами виртуализации, такими как XEN, это позволяет объединить несколько
reliability cluster, the ground level for *SCI*.
h2. INTRODUCTION
SCI-CD is created to make easy the deployment of the virtual infrastructure,
based on the Ganeti project (http://code.google.com/p/ganeti/).
With Ganeti you will be able to install the "farm" of several computers компьютеров - "узлов", каждый со своей дисковой емкостью и создать на них кластерную среду.
"nodes", each with it's own storage and to create the cluster environment over Каждая виртуальная машина в кластерной среде будет запущена на одном узле и зарезервирована
them when each virtual instance will be started on the one node and backed up на втором в режиме он-лайн синхронизации диска.
В случае аварии перезапуск на резервном сервере производится за считаные минуты и, что особенно
on the another node with on-line disk synchronization (via DRBD) and fast важно, дисковые данные не теряются - поэтому безопасное переключение будет безопасным в любой
failover. момент!
За счет синхронного режима, DRBD позволяет резервировать, в том числе, и базы данных, что выгодно
отличает технологию от конкурентов.
!cluster-sync.jpg!
This provides the way to made cheap redundant high reliable systems. Такая конструкция позволяет из любого оборудования, взятого парой, создать серверную систему
с очень высоким уровнем надежности, который устроить большинство запросов современного бизнеса.
Обслуживание технологии XEN/DRBD очень трудоемко и для упрощения этого процесса компания Google
создала систему управления виртуализацией Ganeti is also able to manage "regular", stand-alone virtual instances. (http://code.google.com/p/ganeti/), которая обслуживает,
в частности, ферму DNS-серверов Google.
Ganeti также может управлять "обычными", отдельными виртуальными машинами.
h2. SOFTWARE SCI-CD
SCI-CD is based on the основан на Debian/GNU project and uses it's installer (simple-cdd) Linux и позволяет легко развернуть кластер Ganeti, который будет сразу готов
and also it's package repositories. к промышленной эксплуатации.
Для этого дистрибутив SCI-CD содержит:
Installing SCI-CD you'll not got a new thing * Улучшенный инсталлятор, который не задает лишних вопросов и позволяет инсталлировать узлы быстро и однотипно
* Несколько десятков настроек операционной системы для стабильной работы кластера
* Автоматизацию установки ВМ Debian Squeeze, Wheezy, Jessie; Ubuntu Trusty, ...; CentOS 6, 7
* Дополнения для удобного развертывания Windows и Solaris, поддержку gnt-backup
* Средства диагностики XEN
* Алгоритм поэтапной загрузки виртуальных машин для соблюдения зависимостей
* Сетевую инфраструктуру для виртуальных машин - you'll got a regular DNS, DHCP, Approx, Puppet
Устанавливая SCI-CD, вы получаете привычную систему Debian/GNU Linux, настроенную в виде
Linux system, just by the easy way and tuned as complex cluster platform. комплексной кластерной платформы.
SCI-CD contains the minimum of original software, instead it is focused on the
proper usage of existing open source components. Все это позволяет вам создавать кластерные системы с минимумом трудозатрат.
h2. CONTENTS СОСТАВ
Базовая платформа SCI core platform consists of two состоит из двух узлов Ganeti nodes and one *service instance* (virtual и одной *служебной
machine, named *sci*). виртуальной машины* (ВМ), названной *sci*.
The service instance provides: Служебная ВМ предоставляет:
* DNS for local zones, forwarders, hint для локальных зон, форвардеры и хинт-зону (BIND9 chrooted),
* DHCP server for LAN and with DDNS (disabled by default), сервер для локальной сети(по умолчанию отключен),
* Configuation management, able to tune up new nodes and instances Управление конфигурациями, с возможностью автоматической настройки
новых узлов и ВМ (Puppet),
* Apt-proxy, with uplink to Debian mirrors and also with local repository, с аплинком к зеркалам Debian, а также с локальным репозиторием,
copied from скопированным с инсталляционного SCI-CD CD-ROM (Approx).
More virtual instances may be created and more functions may be assigned to them После установки возможно создавать новые виртуальные машины любого назначения
using the regular Ganeti commands. и управлять ими с помощью обычных команд Ganeti.
h2. HARDWARE ЖЕЛЕЗО
Minimal Минимальная аппаратная основа SCI core hardware is based on the two nodes which can be any two computers состоит из двух узлов, которыми могут быть
два любых компьютера -
the major brands, such as от широко известных брендов, таких как HP, IBM, the "China brands", such as
"Китайских брендов", как SuperMicro or self-maiden servers or even workstations. или самосборных серверов или даже
персональных компьютеров.
Of course, the performance of your system will be very dependent on the Конечно, производительность вашей системы будет сильно зависеть от железа,
hardware you have chosed которое вы выберете - the CPU, memory, RAID subsystem процессор, память, RAID-система - all will matters все компоненты имеют
as usual for the performance, but mostly - NOT for the high reliability свое обычное значение для производительности, а на надежность кластерной
capabilities. системы они существенного влияния не окажут.
The high reliability features are supported by providing two separate nodes with Возможности высокой надежности обеспечиваются наличием двух отдельных узлов
their own storage subsystems and on-line storage synchronization between them. In the с индивидуальными дисковыми подсистемами и он-лайн синхронизацией между ними.
most cases this level of redundancy is sufficient to cover the data losses and В большинстве случаев этот уровень избыточности достаточен для защиты от
service interrupts even with the cheap hardware. потери данных и значимых перерывов в обслуживании даже с дешевыми аппаратными
компонентами.
Конечно, при планировании систем, которые не могут быть остановлены даже на
несколько минут, должен применяться индивидуальный подход.
h2. LOCAL AREA NETWORKING ЛОКАЛЬНАЯ СЕТЬ
All nodes should be attached to the same TCP/IP LAN segment (or segments)nto be able Все узлы должны находиться в одном общем сегменте сети TCP/IP, подключенном
to launch the clustered virtual linstances. через основной интерфейс (возможны исключения - см. документацию Ganeti).
The Установка SCI setup supports поддерживает 802.1q VLAN tagging, so you can easy give your nodes and тэггинг, так что вы легко можете давать
instances the interfaces in different network segments (the network switch with вашим узлам и ВМ интерфейсы в разных сегментах сети (требуется сетевой
802.1q support is required). коммутатор с поддержкой 802.1q).
h2. STORAGE NETWORKING СЕТЬ ДАННЫХ
The nodes need to be interconnected with the fast Узлы должны быть объединены быстрым TCP/IP interlink to transfer соединением для передачи дисковых
storage data (DRBD synchronization). 1GigE will be sufficient usually. данных (синхронизация DRBD). Рекомендуется сеть 1GigE.
It is possible (and recommended) to separate the storage interlink from the main
Возможно (и рекомендуется) чтобы сеть данных была отделена от основного TCP/IP access interfaces. In the other words, each node should have a two network
adapters and at least one of them should support интерфейса. Другими словами, узел должен иметь два сетевых адаптера, как минимум
один из которых должен поддерживать 1GigE.
For only two nodes the storage network may be implemented with the cat5e patch cord Для всего лишь двух узлов сеть данных может быть построена без сетевого
without an Ethernet switch. коммутатора, с использованием простого кабеля категории 5e.
For the simple and demo tasks there is possible to use only one network adapter Для простых и демонстрационных целей возможно использование всего одного сетевого
on the node, but it *MUST* support 1GigE speed. адаптера на узле, но *обязательно* с поддержкой скорости 1Гбит/с.
h2. INTERNET NETWORKING СЕТЬ ИНТЕРНЕТ
In order to access to the Internet you should connect your local network segment Для доступа к Интернет вы должны подключить ваш локальный сегмент сети к Интернет -
to the Internet router. роутеру.
The simplest way is to use the separate router with Наиболее простой способ - это использовать отдельный роутер с функцией NAT.
The more advanced way is to construct the router/firewall on the cluster's virtual Более продвинутый способ - это построить роутер/брандмауэр на виртуальной машине
instance, probably with separate network interface. кластера.
h2. РЕПОЗИТОРИИ DEBIAN REPOSITORIES
The service instance provides Служебная ВМ предоставляет apt-прокси "approx" apt proxy, which can be uplinked to для кэширования пакетов Debian, который может быть подключен к
regular обычным зеркалам Debian mirrors or to the intermediate mirrors or apt proxies in your LAN.
In any case, the service instance's или к внутренним зеркалам/прокси.
В любом случае, в "approx" is loaded by the copy of the
repository from the на служебной ВМ загружена копия репозитория со SCI-CD CD-ROM. It can be used even in absence of the uplink
to the external sources. ISO. Его можно использовать даже в отсутствие подключения к Интернет.
The standard reposiporise list is pushed automatically into the sources.lists Стандартный список репозиториев автоматически доставляется на системы с запущенным
of the puppet-client instances (which are by default all the nodes and
instances). puppet-клиентом (по умолчанию - все узлы и ВМ).
h2. INSTALLATION УСТАНОВКА
Please read [[INSTALL]] for instructions. Для инструкций читайте раздел [[УСТАНОВКА]].