ОБЗОР » История » Версия 14
Версия 13 (Dmitry Chernyak, 24.02.2013 21:50) → Версия 14/34 (Dmitry Chernyak, 15.03.2016 01:32)
h1. ОБЗОР OVERVIEW
{{toc}}
[[OVERVIEW]] | [[BUILD-ISO]] | [[INSTALL]] | [[BUILD-ISO]] | [[SETUP]] | [[OPERATIONS]] | [[GITMAGIC]] | [[LICENSE]] | [[STATUS]]
[[ОБЗОР]] | [[СБОРКА-ISO]] | [[УСТАНОВКА]] | [[НАСТРОЙКА]] | [[ОПЕРАЦИИ]] | [[МАГИЯ GIT]] | [[ЛИЦЕНЗИЯ]] | [[СОСТОЯНИЕ]]
*SkyCover Infrastructure Cluster Distribution (SCI-CD)* - средство для развертывания кластера виртуальных h2. THE PROJECT
"SkyCover Infrastructure" (*SCI*) is the multipurpose, mostly automated high
серверов высокой надежности на любом оборудовании. reliability virtual server infrastructure, equipped with automatic monitoring,
backup and audit processes.
"SCI-CD" is the deployment engine for cheap and flexible virtual high
reliability cluster, the ground level for *SCI*.
h2. ВВЕДЕНИЕ INTRODUCTION
Linux имеет встроенную подсистему DRBD для создания зеркальных дисковых устройств по сети. SCI-CD is created to make easy the deployment of the virtual infrastructure,
Протокол DRBD позволяет синхронно дублировать запись на жесткий диск сразу на два сервера
и обеспечивает высокую отказоустойчивость дисковой системы. based on the Ganeti project (http://code.google.com/p/ganeti/).
В сочетании со средствами виртуализации, такими как XEN, это позволяет объединить несколько
компьютеров With Ganeti you will be able to install the "farm" of several computers - "узлов", каждый со своей дисковой емкостью и создать на них кластерную среду.
Каждая виртуальная машина в кластерной среде будет запущена на одном узле и зарезервирована "nodes", each with it's own storage and to create the cluster environment over
на втором в режиме он-лайн синхронизации диска.
В случае аварии перезапуск на резервном сервере производится за считаные минуты и, что особенно them when each virtual instance will be started on the one node and backed up
важно, дисковые данные не теряются - поэтому безопасное переключение будет безопасным в любой on the another node with on-line disk synchronization (via DRBD) and fast
момент! failover.
За счет синхронного режима, DRBD позволяет резервировать, в том числе, и базы данных, что выгодно
отличает технологию от конкурентов.
!cluster-sync.jpg!
Такая конструкция позволяет из любого оборудования, взятого парой, создать серверную систему
с очень высоким уровнем надежности, который устроить большинство запросов современного бизнеса. This provides the way to made cheap redundant high reliable systems.
Обслуживание технологии XEN/DRBD очень трудоемко и для упрощения этого процесса компания Google
создала систему управления виртуализацией Ganeti (http://code.google.com/p/ganeti/), которая обслуживает,
в частности, ферму DNS-серверов Google. is also able to manage "regular", stand-alone virtual instances.
Ganeti также может управлять "обычными", отдельными виртуальными машинами.
h2. SCI-CD SOFTWARE
SCI-CD основан на is based on the Debian/GNU Linux и позволяет легко развернуть кластер Ganeti, который будет сразу готов project and uses it's installer (simple-cdd)
к промышленной эксплуатации.
Для этого дистрибутив and also it's package repositories.
Installing SCI-CD содержит:
* Улучшенный инсталлятор, который не задает лишних вопросов и позволяет инсталлировать узлы быстро и однотипно
* Несколько десятков настроек операционной системы для стабильной работы кластера
* Автоматизацию установки ВМ Debian Squeeze, Wheezy, Jessie; Ubuntu Trusty, ...; CentOS 6, 7
* Дополнения для удобного развертывания Windows и Solaris, поддержку gnt-backup
* Средства диагностики XEN
* Алгоритм поэтапной загрузки виртуальных машин для соблюдения зависимостей
* Сетевую инфраструктуру для виртуальных машин you'll not got a new thing - DNS, DHCP, Approx, Puppet
Устанавливая SCI-CD, вы получаете привычную систему you'll got a regular Debian/GNU Linux, настроенную в виде
комплексной кластерной платформы. Linux system, just by the easy way and tuned as complex cluster platform.
Все это позволяет вам создавать кластерные системы с минимумом трудозатрат. SCI-CD contains the minimum of original software, instead it is focused on the
proper usage of existing open source components.
h2. СОСТАВ CONTENTS
Базовая платформа SCI состоит из двух узлов core platform consists of two Ganeti и одной *служебной nodes and one *service instance* (virtual
виртуальной машины* (ВМ), названной *sci*. machine, named *sci*).
Служебная ВМ предоставляет: The service instance provides:
* DNS для локальных зон, форвардеры и хинт-зону for local zones, forwarders, hint (BIND9 chrooted),
* DHCP сервер для локальной сети(по умолчанию отключен), server for LAN and with DDNS (disabled by default),
* Управление конфигурациями, с возможностью автоматической настройки
новых узлов и ВМ Configuation management, able to tune up new nodes and instances (Puppet),
* Apt-proxy, с аплинком к зеркалам Debian, а также с локальным репозиторием, with uplink to Debian mirrors and also with local repository,
скопированным с инсталляционного copied from SCI-CD CD-ROM (Approx).
После установки возможно создавать новые виртуальные машины любого назначения More virtual instances may be created and more functions may be assigned to them
и управлять ими с помощью обычных команд Ganeti. using the regular Ganeti commands.
h2. ЖЕЛЕЗО HARDWARE
Минимальная аппаратная основа Minimal SCI состоит из двух узлов, которыми могут быть core hardware is based on the two nodes which can be any two computers -
два любых компьютера - от широко известных брендов, таких как the major brands, such as HP, IBM, the "China brands", such as
"Китайских брендов", как SuperMicro или самосборных серверов или даже
персональных компьютеров. or self-maiden servers or even workstations.
Конечно, производительность вашей системы будет сильно зависеть от железа, Of course, the performance of your system will be very dependent on the
которое вы выберете hardware you have chosed - процессор, память, RAID-система the CPU, memory, RAID subsystem - все компоненты имеют all will matters
свое обычное значение для производительности, а на надежность кластерной as usual for the performance, but mostly - NOT for the high reliability
системы они существенного влияния не окажут. capabilities.
Возможности высокой надежности обеспечиваются наличием двух отдельных узлов The high reliability features are supported by providing two separate nodes with
с индивидуальными дисковыми подсистемами и он-лайн синхронизацией между ними. their own storage subsystems and on-line storage synchronization between them. In the
В большинстве случаев этот уровень избыточности достаточен для защиты от most cases this level of redundancy is sufficient to cover the data losses and
потери данных и значимых перерывов в обслуживании даже с дешевыми аппаратными
компонентами. service interrupts even with the cheap hardware.
Конечно, при планировании систем, которые не могут быть остановлены даже на
несколько минут, должен применяться индивидуальный подход.
h2. ЛОКАЛЬНАЯ СЕТЬ LOCAL AREA NETWORKING
Все узлы должны находиться в одном общем сегменте сети TCP/IP, подключенном All nodes should be attached to the same TCP/IP LAN segment (or segments)nto be able
через основной интерфейс (возможны исключения - см. документацию Ganeti). to launch the clustered virtual linstances.
Установка The SCI поддерживает setup supports 802.1q VLAN тэггинг, так что вы легко можете давать tagging, so you can easy give your nodes and
вашим узлам и ВМ интерфейсы в разных сегментах сети (требуется сетевой instances the interfaces in different network segments (the network switch with
коммутатор с поддержкой 802.1q). 802.1q support is required).
h2. СЕТЬ ДАННЫХ STORAGE NETWORKING
Узлы должны быть объединены быстрым The nodes need to be interconnected with the fast TCP/IP соединением для передачи дисковых interlink to transfer
данных (синхронизация DRBD). Рекомендуется сеть 1GigE. storage data (DRBD synchronization). 1GigE will be sufficient usually.
Возможно (и рекомендуется) чтобы сеть данных была отделена от основного It is possible (and recommended) to separate the storage interlink from the main
TCP/IP access interfaces. In the other words, each node should have a two network
интерфейса. Другими словами, узел должен иметь два сетевых адаптера, как минимум
один из которых должен поддерживать adapters and at least one of them should support 1GigE.
Для всего лишь двух узлов сеть данных может быть построена без сетевого For only two nodes the storage network may be implemented with the cat5e patch cord
коммутатора, с использованием простого кабеля категории 5e. without an Ethernet switch.
Для простых и демонстрационных целей возможно использование всего одного сетевого For the simple and demo tasks there is possible to use only one network adapter
адаптера на узле, но *обязательно* с поддержкой скорости 1Гбит/с. on the node, but it *MUST* support 1GigE speed.
h2. СЕТЬ ИНТЕРНЕТ INTERNET NETWORKING
Для доступа к Интернет вы должны подключить ваш локальный сегмент сети к Интернет - In order to access to the Internet you should connect your local network segment
роутеру. to the Internet router.
Наиболее простой способ - это использовать отдельный роутер с функцией The simplest way is to use the separate router with NAT.
Более продвинутый способ - это построить роутер/брандмауэр на виртуальной машине The more advanced way is to construct the router/firewall on the cluster's virtual
кластера. instance, probably with separate network interface.
h2. РЕПОЗИТОРИИ DEBIAN REPOSITORIES
Служебная ВМ предоставляет apt-прокси The service instance provides "approx" для кэширования пакетов Debian, который может быть подключен к apt proxy, which can be uplinked to
обычным зеркалам regular Debian или к внутренним зеркалам/прокси.
В любом случае, в mirrors or to the intermediate mirrors or apt proxies in your LAN.
In any case, the service instance's "approx" на служебной ВМ загружена копия репозитория со is loaded by the copy of the
repository from the SCI-CD CD-ROM. It can be used even in absence of the uplink
ISO. Его можно использовать даже в отсутствие подключения к Интернет. to the external sources.
Стандартный список репозиториев автоматически доставляется на системы с запущенным The standard reposiporise list is pushed automatically into the sources.lists
puppet-клиентом (по умолчанию - все узлы и ВМ). of the puppet-client instances (which are by default all the nodes and
instances).
h2. УСТАНОВКА INSTALLATION
Для инструкций читайте раздел [[УСТАНОВКА]]. Please read [[INSTALL]] for instructions.
{{toc}}
[[OVERVIEW]] | [[BUILD-ISO]] | [[INSTALL]] | [[BUILD-ISO]] | [[SETUP]] | [[OPERATIONS]] | [[GITMAGIC]] | [[LICENSE]] | [[STATUS]]
[[ОБЗОР]] | [[СБОРКА-ISO]] | [[УСТАНОВКА]] | [[НАСТРОЙКА]] | [[ОПЕРАЦИИ]] | [[МАГИЯ GIT]] | [[ЛИЦЕНЗИЯ]] | [[СОСТОЯНИЕ]]
*SkyCover Infrastructure Cluster Distribution (SCI-CD)* - средство для развертывания кластера виртуальных h2. THE PROJECT
"SkyCover Infrastructure" (*SCI*) is the multipurpose, mostly automated high
серверов высокой надежности на любом оборудовании. reliability virtual server infrastructure, equipped with automatic monitoring,
backup and audit processes.
"SCI-CD" is the deployment engine for cheap and flexible virtual high
reliability cluster, the ground level for *SCI*.
h2. ВВЕДЕНИЕ INTRODUCTION
Linux имеет встроенную подсистему DRBD для создания зеркальных дисковых устройств по сети. SCI-CD is created to make easy the deployment of the virtual infrastructure,
Протокол DRBD позволяет синхронно дублировать запись на жесткий диск сразу на два сервера
и обеспечивает высокую отказоустойчивость дисковой системы. based on the Ganeti project (http://code.google.com/p/ganeti/).
В сочетании со средствами виртуализации, такими как XEN, это позволяет объединить несколько
компьютеров With Ganeti you will be able to install the "farm" of several computers - "узлов", каждый со своей дисковой емкостью и создать на них кластерную среду.
Каждая виртуальная машина в кластерной среде будет запущена на одном узле и зарезервирована "nodes", each with it's own storage and to create the cluster environment over
на втором в режиме он-лайн синхронизации диска.
В случае аварии перезапуск на резервном сервере производится за считаные минуты и, что особенно them when each virtual instance will be started on the one node and backed up
важно, дисковые данные не теряются - поэтому безопасное переключение будет безопасным в любой on the another node with on-line disk synchronization (via DRBD) and fast
момент! failover.
За счет синхронного режима, DRBD позволяет резервировать, в том числе, и базы данных, что выгодно
отличает технологию от конкурентов.
!cluster-sync.jpg!
Такая конструкция позволяет из любого оборудования, взятого парой, создать серверную систему
с очень высоким уровнем надежности, который устроить большинство запросов современного бизнеса. This provides the way to made cheap redundant high reliable systems.
Обслуживание технологии XEN/DRBD очень трудоемко и для упрощения этого процесса компания Google
создала систему управления виртуализацией Ganeti (http://code.google.com/p/ganeti/), которая обслуживает,
в частности, ферму DNS-серверов Google. is also able to manage "regular", stand-alone virtual instances.
Ganeti также может управлять "обычными", отдельными виртуальными машинами.
h2. SCI-CD SOFTWARE
SCI-CD основан на is based on the Debian/GNU Linux и позволяет легко развернуть кластер Ganeti, который будет сразу готов project and uses it's installer (simple-cdd)
к промышленной эксплуатации.
Для этого дистрибутив and also it's package repositories.
Installing SCI-CD содержит:
* Улучшенный инсталлятор, который не задает лишних вопросов и позволяет инсталлировать узлы быстро и однотипно
* Несколько десятков настроек операционной системы для стабильной работы кластера
* Автоматизацию установки ВМ Debian Squeeze, Wheezy, Jessie; Ubuntu Trusty, ...; CentOS 6, 7
* Дополнения для удобного развертывания Windows и Solaris, поддержку gnt-backup
* Средства диагностики XEN
* Алгоритм поэтапной загрузки виртуальных машин для соблюдения зависимостей
* Сетевую инфраструктуру для виртуальных машин you'll not got a new thing - DNS, DHCP, Approx, Puppet
Устанавливая SCI-CD, вы получаете привычную систему you'll got a regular Debian/GNU Linux, настроенную в виде
комплексной кластерной платформы. Linux system, just by the easy way and tuned as complex cluster platform.
Все это позволяет вам создавать кластерные системы с минимумом трудозатрат. SCI-CD contains the minimum of original software, instead it is focused on the
proper usage of existing open source components.
h2. СОСТАВ CONTENTS
Базовая платформа SCI состоит из двух узлов core platform consists of two Ganeti и одной *служебной nodes and one *service instance* (virtual
виртуальной машины* (ВМ), названной *sci*. machine, named *sci*).
Служебная ВМ предоставляет: The service instance provides:
* DNS для локальных зон, форвардеры и хинт-зону for local zones, forwarders, hint (BIND9 chrooted),
* DHCP сервер для локальной сети(по умолчанию отключен), server for LAN and with DDNS (disabled by default),
* Управление конфигурациями, с возможностью автоматической настройки
новых узлов и ВМ Configuation management, able to tune up new nodes and instances (Puppet),
* Apt-proxy, с аплинком к зеркалам Debian, а также с локальным репозиторием, with uplink to Debian mirrors and also with local repository,
скопированным с инсталляционного copied from SCI-CD CD-ROM (Approx).
После установки возможно создавать новые виртуальные машины любого назначения More virtual instances may be created and more functions may be assigned to them
и управлять ими с помощью обычных команд Ganeti. using the regular Ganeti commands.
h2. ЖЕЛЕЗО HARDWARE
Минимальная аппаратная основа Minimal SCI состоит из двух узлов, которыми могут быть core hardware is based on the two nodes which can be any two computers -
два любых компьютера - от широко известных брендов, таких как the major brands, such as HP, IBM, the "China brands", such as
"Китайских брендов", как SuperMicro или самосборных серверов или даже
персональных компьютеров. or self-maiden servers or even workstations.
Конечно, производительность вашей системы будет сильно зависеть от железа, Of course, the performance of your system will be very dependent on the
которое вы выберете hardware you have chosed - процессор, память, RAID-система the CPU, memory, RAID subsystem - все компоненты имеют all will matters
свое обычное значение для производительности, а на надежность кластерной as usual for the performance, but mostly - NOT for the high reliability
системы они существенного влияния не окажут. capabilities.
Возможности высокой надежности обеспечиваются наличием двух отдельных узлов The high reliability features are supported by providing two separate nodes with
с индивидуальными дисковыми подсистемами и он-лайн синхронизацией между ними. their own storage subsystems and on-line storage synchronization between them. In the
В большинстве случаев этот уровень избыточности достаточен для защиты от most cases this level of redundancy is sufficient to cover the data losses and
потери данных и значимых перерывов в обслуживании даже с дешевыми аппаратными
компонентами. service interrupts even with the cheap hardware.
Конечно, при планировании систем, которые не могут быть остановлены даже на
несколько минут, должен применяться индивидуальный подход.
h2. ЛОКАЛЬНАЯ СЕТЬ LOCAL AREA NETWORKING
Все узлы должны находиться в одном общем сегменте сети TCP/IP, подключенном All nodes should be attached to the same TCP/IP LAN segment (or segments)nto be able
через основной интерфейс (возможны исключения - см. документацию Ganeti). to launch the clustered virtual linstances.
Установка The SCI поддерживает setup supports 802.1q VLAN тэггинг, так что вы легко можете давать tagging, so you can easy give your nodes and
вашим узлам и ВМ интерфейсы в разных сегментах сети (требуется сетевой instances the interfaces in different network segments (the network switch with
коммутатор с поддержкой 802.1q). 802.1q support is required).
h2. СЕТЬ ДАННЫХ STORAGE NETWORKING
Узлы должны быть объединены быстрым The nodes need to be interconnected with the fast TCP/IP соединением для передачи дисковых interlink to transfer
данных (синхронизация DRBD). Рекомендуется сеть 1GigE. storage data (DRBD synchronization). 1GigE will be sufficient usually.
Возможно (и рекомендуется) чтобы сеть данных была отделена от основного It is possible (and recommended) to separate the storage interlink from the main
TCP/IP access interfaces. In the other words, each node should have a two network
интерфейса. Другими словами, узел должен иметь два сетевых адаптера, как минимум
один из которых должен поддерживать adapters and at least one of them should support 1GigE.
Для всего лишь двух узлов сеть данных может быть построена без сетевого For only two nodes the storage network may be implemented with the cat5e patch cord
коммутатора, с использованием простого кабеля категории 5e. without an Ethernet switch.
Для простых и демонстрационных целей возможно использование всего одного сетевого For the simple and demo tasks there is possible to use only one network adapter
адаптера на узле, но *обязательно* с поддержкой скорости 1Гбит/с. on the node, but it *MUST* support 1GigE speed.
h2. СЕТЬ ИНТЕРНЕТ INTERNET NETWORKING
Для доступа к Интернет вы должны подключить ваш локальный сегмент сети к Интернет - In order to access to the Internet you should connect your local network segment
роутеру. to the Internet router.
Наиболее простой способ - это использовать отдельный роутер с функцией The simplest way is to use the separate router with NAT.
Более продвинутый способ - это построить роутер/брандмауэр на виртуальной машине The more advanced way is to construct the router/firewall on the cluster's virtual
кластера. instance, probably with separate network interface.
h2. РЕПОЗИТОРИИ DEBIAN REPOSITORIES
Служебная ВМ предоставляет apt-прокси The service instance provides "approx" для кэширования пакетов Debian, который может быть подключен к apt proxy, which can be uplinked to
обычным зеркалам regular Debian или к внутренним зеркалам/прокси.
В любом случае, в mirrors or to the intermediate mirrors or apt proxies in your LAN.
In any case, the service instance's "approx" на служебной ВМ загружена копия репозитория со is loaded by the copy of the
repository from the SCI-CD CD-ROM. It can be used even in absence of the uplink
ISO. Его можно использовать даже в отсутствие подключения к Интернет. to the external sources.
Стандартный список репозиториев автоматически доставляется на системы с запущенным The standard reposiporise list is pushed automatically into the sources.lists
puppet-клиентом (по умолчанию - все узлы и ВМ). of the puppet-client instances (which are by default all the nodes and
instances).
h2. УСТАНОВКА INSTALLATION
Для инструкций читайте раздел [[УСТАНОВКА]]. Please read [[INSTALL]] for instructions.