Проект

Общее

Профиль

УСТАНОВКА » История » Версия 55

Евгений Антонов, 21.02.2018 17:46

1 43 Dmitry Chernyak
h1. Новые инструкции по установке
2 1 Dmitry Chernyak
3 4 Владимир Ипатов
{{toc}}
4 10 Dmitry Chernyak
5 49 Dmitry Chernyak
[[OVERVIEW]] | [[INSTALL]] | [[OPERATIONS]] | [[LICENSE]]
6 45 Dmitry Chernyak
[[ОБЗОР]] | [[УСТАНОВКА]] | [[ОПЕРАЦИИ]] | [[ЛИЦЕНЗИЯ]]
7 44 Dmitry Chernyak
8 9 Dmitry Chernyak
h2. Загрузка ISO-образа
9 1 Dmitry Chernyak
10 55 Евгений Антонов
Для получения актуального образа системы вам необходимо "пройти процедуру бесплатной регистрации":https://sci.skycover.ru/account/register
11 55 Евгений Антонов
*"Скачать ISO-образ":https://sci.skycover.ru/projects/sci-cd/documents*
12 55 Евгений Антонов
Образ системы предоставляется в формате гибридного ISO образа, который вы можете записать на CD-болванку, или USB-накопитель
13 55 Евгений Антонов
14 1 Dmitry Chernyak
15 43 Dmitry Chernyak
h2. Запись ISO-образа на диск или флэшку
16 1 Dmitry Chernyak
17 43 Dmitry Chernyak
ISO-образ можно записать используя пишущий CD-ROM и любую программу для записи образов на диски.
18 1 Dmitry Chernyak
19 43 Dmitry Chernyak
ISO-образ можно записать на флешку, используя любую предназначенную для этого утилиту, например, unetbootin.
20 43 Dmitry Chernyak
Для этого программе, в "типе системы", надо выбрать Debian версии ... и указать путь к ISO.
21 1 Dmitry Chernyak
22 43 Dmitry Chernyak
Также можно записать ISO образ напрямую на флешку:
23 1 Dmitry Chernyak
24 43 Dmitry Chernyak
<pre>
25 43 Dmitry Chernyak
dd if=/путь/к/iso of=/dev/sdX bs=4k
26 43 Dmitry Chernyak
</pre>
27 43 Dmitry Chernyak
Где /dev/sdX - путь к файлу блочного устройства, ссылающегося на флешку
28 43 Dmitry Chernyak
(понять это можно, вставив флешку и запустив dmesg - в конце будет информация о подключенной флешке).
29 43 Dmitry Chernyak
.
30 25 Владимир Ипатов
31 43 Dmitry Chernyak
h2. Минимальные системные требования
32 1 Dmitry Chernyak
33 43 Dmitry Chernyak
При реальном внедрении следует подбирать характеристики железа под конкретные задачи.
34 43 Dmitry Chernyak
Для тестовых применений минимальные требования:
35 43 Dmitry Chernyak
* 2GB RAM
36 43 Dmitry Chernyak
* 50GB HDD
37 43 Dmitry Chernyak
* две сетевых карты (для межсетевого соединения необходим 1Gbit ethernet)
38 43 Dmitry Chernyak
* Поддержка аппаратной виртуализации (в случае, если планируется использовать HVM режим)
39 1 Dmitry Chernyak
40 43 Dmitry Chernyak
Для промышленного использования оба узла должны иметь одинаковую конфигурацию (мощность процессора, память, объем и скорость дисковой системы).
41 1 Dmitry Chernyak
42 43 Dmitry Chernyak
h2. Установка узлов
43 1 Dmitry Chernyak
44 43 Dmitry Chernyak
Перед установкой следует подключить узлы кабелем в LAN.
45 43 Dmitry Chernyak
Затем загрузиться с инсталляционного образа на первом узле.
46 43 Dmitry Chernyak
В процессе работы инсталлятора:
47 43 Dmitry Chernyak
48 43 Dmitry Chernyak
h3. Настроить подключение к сети
49 43 Dmitry Chernyak
50 43 Dmitry Chernyak
Укажите статический IP для подключения к LAN
51 43 Dmitry Chernyak
52 43 Dmitry Chernyak
!ip.JPG!
53 43 Dmitry Chernyak
54 43 Dmitry Chernyak
Далее укажите маску, gateway и DNS-сервер для этого подключения.
55 43 Dmitry Chernyak
56 43 Dmitry Chernyak
h3. Задать имя узла
57 43 Dmitry Chernyak
58 43 Dmitry Chernyak
В поле Hostname укажите имя узла, например gnt1 или gnt-1.
59 43 Dmitry Chernyak
"1" означает, что это будет первый узел кластера.
60 43 Dmitry Chernyak
61 43 Dmitry Chernyak
!hostname.JPG!
62 43 Dmitry Chernyak
63 43 Dmitry Chernyak
В поле Domain укажите домен
64 43 Dmitry Chernyak
65 43 Dmitry Chernyak
!domain.JPG!
66 43 Dmitry Chernyak
67 43 Dmitry Chernyak
h3. Задать пароль root
68 43 Dmitry Chernyak
69 43 Dmitry Chernyak
Не делайте пароль слишком простым
70 43 Dmitry Chernyak
71 43 Dmitry Chernyak
h3. Произвести разметку диска
72 43 Dmitry Chernyak
73 43 Dmitry Chernyak
Инсталлятор предоставляет несколько типов автоматической разметки.
74 43 Dmitry Chernyak
75 43 Dmitry Chernyak
Если вы планируете использовать программный RAID, выберите
76 43 Dmitry Chernyak
*2(4,6,8) disk with lvm* - в зависимости от количества жестких дисков.
77 43 Dmitry Chernyak
Для двух дисков используется raid1, для большего количества используется raid10.
78 43 Dmitry Chernyak
Raid10 - рекомендуемый уровень raid для использования с виртуализацией.
79 43 Dmitry Chernyak
80 43 Dmitry Chernyak
Если вы используете аппаратный RAID, выберите
81 43 Dmitry Chernyak
*1 disk with lvm*
82 43 Dmitry Chernyak
83 50 Владимир Ипатов
Если у вас сервер с двумя типами дисков, например 2 диска SATA и сколько-то дисков SAS (сырых или под аппаратным RAID), мы рекомендуем произвести начальную установку полностью на SATA диски по шаблону *2 disk with lvm* и после настройки кластера, вручную добавить SAS-диски как дополнительную VG.
84 43 Dmitry Chernyak
85 43 Dmitry Chernyak
!disk.JPG!
86 43 Dmitry Chernyak
87 43 Dmitry Chernyak
На вопросы об удалении старых разделов и создании RAID, если будут надо согласиться.
88 43 Dmitry Chernyak
89 43 Dmitry Chernyak
Инструкции по этой операции и другие подробности - в разделе [[Разметка диска]].
90 43 Dmitry Chernyak
91 43 Dmitry Chernyak
h3. Указать диск для установки загрузчика grub.
92 43 Dmitry Chernyak
93 43 Dmitry Chernyak
Отметьте все физические диски (не раздел, и не том software RAID!), на которые установлена система.
94 43 Dmitry Chernyak
95 43 Dmitry Chernyak
!grub.JPG!
96 43 Dmitry Chernyak
97 43 Dmitry Chernyak
h3. Завершить установку - перезагрузиться.
98 43 Dmitry Chernyak
99 43 Dmitry Chernyak
h3. Аналогично установить второй узел
100 43 Dmitry Chernyak
101 43 Dmitry Chernyak
Задать имя узла, например gnt2 или gnt-2 (сообразно с первым узлом).
102 43 Dmitry Chernyak
Пароль установить такой же, как на первый сервер.
103 43 Dmitry Chernyak
104 43 Dmitry Chernyak
h2. Установить время
105 43 Dmitry Chernyak
106 43 Dmitry Chernyak
Удостоверьтесь, что на обоих узлах установлено одинаковое время.
107 43 Dmitry Chernyak
108 1 Dmitry Chernyak
<pre>
109 43 Dmitry Chernyak
# date
110 43 Dmitry Chernyak
Thu Mar 12 12:23:10 MSK 2015
111 1 Dmitry Chernyak
</pre>
112 1 Dmitry Chernyak
113 43 Dmitry Chernyak
Если нет - установите его командой
114 1 Dmitry Chernyak
115 43 Dmitry Chernyak
<pre>
116 43 Dmitry Chernyak
# date -s "12 MAR 2015 12:23:00"
117 43 Dmitry Chernyak
</pre>
118 1 Dmitry Chernyak
119 43 Dmitry Chernyak
h2. Сконфигурировать бэкбон (межсерверное соединение)
120 1 Dmitry Chernyak
121 43 Dmitry Chernyak
Не отключайте узлы от LAN.
122 43 Dmitry Chernyak
Соедините узлы вторым кабелем через свободные гигабитные сетевые карты, проверьте, что на них зажглись лампочки link (при наличии лампочек).
123 43 Dmitry Chernyak
Данное подключение будет использоваться для межсерверного соединения, по которому будут синхронизироваться данные на дисках.
124 53 Николай Алексеев
Если в сервера подключены еще какие-то ethernet кабели (кроме LAN и будущего Backbone), то их следует отключить на время настройки бэкбона.
125 43 Dmitry Chernyak
После появления линка на каждом узле запустите (можно параллельно, можно последовательно):
126 43 Dmitry Chernyak
<pre>
127 43 Dmitry Chernyak
sci-setup backbone
128 43 Dmitry Chernyak
</pre>
129 1 Dmitry Chernyak
130 43 Dmitry Chernyak
Результат:
131 43 Dmitry Chernyak
<pre>
132 43 Dmitry Chernyak
root@gnt-1:~# sci-setup backbone
133 43 Dmitry Chernyak
Node number: 1
134 43 Dmitry Chernyak
LAN interface: eth0
135 43 Dmitry Chernyak
Waiting 30 seconds for links to be up
136 43 Dmitry Chernyak
Backbone interface: eth3
137 43 Dmitry Chernyak
Up and test backbone
138 1 Dmitry Chernyak
139 43 Dmitry Chernyak
Waiting for backbone to get ready (MAXWAIT is 2 seconds).
140 43 Dmitry Chernyak
          inet addr:10.101.200.11  Bcast:10.101.200.255  Mask:255.255.255.0
141 43 Dmitry Chernyak
ok.
142 43 Dmitry Chernyak
</pre>
143 1 Dmitry Chernyak
144 52 Dmitry Chernyak
> Ключ -f позволяет автоматически перезаписать старую настройку бэкбона, если она была
145 52 Dmitry Chernyak
146 43 Dmitry Chernyak
После настройки обоих узлов проверьте соединение. На первом узле запустите:
147 43 Dmitry Chernyak
<pre>
148 54 Николай Алексеев
ping 10.101.200.12
149 43 Dmitry Chernyak
</pre>
150 1 Dmitry Chernyak
151 43 Dmitry Chernyak
<pre>
152 43 Dmitry Chernyak
root@gnt-1:~# ping 10.101.200.12
153 43 Dmitry Chernyak
PING 10.101.200.12 (10.101.200.12) 56(84) bytes of data.
154 43 Dmitry Chernyak
64 bytes from 10.101.200.12: icmp_req=1 ttl=64 time=0.263 ms
155 43 Dmitry Chernyak
64 bytes from 10.101.200.12: icmp_req=2 ttl=64 time=0.112 ms
156 43 Dmitry Chernyak
^C
157 43 Dmitry Chernyak
--- 10.101.200.12 ping statistics ---
158 43 Dmitry Chernyak
2 packets transmitted, 2 received, 0% packet loss, time 999ms
159 51 Dmitry Chernyak
rtt min/avg/max/mdev = 0.112/0.187/0.263/0.076 ms
160 51 Dmitry Chernyak
</pre>
161 51 Dmitry Chernyak
162 51 Dmitry Chernyak
[[Настройка бэкбона для конфигурации с одним узлом]]
163 1 Dmitry Chernyak
164 43 Dmitry Chernyak
h2. Инициализировать кластер
165 1 Dmitry Chernyak
166 43 Dmitry Chernyak
На первом узле запустите
167 43 Dmitry Chernyak
<pre>
168 43 Dmitry Chernyak
sci-setup cluster
169 43 Dmitry Chernyak
</pre>
170 1 Dmitry Chernyak
171 43 Dmitry Chernyak
Конфигуратор попросит указать адрес кластера в LAN.
172 43 Dmitry Chernyak
<pre>
173 43 Dmitry Chernyak
root@gnt-1:~# sci-setup cluster
174 43 Dmitry Chernyak
Cluster domain name will be gnt.
175 43 Dmitry Chernyak
Cluster IP will be 10.101.200.10 on the interlink.
176 43 Dmitry Chernyak
We recommend to set it to some unbound LAN IP address,
177 43 Dmitry Chernyak
but it is safe to simply press ENTER.
178 43 Dmitry Chernyak
Set cluster IP [10.101.200.10]:
179 43 Dmitry Chernyak
</pre> 
180 1 Dmitry Chernyak
181 43 Dmitry Chernyak
Если в этот момент укажете свободный статический IP-адрес в LAN, то в дальнейшем сможете обращаться к управляющему модулю кластера по этому IP.
182 43 Dmitry Chernyak
Это удобно, но не не обязательно и не влияет на саму возможность управления. Можно просто нажать ENTER и управляюещму модулю будет назначен адрес во внутренней сети кластера.
183 1 Dmitry Chernyak
184 43 Dmitry Chernyak
Конфигуратор проверит пинг ко второму узлу и попросит принять его ssh-ключ и ввести пароль к нему для получения и проверки параметров конфигурации.
185 43 Dmitry Chernyak
<pre>
186 43 Dmitry Chernyak
Connecting to Node2 via 10.101.200.12
187 43 Dmitry Chernyak
You will be prompted for a root password...
188 1 Dmitry Chernyak
189 43 Dmitry Chernyak
The authenticity of host '10.101.200.12 (10.101.200.12)' can't be established.
190 43 Dmitry Chernyak
ECDSA key fingerprint is 6a:5a:78:fa:af:c1:23:97:87:9f:66:46:94:7e:f2:f5.
191 43 Dmitry Chernyak
Are you sure you want to continue connecting (yes/no)?
192 43 Dmitry Chernyak
</pre> 
193 1 Dmitry Chernyak
194 43 Dmitry Chernyak
Введите "yes"
195 43 Dmitry Chernyak
<pre>
196 43 Dmitry Chernyak
root@10.101.200.12's password:
197 43 Dmitry Chernyak
</pre>
198 1 Dmitry Chernyak
199 43 Dmitry Chernyak
Пароль ко второму узлу.
200 1 Dmitry Chernyak
201 43 Dmitry Chernyak
После успешного прохождения всех проверок, на экране будут показаны параметры конфигурации кластера.
202 43 Dmitry Chernyak
<pre>
203 43 Dmitry Chernyak
########################################
204 43 Dmitry Chernyak
Parameters detected:
205 43 Dmitry Chernyak
Domain name: example.sci
206 1 Dmitry Chernyak
207 43 Dmitry Chernyak
Master network interface: backbone
208 1 Dmitry Chernyak
209 43 Dmitry Chernyak
Cluster name: gnt
210 43 Dmitry Chernyak
Cluster IP: 10.101.200.10
211 1 Dmitry Chernyak
212 43 Dmitry Chernyak
Node 1 name: gnt-1
213 43 Dmitry Chernyak
Node 1 IP: 10.101.200.11
214 43 Dmitry Chernyak
Node 1 LAN IP: 192.168.11.28
215 1 Dmitry Chernyak
216 43 Dmitry Chernyak
Node 2 name: gnt-2
217 43 Dmitry Chernyak
Node 2 IP: 10.101.200.12
218 43 Dmitry Chernyak
Node 2 LAN IP: 192.168.11.29
219 43 Dmitry Chernyak
Proceed with cluster creation [y/n]?
220 43 Dmitry Chernyak
</pre>
221 1 Dmitry Chernyak
222 43 Dmitry Chernyak
Если все правильно, введите "y" и нажмите ENTER для создания кластера.
223 1 Dmitry Chernyak
224 43 Dmitry Chernyak
<pre>
225 43 Dmitry Chernyak
Refilling sci.conf
226 43 Dmitry Chernyak
Creating empty /root/.ssh
227 43 Dmitry Chernyak
Fullfilling /etc/hosts
228 43 Dmitry Chernyak
Fulfilling default /etc/ganeti/networks
229 43 Dmitry Chernyak
Set random vnc password for cluster: miotaigh
230 43 Dmitry Chernyak
add sci repo in apt sources
231 43 Dmitry Chernyak
Initializing cluster
232 43 Dmitry Chernyak
Tuning cluster
233 43 Dmitry Chernyak
Adding the second node
234 43 Dmitry Chernyak
-- WARNING -- 
235 43 Dmitry Chernyak
Performing this operation is going to replace the ssh daemon keypair
236 43 Dmitry Chernyak
on the target machine (gnt-2.example.sci) with the ones of the current one
237 43 Dmitry Chernyak
and grant full intra-cluster ssh root access to/from it
238 1 Dmitry Chernyak
239 43 Dmitry Chernyak
The authenticity of host 'gnt-2.example.sci (10.101.200.12)' can't be established.
240 43 Dmitry Chernyak
ECDSA key fingerprint is 6a:5a:78:fa:af:c1:23:97:87:9f:66:46:94:7e:f2:f5.
241 43 Dmitry Chernyak
Are you sure you want to continue connecting (yes/no)?
242 43 Dmitry Chernyak
</pre>
243 19 Dmitry Chernyak
244 43 Dmitry Chernyak
245 43 Dmitry Chernyak
В процессе добавления второго узла в кластер, потребуется еще раз принять ssh ключ и ввести пароль.
246 43 Dmitry Chernyak
Введите "yes" и затем пароль ко второму узлу.
247 43 Dmitry Chernyak
248 43 Dmitry Chernyak
249 43 Dmitry Chernyak
В конце Вы увидите вывод команды диагностики кластера:
250 43 Dmitry Chernyak
<pre>
251 43 Dmitry Chernyak
VTue Jun 28 18:37:06 2016 * Verifying cluster config
252 43 Dmitry Chernyak
Tue Jun 28 18:37:06 2016 * Verifying cluster certificate files
253 43 Dmitry Chernyak
Tue Jun 28 18:37:06 2016 * Verifying hypervisor parameters
254 43 Dmitry Chernyak
Tue Jun 28 18:37:07 2016 * Verifying all nodes belong to an existing group
255 43 Dmitry Chernyak
Waiting for job 10 ...
256 43 Dmitry Chernyak
Tue Jun 28 18:37:07 2016 * Verifying group 'default'
257 43 Dmitry Chernyak
Tue Jun 28 18:37:08 2016 * Gathering data (2 nodes)
258 43 Dmitry Chernyak
Tue Jun 28 18:37:09 2016 * Gathering disk information (2 nodes)
259 43 Dmitry Chernyak
Tue Jun 28 18:37:09 2016 * Verifying configuration file consistency
260 43 Dmitry Chernyak
Tue Jun 28 18:37:09 2016 * Verifying node status
261 43 Dmitry Chernyak
Tue Jun 28 18:37:09 2016 * Verifying instance status
262 43 Dmitry Chernyak
Tue Jun 28 18:37:10 2016 * Verifying orphan volumes
263 43 Dmitry Chernyak
Tue Jun 28 18:37:10 2016 * Verifying N+1 Memory redundancy
264 43 Dmitry Chernyak
Tue Jun 28 18:37:10 2016 * Other Notes
265 43 Dmitry Chernyak
Tue Jun 28 18:37:10 2016 * Hooks Results
266 43 Dmitry Chernyak
Node              DTotal DFree MTotal MNode MFree Pinst Sinst
267 43 Dmitry Chernyak
gnt-1.example.sci 101.2G 82.2G   3.9G  1.5G  2.4G     0     0
268 43 Dmitry Chernyak
gnt-2.example.sci 101.3G 81.3G   3.9G  1.5G  2.4G     0     0
269 43 Dmitry Chernyak
If all is ok, proceed with sci-setup sci
270 43 Dmitry Chernyak
</pre>
271 43 Dmitry Chernyak
272 43 Dmitry Chernyak
h2. Создать управляющую виртуальную машину.
273 43 Dmitry Chernyak
274 43 Dmitry Chernyak
На первом узле запустите
275 43 Dmitry Chernyak
<pre>
276 43 Dmitry Chernyak
sci-setup sci
277 43 Dmitry Chernyak
</pre>
278 43 Dmitry Chernyak
279 43 Dmitry Chernyak
Если хотите, чтобы внутренний DNS кластера использовал DNS вашей компании как форвардеры (обращался к ним при резолве внешних адресов), то запустите команду следующим образом:
280 43 Dmitry Chernyak
<pre>
281 43 Dmitry Chernyak
sci-setup sci -d
282 43 Dmitry Chernyak
</pre>
283 43 Dmitry Chernyak
284 43 Dmitry Chernyak
Без @-d@ внутренний DNS кластера будет резолвить интернет-адреса напрямую через корневые серверы Интернет.
285 43 Dmitry Chernyak
286 43 Dmitry Chernyak
Конфигуратор попросит указать адрес управляющей ВМ в LAN:
287 43 Dmitry Chernyak
<pre>
288 43 Dmitry Chernyak
root@gnt-1:~# sci-setup sci
289 43 Dmitry Chernyak
Set sci LAN IP or enter "none" and press ENTER: 
290 43 Dmitry Chernyak
</pre> 
291 43 Dmitry Chernyak
292 43 Dmitry Chernyak
Укажите свободный статический IP в LAN (в примере: 192.168.11.2).
293 43 Dmitry Chernyak
294 43 Dmitry Chernyak
После успешного прохождения всех проверок, на экране будут показаны параметры конфигурации управляющей ВМ.
295 43 Dmitry Chernyak
<pre>
296 43 Dmitry Chernyak
Creating service machine sci
297 43 Dmitry Chernyak
IP: 10.101.200.2 on backbone
298 43 Dmitry Chernyak
Second network device: lan
299 43 Dmitry Chernyak
Second network IP: 192.168.11.2
300 43 Dmitry Chernyak
Proceed with sci VM creation [y/n]?
301 43 Dmitry Chernyak
</pre>
302 43 Dmitry Chernyak
303 43 Dmitry Chernyak
Если все правильно, введите "y" и нажмите ENTER для создания ВМ.
304 43 Dmitry Chernyak
<pre>
305 43 Dmitry Chernyak
Adding sci to /etc/hosts
306 43 Dmitry Chernyak
Tue Jun 28 18:44:02 2016 * creating instance disks...
307 43 Dmitry Chernyak
Tue Jun 28 18:44:09 2016 adding instance sci to cluster config
308 43 Dmitry Chernyak
Tue Jun 28 18:44:13 2016  - INFO: Waiting for instance sci to sync disks
309 43 Dmitry Chernyak
Tue Jun 28 18:44:13 2016  - INFO: - device disk/0:  2.10% done, 2m 27s remaining (estimated)
310 43 Dmitry Chernyak
Tue Jun 28 18:45:13 2016  - INFO: - device disk/0: 39.90% done, 1m 31s remaining (estimated)
311 43 Dmitry Chernyak
Tue Jun 28 18:46:14 2016  - INFO: - device disk/0: 78.20% done, 34s remaining (estimated)
312 43 Dmitry Chernyak
Tue Jun 28 18:46:48 2016  - INFO: - device disk/0: 100.00% done, 0s remaining (estimated)
313 43 Dmitry Chernyak
Tue Jun 28 18:46:48 2016  - INFO: Instance sci's disks are in sync
314 43 Dmitry Chernyak
Tue Jun 28 18:46:48 2016 * running the instance OS create scripts...
315 43 Dmitry Chernyak
Tue Jun 28 18:49:42 2016 * starting instance...
316 43 Dmitry Chernyak
</pre>
317 43 Dmitry Chernyak
318 43 Dmitry Chernyak
h2. Поздравляем! В вашем кластере создана первая виртуальная машина!
319 43 Dmitry Chernyak
320 43 Dmitry Chernyak
После запуска, ВМ sci автоматически производит донастройку узлов кластера и становится для них сервером DNS. Операция занимает в среднем 5-10 минут.
321 43 Dmitry Chernyak
322 43 Dmitry Chernyak
Попробуйте команды:
323 43 Dmitry Chernyak
<pre>
324 43 Dmitry Chernyak
gnt-instance list
325 43 Dmitry Chernyak
gnt-instance info sci
326 43 Dmitry Chernyak
gnt-cluster verify
327 43 Dmitry Chernyak
ssh sci
328 43 Dmitry Chernyak
</pre>
329 43 Dmitry Chernyak
330 48 Dmitry Chernyak
h2. Операции
331 46 Dmitry Chernyak
332 43 Dmitry Chernyak
Как управлять кластером и создать новые виртуальные машины читайте в разделе [[ОПЕРАЦИИ]]
333 46 Dmitry Chernyak
334 46 Dmitry Chernyak
----
335 1 Dmitry Chernyak
336 1 Dmitry Chernyak
[[УСТАНОВКА - версия до 2.3 включительно]]