Проект

Общее

Профиль

УСТАНОВКА » История » Версия 54

Николай Алексеев, 04.05.2017 15:45

1 43 Dmitry Chernyak
h1. Новые инструкции по установке
2 1 Dmitry Chernyak
3 4 Владимир Ипатов
{{toc}}
4 10 Dmitry Chernyak
5 49 Dmitry Chernyak
[[OVERVIEW]] | [[INSTALL]] | [[OPERATIONS]] | [[LICENSE]]
6 45 Dmitry Chernyak
[[ОБЗОР]] | [[УСТАНОВКА]] | [[ОПЕРАЦИИ]] | [[ЛИЦЕНЗИЯ]]
7 44 Dmitry Chernyak
8 9 Dmitry Chernyak
h2. Загрузка ISO-образа
9 1 Dmitry Chernyak
10 1 Dmitry Chernyak
Скачайте инсталляционный диск, готовый для использования: *"Скачать ISO-образ":https://sci.skycover.ru/projects/sci-cd/documents*
11 1 Dmitry Chernyak
Для получения ссылки необходимо "зарегистрироваться":https://sci.skycover.ru/account/register
12 1 Dmitry Chernyak
13 43 Dmitry Chernyak
h2. Запись ISO-образа на диск или флэшку
14 1 Dmitry Chernyak
15 43 Dmitry Chernyak
ISO-образ можно записать используя пишущий CD-ROM и любую программу для записи образов на диски.
16 1 Dmitry Chernyak
17 43 Dmitry Chernyak
ISO-образ можно записать на флешку, используя любую предназначенную для этого утилиту, например, unetbootin.
18 43 Dmitry Chernyak
Для этого программе, в "типе системы", надо выбрать Debian версии ... и указать путь к ISO.
19 1 Dmitry Chernyak
20 43 Dmitry Chernyak
Также можно записать ISO образ напрямую на флешку:
21 1 Dmitry Chernyak
22 43 Dmitry Chernyak
<pre>
23 43 Dmitry Chernyak
dd if=/путь/к/iso of=/dev/sdX bs=4k
24 43 Dmitry Chernyak
</pre>
25 43 Dmitry Chernyak
Где /dev/sdX - путь к файлу блочного устройства, ссылающегося на флешку
26 43 Dmitry Chernyak
(понять это можно, вставив флешку и запустив dmesg - в конце будет информация о подключенной флешке).
27 43 Dmitry Chernyak
.
28 25 Владимир Ипатов
29 43 Dmitry Chernyak
h2. Минимальные системные требования
30 1 Dmitry Chernyak
31 43 Dmitry Chernyak
При реальном внедрении следует подбирать характеристики железа под конкретные задачи.
32 43 Dmitry Chernyak
Для тестовых применений минимальные требования:
33 43 Dmitry Chernyak
* 2GB RAM
34 43 Dmitry Chernyak
* 50GB HDD
35 43 Dmitry Chernyak
* две сетевых карты (для межсетевого соединения необходим 1Gbit ethernet)
36 43 Dmitry Chernyak
* Поддержка аппаратной виртуализации (в случае, если планируется использовать HVM режим)
37 1 Dmitry Chernyak
38 43 Dmitry Chernyak
Для промышленного использования оба узла должны иметь одинаковую конфигурацию (мощность процессора, память, объем и скорость дисковой системы).
39 1 Dmitry Chernyak
40 43 Dmitry Chernyak
h2. Установка узлов
41 1 Dmitry Chernyak
42 43 Dmitry Chernyak
Перед установкой следует подключить узлы кабелем в LAN.
43 43 Dmitry Chernyak
Затем загрузиться с инсталляционного образа на первом узле.
44 43 Dmitry Chernyak
В процессе работы инсталлятора:
45 43 Dmitry Chernyak
46 43 Dmitry Chernyak
h3. Настроить подключение к сети
47 43 Dmitry Chernyak
48 43 Dmitry Chernyak
Укажите статический IP для подключения к LAN
49 43 Dmitry Chernyak
50 43 Dmitry Chernyak
!ip.JPG!
51 43 Dmitry Chernyak
52 43 Dmitry Chernyak
Далее укажите маску, gateway и DNS-сервер для этого подключения.
53 43 Dmitry Chernyak
54 43 Dmitry Chernyak
h3. Задать имя узла
55 43 Dmitry Chernyak
56 43 Dmitry Chernyak
В поле Hostname укажите имя узла, например gnt1 или gnt-1.
57 43 Dmitry Chernyak
"1" означает, что это будет первый узел кластера.
58 43 Dmitry Chernyak
59 43 Dmitry Chernyak
!hostname.JPG!
60 43 Dmitry Chernyak
61 43 Dmitry Chernyak
В поле Domain укажите домен
62 43 Dmitry Chernyak
63 43 Dmitry Chernyak
!domain.JPG!
64 43 Dmitry Chernyak
65 43 Dmitry Chernyak
h3. Задать пароль root
66 43 Dmitry Chernyak
67 43 Dmitry Chernyak
Не делайте пароль слишком простым
68 43 Dmitry Chernyak
69 43 Dmitry Chernyak
h3. Произвести разметку диска
70 43 Dmitry Chernyak
71 43 Dmitry Chernyak
Инсталлятор предоставляет несколько типов автоматической разметки.
72 43 Dmitry Chernyak
73 43 Dmitry Chernyak
Если вы планируете использовать программный RAID, выберите
74 43 Dmitry Chernyak
*2(4,6,8) disk with lvm* - в зависимости от количества жестких дисков.
75 43 Dmitry Chernyak
Для двух дисков используется raid1, для большего количества используется raid10.
76 43 Dmitry Chernyak
Raid10 - рекомендуемый уровень raid для использования с виртуализацией.
77 43 Dmitry Chernyak
78 43 Dmitry Chernyak
Если вы используете аппаратный RAID, выберите
79 43 Dmitry Chernyak
*1 disk with lvm*
80 43 Dmitry Chernyak
81 50 Владимир Ипатов
Если у вас сервер с двумя типами дисков, например 2 диска SATA и сколько-то дисков SAS (сырых или под аппаратным RAID), мы рекомендуем произвести начальную установку полностью на SATA диски по шаблону *2 disk with lvm* и после настройки кластера, вручную добавить SAS-диски как дополнительную VG.
82 43 Dmitry Chernyak
83 43 Dmitry Chernyak
!disk.JPG!
84 43 Dmitry Chernyak
85 43 Dmitry Chernyak
На вопросы об удалении старых разделов и создании RAID, если будут надо согласиться.
86 43 Dmitry Chernyak
87 43 Dmitry Chernyak
Инструкции по этой операции и другие подробности - в разделе [[Разметка диска]].
88 43 Dmitry Chernyak
89 43 Dmitry Chernyak
h3. Указать диск для установки загрузчика grub.
90 43 Dmitry Chernyak
91 43 Dmitry Chernyak
Отметьте все физические диски (не раздел, и не том software RAID!), на которые установлена система.
92 43 Dmitry Chernyak
93 43 Dmitry Chernyak
!grub.JPG!
94 43 Dmitry Chernyak
95 43 Dmitry Chernyak
h3. Завершить установку - перезагрузиться.
96 43 Dmitry Chernyak
97 43 Dmitry Chernyak
h3. Аналогично установить второй узел
98 43 Dmitry Chernyak
99 43 Dmitry Chernyak
Задать имя узла, например gnt2 или gnt-2 (сообразно с первым узлом).
100 43 Dmitry Chernyak
Пароль установить такой же, как на первый сервер.
101 43 Dmitry Chernyak
102 43 Dmitry Chernyak
h2. Установить время
103 43 Dmitry Chernyak
104 43 Dmitry Chernyak
Удостоверьтесь, что на обоих узлах установлено одинаковое время.
105 43 Dmitry Chernyak
106 1 Dmitry Chernyak
<pre>
107 43 Dmitry Chernyak
# date
108 43 Dmitry Chernyak
Thu Mar 12 12:23:10 MSK 2015
109 1 Dmitry Chernyak
</pre>
110 1 Dmitry Chernyak
111 43 Dmitry Chernyak
Если нет - установите его командой
112 1 Dmitry Chernyak
113 43 Dmitry Chernyak
<pre>
114 43 Dmitry Chernyak
# date -s "12 MAR 2015 12:23:00"
115 43 Dmitry Chernyak
</pre>
116 1 Dmitry Chernyak
117 43 Dmitry Chernyak
h2. Сконфигурировать бэкбон (межсерверное соединение)
118 1 Dmitry Chernyak
119 43 Dmitry Chernyak
Не отключайте узлы от LAN.
120 43 Dmitry Chernyak
Соедините узлы вторым кабелем через свободные гигабитные сетевые карты, проверьте, что на них зажглись лампочки link (при наличии лампочек).
121 43 Dmitry Chernyak
Данное подключение будет использоваться для межсерверного соединения, по которому будут синхронизироваться данные на дисках.
122 53 Николай Алексеев
Если в сервера подключены еще какие-то ethernet кабели (кроме LAN и будущего Backbone), то их следует отключить на время настройки бэкбона.
123 43 Dmitry Chernyak
После появления линка на каждом узле запустите (можно параллельно, можно последовательно):
124 43 Dmitry Chernyak
<pre>
125 43 Dmitry Chernyak
sci-setup backbone
126 43 Dmitry Chernyak
</pre>
127 1 Dmitry Chernyak
128 43 Dmitry Chernyak
Результат:
129 43 Dmitry Chernyak
<pre>
130 43 Dmitry Chernyak
root@gnt-1:~# sci-setup backbone
131 43 Dmitry Chernyak
Node number: 1
132 43 Dmitry Chernyak
LAN interface: eth0
133 43 Dmitry Chernyak
Waiting 30 seconds for links to be up
134 43 Dmitry Chernyak
Backbone interface: eth3
135 43 Dmitry Chernyak
Up and test backbone
136 1 Dmitry Chernyak
137 43 Dmitry Chernyak
Waiting for backbone to get ready (MAXWAIT is 2 seconds).
138 43 Dmitry Chernyak
          inet addr:10.101.200.11  Bcast:10.101.200.255  Mask:255.255.255.0
139 43 Dmitry Chernyak
ok.
140 43 Dmitry Chernyak
</pre>
141 1 Dmitry Chernyak
142 52 Dmitry Chernyak
> Ключ -f позволяет автоматически перезаписать старую настройку бэкбона, если она была
143 52 Dmitry Chernyak
144 43 Dmitry Chernyak
После настройки обоих узлов проверьте соединение. На первом узле запустите:
145 43 Dmitry Chernyak
<pre>
146 54 Николай Алексеев
ping 10.101.200.12
147 43 Dmitry Chernyak
</pre>
148 1 Dmitry Chernyak
149 43 Dmitry Chernyak
<pre>
150 43 Dmitry Chernyak
root@gnt-1:~# ping 10.101.200.12
151 43 Dmitry Chernyak
PING 10.101.200.12 (10.101.200.12) 56(84) bytes of data.
152 43 Dmitry Chernyak
64 bytes from 10.101.200.12: icmp_req=1 ttl=64 time=0.263 ms
153 43 Dmitry Chernyak
64 bytes from 10.101.200.12: icmp_req=2 ttl=64 time=0.112 ms
154 43 Dmitry Chernyak
^C
155 43 Dmitry Chernyak
--- 10.101.200.12 ping statistics ---
156 43 Dmitry Chernyak
2 packets transmitted, 2 received, 0% packet loss, time 999ms
157 51 Dmitry Chernyak
rtt min/avg/max/mdev = 0.112/0.187/0.263/0.076 ms
158 51 Dmitry Chernyak
</pre>
159 51 Dmitry Chernyak
160 51 Dmitry Chernyak
[[Настройка бэкбона для конфигурации с одним узлом]]
161 1 Dmitry Chernyak
162 43 Dmitry Chernyak
h2. Инициализировать кластер
163 1 Dmitry Chernyak
164 43 Dmitry Chernyak
На первом узле запустите
165 43 Dmitry Chernyak
<pre>
166 43 Dmitry Chernyak
sci-setup cluster
167 43 Dmitry Chernyak
</pre>
168 1 Dmitry Chernyak
169 43 Dmitry Chernyak
Конфигуратор попросит указать адрес кластера в LAN.
170 43 Dmitry Chernyak
<pre>
171 43 Dmitry Chernyak
root@gnt-1:~# sci-setup cluster
172 43 Dmitry Chernyak
Cluster domain name will be gnt.
173 43 Dmitry Chernyak
Cluster IP will be 10.101.200.10 on the interlink.
174 43 Dmitry Chernyak
We recommend to set it to some unbound LAN IP address,
175 43 Dmitry Chernyak
but it is safe to simply press ENTER.
176 43 Dmitry Chernyak
Set cluster IP [10.101.200.10]:
177 43 Dmitry Chernyak
</pre> 
178 1 Dmitry Chernyak
179 43 Dmitry Chernyak
Если в этот момент укажете свободный статический IP-адрес в LAN, то в дальнейшем сможете обращаться к управляющему модулю кластера по этому IP.
180 43 Dmitry Chernyak
Это удобно, но не не обязательно и не влияет на саму возможность управления. Можно просто нажать ENTER и управляюещму модулю будет назначен адрес во внутренней сети кластера.
181 1 Dmitry Chernyak
182 43 Dmitry Chernyak
Конфигуратор проверит пинг ко второму узлу и попросит принять его ssh-ключ и ввести пароль к нему для получения и проверки параметров конфигурации.
183 43 Dmitry Chernyak
<pre>
184 43 Dmitry Chernyak
Connecting to Node2 via 10.101.200.12
185 43 Dmitry Chernyak
You will be prompted for a root password...
186 1 Dmitry Chernyak
187 43 Dmitry Chernyak
The authenticity of host '10.101.200.12 (10.101.200.12)' can't be established.
188 43 Dmitry Chernyak
ECDSA key fingerprint is 6a:5a:78:fa:af:c1:23:97:87:9f:66:46:94:7e:f2:f5.
189 43 Dmitry Chernyak
Are you sure you want to continue connecting (yes/no)?
190 43 Dmitry Chernyak
</pre> 
191 1 Dmitry Chernyak
192 43 Dmitry Chernyak
Введите "yes"
193 43 Dmitry Chernyak
<pre>
194 43 Dmitry Chernyak
root@10.101.200.12's password:
195 43 Dmitry Chernyak
</pre>
196 1 Dmitry Chernyak
197 43 Dmitry Chernyak
Пароль ко второму узлу.
198 1 Dmitry Chernyak
199 43 Dmitry Chernyak
После успешного прохождения всех проверок, на экране будут показаны параметры конфигурации кластера.
200 43 Dmitry Chernyak
<pre>
201 43 Dmitry Chernyak
########################################
202 43 Dmitry Chernyak
Parameters detected:
203 43 Dmitry Chernyak
Domain name: example.sci
204 1 Dmitry Chernyak
205 43 Dmitry Chernyak
Master network interface: backbone
206 1 Dmitry Chernyak
207 43 Dmitry Chernyak
Cluster name: gnt
208 43 Dmitry Chernyak
Cluster IP: 10.101.200.10
209 1 Dmitry Chernyak
210 43 Dmitry Chernyak
Node 1 name: gnt-1
211 43 Dmitry Chernyak
Node 1 IP: 10.101.200.11
212 43 Dmitry Chernyak
Node 1 LAN IP: 192.168.11.28
213 1 Dmitry Chernyak
214 43 Dmitry Chernyak
Node 2 name: gnt-2
215 43 Dmitry Chernyak
Node 2 IP: 10.101.200.12
216 43 Dmitry Chernyak
Node 2 LAN IP: 192.168.11.29
217 43 Dmitry Chernyak
Proceed with cluster creation [y/n]?
218 43 Dmitry Chernyak
</pre>
219 1 Dmitry Chernyak
220 43 Dmitry Chernyak
Если все правильно, введите "y" и нажмите ENTER для создания кластера.
221 1 Dmitry Chernyak
222 43 Dmitry Chernyak
<pre>
223 43 Dmitry Chernyak
Refilling sci.conf
224 43 Dmitry Chernyak
Creating empty /root/.ssh
225 43 Dmitry Chernyak
Fullfilling /etc/hosts
226 43 Dmitry Chernyak
Fulfilling default /etc/ganeti/networks
227 43 Dmitry Chernyak
Set random vnc password for cluster: miotaigh
228 43 Dmitry Chernyak
add sci repo in apt sources
229 43 Dmitry Chernyak
Initializing cluster
230 43 Dmitry Chernyak
Tuning cluster
231 43 Dmitry Chernyak
Adding the second node
232 43 Dmitry Chernyak
-- WARNING -- 
233 43 Dmitry Chernyak
Performing this operation is going to replace the ssh daemon keypair
234 43 Dmitry Chernyak
on the target machine (gnt-2.example.sci) with the ones of the current one
235 43 Dmitry Chernyak
and grant full intra-cluster ssh root access to/from it
236 1 Dmitry Chernyak
237 43 Dmitry Chernyak
The authenticity of host 'gnt-2.example.sci (10.101.200.12)' can't be established.
238 43 Dmitry Chernyak
ECDSA key fingerprint is 6a:5a:78:fa:af:c1:23:97:87:9f:66:46:94:7e:f2:f5.
239 43 Dmitry Chernyak
Are you sure you want to continue connecting (yes/no)?
240 43 Dmitry Chernyak
</pre>
241 19 Dmitry Chernyak
242 43 Dmitry Chernyak
243 43 Dmitry Chernyak
В процессе добавления второго узла в кластер, потребуется еще раз принять ssh ключ и ввести пароль.
244 43 Dmitry Chernyak
Введите "yes" и затем пароль ко второму узлу.
245 43 Dmitry Chernyak
246 43 Dmitry Chernyak
247 43 Dmitry Chernyak
В конце Вы увидите вывод команды диагностики кластера:
248 43 Dmitry Chernyak
<pre>
249 43 Dmitry Chernyak
VTue Jun 28 18:37:06 2016 * Verifying cluster config
250 43 Dmitry Chernyak
Tue Jun 28 18:37:06 2016 * Verifying cluster certificate files
251 43 Dmitry Chernyak
Tue Jun 28 18:37:06 2016 * Verifying hypervisor parameters
252 43 Dmitry Chernyak
Tue Jun 28 18:37:07 2016 * Verifying all nodes belong to an existing group
253 43 Dmitry Chernyak
Waiting for job 10 ...
254 43 Dmitry Chernyak
Tue Jun 28 18:37:07 2016 * Verifying group 'default'
255 43 Dmitry Chernyak
Tue Jun 28 18:37:08 2016 * Gathering data (2 nodes)
256 43 Dmitry Chernyak
Tue Jun 28 18:37:09 2016 * Gathering disk information (2 nodes)
257 43 Dmitry Chernyak
Tue Jun 28 18:37:09 2016 * Verifying configuration file consistency
258 43 Dmitry Chernyak
Tue Jun 28 18:37:09 2016 * Verifying node status
259 43 Dmitry Chernyak
Tue Jun 28 18:37:09 2016 * Verifying instance status
260 43 Dmitry Chernyak
Tue Jun 28 18:37:10 2016 * Verifying orphan volumes
261 43 Dmitry Chernyak
Tue Jun 28 18:37:10 2016 * Verifying N+1 Memory redundancy
262 43 Dmitry Chernyak
Tue Jun 28 18:37:10 2016 * Other Notes
263 43 Dmitry Chernyak
Tue Jun 28 18:37:10 2016 * Hooks Results
264 43 Dmitry Chernyak
Node              DTotal DFree MTotal MNode MFree Pinst Sinst
265 43 Dmitry Chernyak
gnt-1.example.sci 101.2G 82.2G   3.9G  1.5G  2.4G     0     0
266 43 Dmitry Chernyak
gnt-2.example.sci 101.3G 81.3G   3.9G  1.5G  2.4G     0     0
267 43 Dmitry Chernyak
If all is ok, proceed with sci-setup sci
268 43 Dmitry Chernyak
</pre>
269 43 Dmitry Chernyak
270 43 Dmitry Chernyak
h2. Создать управляющую виртуальную машину.
271 43 Dmitry Chernyak
272 43 Dmitry Chernyak
На первом узле запустите
273 43 Dmitry Chernyak
<pre>
274 43 Dmitry Chernyak
sci-setup sci
275 43 Dmitry Chernyak
</pre>
276 43 Dmitry Chernyak
277 43 Dmitry Chernyak
Если хотите, чтобы внутренний DNS кластера использовал DNS вашей компании как форвардеры (обращался к ним при резолве внешних адресов), то запустите команду следующим образом:
278 43 Dmitry Chernyak
<pre>
279 43 Dmitry Chernyak
sci-setup sci -d
280 43 Dmitry Chernyak
</pre>
281 43 Dmitry Chernyak
282 43 Dmitry Chernyak
Без @-d@ внутренний DNS кластера будет резолвить интернет-адреса напрямую через корневые серверы Интернет.
283 43 Dmitry Chernyak
284 43 Dmitry Chernyak
Конфигуратор попросит указать адрес управляющей ВМ в LAN:
285 43 Dmitry Chernyak
<pre>
286 43 Dmitry Chernyak
root@gnt-1:~# sci-setup sci
287 43 Dmitry Chernyak
Set sci LAN IP or enter "none" and press ENTER: 
288 43 Dmitry Chernyak
</pre> 
289 43 Dmitry Chernyak
290 43 Dmitry Chernyak
Укажите свободный статический IP в LAN (в примере: 192.168.11.2).
291 43 Dmitry Chernyak
292 43 Dmitry Chernyak
После успешного прохождения всех проверок, на экране будут показаны параметры конфигурации управляющей ВМ.
293 43 Dmitry Chernyak
<pre>
294 43 Dmitry Chernyak
Creating service machine sci
295 43 Dmitry Chernyak
IP: 10.101.200.2 on backbone
296 43 Dmitry Chernyak
Second network device: lan
297 43 Dmitry Chernyak
Second network IP: 192.168.11.2
298 43 Dmitry Chernyak
Proceed with sci VM creation [y/n]?
299 43 Dmitry Chernyak
</pre>
300 43 Dmitry Chernyak
301 43 Dmitry Chernyak
Если все правильно, введите "y" и нажмите ENTER для создания ВМ.
302 43 Dmitry Chernyak
<pre>
303 43 Dmitry Chernyak
Adding sci to /etc/hosts
304 43 Dmitry Chernyak
Tue Jun 28 18:44:02 2016 * creating instance disks...
305 43 Dmitry Chernyak
Tue Jun 28 18:44:09 2016 adding instance sci to cluster config
306 43 Dmitry Chernyak
Tue Jun 28 18:44:13 2016  - INFO: Waiting for instance sci to sync disks
307 43 Dmitry Chernyak
Tue Jun 28 18:44:13 2016  - INFO: - device disk/0:  2.10% done, 2m 27s remaining (estimated)
308 43 Dmitry Chernyak
Tue Jun 28 18:45:13 2016  - INFO: - device disk/0: 39.90% done, 1m 31s remaining (estimated)
309 43 Dmitry Chernyak
Tue Jun 28 18:46:14 2016  - INFO: - device disk/0: 78.20% done, 34s remaining (estimated)
310 43 Dmitry Chernyak
Tue Jun 28 18:46:48 2016  - INFO: - device disk/0: 100.00% done, 0s remaining (estimated)
311 43 Dmitry Chernyak
Tue Jun 28 18:46:48 2016  - INFO: Instance sci's disks are in sync
312 43 Dmitry Chernyak
Tue Jun 28 18:46:48 2016 * running the instance OS create scripts...
313 43 Dmitry Chernyak
Tue Jun 28 18:49:42 2016 * starting instance...
314 43 Dmitry Chernyak
</pre>
315 43 Dmitry Chernyak
316 43 Dmitry Chernyak
h2. Поздравляем! В вашем кластере создана первая виртуальная машина!
317 43 Dmitry Chernyak
318 43 Dmitry Chernyak
После запуска, ВМ sci автоматически производит донастройку узлов кластера и становится для них сервером DNS. Операция занимает в среднем 5-10 минут.
319 43 Dmitry Chernyak
320 43 Dmitry Chernyak
Попробуйте команды:
321 43 Dmitry Chernyak
<pre>
322 43 Dmitry Chernyak
gnt-instance list
323 43 Dmitry Chernyak
gnt-instance info sci
324 43 Dmitry Chernyak
gnt-cluster verify
325 43 Dmitry Chernyak
ssh sci
326 43 Dmitry Chernyak
</pre>
327 43 Dmitry Chernyak
328 48 Dmitry Chernyak
h2. Операции
329 46 Dmitry Chernyak
330 43 Dmitry Chernyak
Как управлять кластером и создать новые виртуальные машины читайте в разделе [[ОПЕРАЦИИ]]
331 46 Dmitry Chernyak
332 46 Dmitry Chernyak
----
333 1 Dmitry Chernyak
334 1 Dmitry Chernyak
[[УСТАНОВКА - версия до 2.3 включительно]]