Проект

Общее

Профиль

Апгрейд с wheezy на stretch (2x до 3х) » История » Версия 21

Владимир Ипатов, 19.01.2020 23:10

1 6 Владимир Ипатов
h1. Апгрейд с wheezy на stretch (2.x до 3.х)
2 1 Владимир Ипатов
3 1 Владимир Ипатов
Данный апгрейд может проводиться с минимальным простоем, т.к. внутри одного кластера могут успешно работать узлы версии 2.х и 3.х, в том числе работает репликация DRBD между узлами версии 2.х и 3.х
4 1 Владимир Ипатов
5 1 Владимир Ипатов
В случае Linux виртуальных машин требуется только одна перезагрузка при переносе с 2.x узла на 3.х узла.
6 1 Владимир Ипатов
7 1 Владимир Ипатов
В случае Windows виртуальных машин иногда требуется однократная загрузка в безопасном режиме и/или заход под пользователем в локальную консоль виртуальной машины для установки "нового" эмулируемого диска и сетевой карты.
8 1 Владимир Ипатов
9 1 Владимир Ипатов
h2. Общая процедура апгрейда
10 1 Владимир Ипатов
11 1 Владимир Ипатов
1) обновляются все резервные узлы кластера. Это можно сделать обновлением дистрибутива (см. выше) или переустановкой узлов с нуля. Переустановка узлов с нуля - менее сложный процесс, но более длительный, т.к. придется заново ресинкать все тома всех виртуальных машин.
12 1 Владимир Ипатов
2) после обновления всех резервных узлов делаются настройки кластера, позволяющие работать в смешанном окружении. Смешанный кластер до момента перенастройки не может выполнять операции по старту/остановке виртуальных машин, их переносу, перенастройке и т.д.
13 1 Владимир Ипатов
3) все виртуальные машины переносятся на резервные узлы, их проверяется работоспособность.
14 1 Владимир Ипатов
4) обновляются узлы второй половины кластера.
15 1 Владимир Ипатов
16 1 Владимир Ипатов
h2. Апгрейд узла
17 1 Владимир Ипатов
18 1 Владимир Ипатов
Для апгрейда узла два способа:
19 1 Владимир Ипатов
1) Переустановка узла (легкий, но долгий путь, требует ресинка дрбд на всех виртуальных машинах)
20 1 Владимир Ипатов
2) Обновление пакетов (трудоемкий путь, но позволяет быстрее выполнить миграцию, не требует ресинка дрбд)
21 1 Владимир Ипатов
22 1 Владимир Ипатов
h3. Переустановка узла
23 1 Владимир Ипатов
24 1 Владимир Ипатов
Для апгрейда с переустановкой узла требуется:
25 1 Владимир Ипатов
26 1 Владимир Ипатов
1) сохранить содержимое файла /etc/network/interfaces и /etc/hostname на обновляемом узле
27 1 Владимир Ипатов
2) загрузиться с флешки/диска и установить на обновляемый узел SkyCover 3.x. При этом нужно при установке ввести такой же lan ip, хостнейм, домен, какой был. подробнее: [[УСТАНОВКА]]
28 1 Владимир Ипатов
3) настроить конфиг сетевых интерфейсов /etc/network/interfaces, используя сохраненное содержимое, перезапустить сеть с помощью service networking restart.
29 1 Владимир Ипатов
4) порядок сетевых интерфейсов мог поменяться, проверить пинг до мастера через backbone, lan и т.д. Если что-то не совпадает, то, отключая кабель по одному сетевому интерфейсу и запуска ip link show (показывает, где нет линка) идентифицировать сетевые интерфейсы и переназначить их в /etc/network/interfaces, перезапустить сеть
30 1 Владимир Ипатов
5) с мастера выполнить команды:
31 1 Владимир Ипатов
<pre>
32 1 Владимир Ипатов
gnt-node add --readd ХОСТНЕЙМ
33 1 Владимир Ипатов
gnt-cluster redist-conf
34 1 Владимир Ипатов
</pre>
35 1 Владимир Ипатов
36 1 Владимир Ипатов
h3. Обновление пакетов
37 1 Владимир Ипатов
38 3 Владимир Ипатов
Обновление пакетов идет в 2 приема. с Wheezy на Jessie, с Jessie на Stretch.
39 3 Владимир Ипатов
После обновления с Wheezy на Jessie узел будет в неработособном состоянии, так что оба обновления нужно делать сразу один за другим.
40 3 Владимир Ипатов
41 3 Владимир Ипатов
Отключаем puppet:
42 3 Владимир Ипатов
service puppet stop
43 3 Владимир Ипатов
в /etc/default/puppet прописываем START=no
44 3 Владимир Ипатов
45 3 Владимир Ипатов
Перенастраиваем apt:
46 3 Владимир Ипатов
47 3 Владимир Ипатов
меняем содержимое /etc/apt/sources.list.
48 3 Владимир Ипатов
было:
49 3 Владимир Ипатов
<pre>
50 3 Владимир Ипатов
#
51 3 Владимир Ипатов
# stable
52 3 Владимир Ипатов
#
53 3 Владимир Ипатов
deb http://archive.debian.org/debian wheezy main
54 3 Владимир Ипатов
deb http://archive.debian.org/debian-security wheezy/updates main
55 3 Владимир Ипатов
#
56 3 Владимир Ипатов
# backports
57 3 Владимир Ипатов
#
58 3 Владимир Ипатов
deb http://archive.debian.org/debian/ wheezy-backports main
59 3 Владимир Ипатов
</pre>
60 3 Владимир Ипатов
61 3 Владимир Ипатов
стало:
62 3 Владимир Ипатов
<pre>
63 3 Владимир Ипатов
#
64 3 Владимир Ипатов
# stable
65 3 Владимир Ипатов
#
66 17 Владимир Ипатов
deb http://archive.debian.org/debian jessie main
67 3 Владимир Ипатов
#
68 3 Владимир Ипатов
# backports
69 3 Владимир Ипатов
#
70 3 Владимир Ипатов
deb http://archive.debian.org/debian/ jessie-backports main
71 3 Владимир Ипатов
</pre>
72 3 Владимир Ипатов
73 3 Владимир Ипатов
меняем содержимое /etc/apt/apt.conf.d/99stable
74 3 Владимир Ипатов
<pre>
75 3 Владимир Ипатов
APT::Default-Release "jessie";
76 3 Владимир Ипатов
</pre>
77 3 Владимир Ипатов
78 3 Владимир Ипатов
меняем содержимое /etc/apt/sources.list.d/sci-dev.list
79 3 Владимир Ипатов
<pre>
80 3 Владимир Ипатов
deb http://sci-dev.skycover.ru/apt stretch main
81 3 Владимир Ипатов
</pre>
82 3 Владимир Ипатов
83 3 Владимир Ипатов
скачиваем и устанавливаем новый ключ для sci-dev:
84 3 Владимир Ипатов
<pre>
85 4 Владимир Ипатов
wget -O- http://sci-dev.skycover.ru/apt/stretch.pub|apt-key add -
86 4 Владимир Ипатов
</pre>
87 4 Владимир Ипатов
88 4 Владимир Ипатов
добавляем новый файл /etc/apt/apt.conf.d/10ignore-expired-release
89 4 Владимир Ипатов
<pre>
90 4 Владимир Ипатов
Acquire::Check-Valid-Until "0";
91 4 Владимир Ипатов
</pre>
92 4 Владимир Ипатов
93 20 Владимир Ипатов
Обновляем дистрибутив:
94 1 Владимир Ипатов
95 20 Владимир Ипатов
<pre>
96 20 Владимир Ипатов
aptitude update
97 20 Владимир Ипатов
aptitude full-upgrade
98 20 Владимир Ипатов
</pre>
99 4 Владимир Ипатов
100 4 Владимир Ипатов
После успешного апгрейда перезагружаемся.
101 4 Владимир Ипатов
102 4 Владимир Ипатов
Перенастраиваем apt еще раз
103 4 Владимир Ипатов
/etc/apt/sources.list:
104 4 Владимир Ипатов
<pre>
105 4 Владимир Ипатов
deb http://ftp.debian.org/debian stretch main contrib non-free
106 4 Владимир Ипатов
deb http://ftp.debian.org/debian stretch-updates main contrib non-free
107 4 Владимир Ипатов
deb http://ftp.debian.org/debian stretch-backports main contrib non-free
108 4 Владимир Ипатов
</pre>
109 4 Владимир Ипатов
/etc/apt/apt.conf.d/99stable:
110 4 Владимир Ипатов
<pre>
111 4 Владимир Ипатов
APT::Default-Release "stretch";
112 3 Владимир Ипатов
</pre>
113 3 Владимир Ипатов
114 1 Владимир Ипатов
обновляемся до stretch:
115 5 Владимир Ипатов
116 20 Владимир Ипатов
<pre>
117 1 Владимир Ипатов
aptitude update
118 5 Владимир Ипатов
aptitude full-upgrade
119 20 Владимир Ипатов
</pre>
120 5 Владимир Ипатов
121 10 Владимир Ипатов
перезагрузка
122 5 Владимир Ипатов
123 10 Владимир Ипатов
124 5 Владимир Ипатов
проверяем версии пакетов:
125 14 Владимир Ипатов
dpkg -l|grep ganeti - должны быть 2.15-sciX, instance-debootstrap должн быть 0-16-sciX
126 5 Владимир Ипатов
127 19 Владимир Ипатов
если версии не совпадают, обновить из репозитория sci-dev.skycover.ru/apt
128 19 Владимир Ипатов
если присутствуют ganeti-2.12 в удаленном виде, рекомендуется их вычистить:
129 19 Владимир Ипатов
<pre>
130 19 Владимир Ипатов
aptitude purge ganeti-2.12 ganeti-haskell-2.12 ganeti-htools-2.12
131 19 Владимир Ипатов
</pre>
132 1 Владимир Ипатов
133 5 Владимир Ипатов
если в процессе обновления qemu и qemu-system остались в версии wheezy, то следует их обновить руками:
134 20 Владимир Ипатов
<pre>
135 9 Владимир Ипатов
aptitude install qemu qemu-system
136 20 Владимир Ипатов
</pre>
137 15 Владимир Ипатов
если xen 4.8 не установился сам ,то нужно установить руками:
138 15 Владимир Ипатов
<pre>
139 15 Владимир Ипатов
sudo aptitude install xen-hypervisor-4.8-amd64 xen-utils-4.8
140 15 Владимир Ипатов
</pre>
141 10 Владимир Ипатов
142 10 Владимир Ипатов
удалить systemd:
143 10 Владимир Ипатов
144 10 Владимир Ипатов
<pre>
145 10 Владимир Ипатов
apt-get install -y --force-yes sysvinit-core sysvinit-utils
146 10 Владимир Ипатов
cp /usr/share/sysvinit/inittab /etc/inittab
147 10 Владимир Ипатов
перезагрузка
148 10 Владимир Ипатов
apt-get remove -y --force-yes --purge --auto-remove systemd
149 10 Владимир Ипатов
echo -e 'Package: systemd\nPin: release *\nPin-Priority: -1' > /etc/apt/preferences.d/systemd
150 10 Владимир Ипатов
echo -e '\n\nPackage: *systemd*\nPin: release *\nPin-Priority: -1' >> /etc/apt/preferences.d/systemd
151 10 Владимир Ипатов
echo -e '\nPackage: systemd:i386\nPin: release *\nPin-Priority: -1' >> /etc/apt/preferences.d/systemd
152 10 Владимир Ипатов
</pre>
153 9 Владимир Ипатов
154 11 Владимир Ипатов
настраиваем ssh на работу с dss ключами:
155 12 Владимир Ипатов
/etc/ssh/sshd_config:
156 12 Владимир Ипатов
<pre>
157 12 Владимир Ипатов
PubkeyAcceptedKeyTypes=+ssh-dss
158 12 Владимир Ипатов
</pre>
159 12 Владимир Ипатов
/etc/ssh/ssh_config:
160 12 Владимир Ипатов
<pre>
161 12 Владимир Ипатов
    PubkeyAcceptedKeyTypes=+ssh-dss
162 12 Владимир Ипатов
</pre>
163 12 Владимир Ипатов
(отступ должен быть сохранен)
164 21 Владимир Ипатов
<pre>
165 13 Владимир Ипатов
service ssh restart
166 21 Владимир Ипатов
</pre>
167 11 Владимир Ипатов
168 11 Владимир Ипатов
на каждом узле должен быть файл /var/lib/ganeti/rapi/users
169 11 Владимир Ипатов
<pre>
170 11 Владимир Ипатов
scweb СЛУЧАЙНЫЙ_ПАРОЛЬ write
171 11 Владимир Ипатов
</pre>
172 1 Владимир Ипатов
173 16 Владимир Ипатов
переинициализируем паппет:
174 16 Владимир Ипатов
<pre>
175 16 Владимир Ипатов
rm -r /var/lib/puppet/ssl
176 16 Владимир Ипатов
в /etc/default/puppet START=yes
177 16 Владимир Ипатов
puppet agent --enable
178 16 Владимир Ипатов
</pre>
179 16 Владимир Ипатов
также в конфиг следует указать новый паппет мастер для новых паппет агентов, т.к. паппетмастер в wheezy не совместим с агентами stretch.
180 13 Владимир Ипатов
удаляем локальные скрипты старых версий:
181 13 Владимир Ипатов
rm /usr/local/sbin/*
182 13 Владимир Ипатов
устанавливаем доп пакеты sci:
183 21 Владимир Ипатов
<pre>
184 13 Владимир Ипатов
aptitude install sci-web sci-config sci-scripts sci-udev-netrules
185 21 Владимир Ипатов
</pre>
186 5 Владимир Ипатов
187 1 Владимир Ипатов
h2. Перенастройка кластера для работы в смешанном окружении.
188 1 Владимир Ипатов
189 1 Владимир Ипатов
Смешанный кластер до момента перенастройки не может выполнять операции по старту/остановке виртуальных машин, их переносу, перенастройке и т.д.
190 1 Владимир Ипатов
Суть настроек заключается в том, что в узлах версии 3 больше нет toolstack xm, есть только xl. Поэтому нужно перенастроить все узлы и кластер на использование xl.
191 1 Владимир Ипатов
Также в узлах версии 2.х и 3.х несовпадают некоторые пути, это решается за счет симлинков
192 1 Владимир Ипатов
193 7 Владимир Ипатов
h3. добавление симлинков
194 7 Владимир Ипатов
195 7 Владимир Ипатов
на каждом узле 2.x:
196 7 Владимир Ипатов
<pre>
197 7 Владимир Ипатов
ln -s /usr/lib/xen-4.1 /usr/lib/xen
198 7 Владимир Ипатов
ln -s /usr/lib/xen/bin/qemu-dm /usr/bin/qemu-system-x86_64
199 7 Владимир Ипатов
</pre>
200 7 Владимир Ипатов
201 1 Владимир Ипатов
h3. перенастройка кластера на xl
202 1 Владимир Ипатов
203 7 Владимир Ипатов
на каждом узле 2.х:
204 7 Владимир Ипатов
205 7 Владимир Ипатов
в /etc/xen/xl.conf установить autoballoon=0
206 7 Владимир Ипатов
в /etc/default/xen установить TOOLSTACK=xl
207 7 Владимир Ипатов
service xen restart
208 7 Владимир Ипатов
209 7 Владимир Ипатов
на мастере:
210 7 Владимир Ипатов
211 7 Владимир Ипатов
перенастройка кластера на новые пути:
212 7 Владимир Ипатов
<pre>
213 7 Владимир Ипатов
gnt-cluster modify -H xen-pvm:bootloader_path=/usr/lib/xen/bin/pygrub
214 7 Владимир Ипатов
gnt-cluster modify -H xen-pvm:initrd_path=/boot/initrd.img-xenU
215 7 Владимир Ипатов
gnt-cluster modify -H xen-pvm:kernel_path=/boot/vmlinuz-xenU
216 7 Владимир Ипатов
gnt-cluster modify -H xen-hvm:device_model=/usr/bin/qemu-system-x86_64
217 7 Владимир Ипатов
gnt-cluster modify -H xen-hvm:kernel_path=/usr/lib/xen/boot/hvmloader
218 7 Владимир Ипатов
gnt-cluster modify -H xen-pvm:xen_cmd=xl
219 7 Владимир Ипатов
gnt-cluster modify -H xen-hvm:xen_cmd=xl
220 7 Владимир Ипатов
</pre>
221 1 Владимир Ипатов
222 8 Владимир Ипатов
после всех настроек запустиьт gnt-cluster verify и устранить оставшиеся проблемы.
223 1 Владимир Ипатов
224 1 Владимир Ипатов
h2. перенос виртуальных машин
225 1 Владимир Ипатов
226 2 Владимир Ипатов
перенос следует делать по одной машине, с проверкой работоспособности
227 2 Владимир Ипатов
228 2 Владимир Ипатов
1) произвести failover виртуальной машины:
229 2 Владимир Ипатов
<pre>
230 2 Владимир Ипатов
gnt-instance failover МАШИНА
231 2 Владимир Ипатов
</pre>
232 2 Владимир Ипатов
233 2 Владимир Ипатов
2) проверить работоспособность машины с помощью ping и захода по ssh/rdp
234 2 Владимир Ипатов
235 2 Владимир Ипатов
В случае windows иногда требуется зайти через vnc на локальную консоль виртуальной машины и однократно либо залогиниться юзером, либо зайти в безопасный режим. После чего перезагрузить систему как обычно.
236 2 Владимир Ипатов
237 1 Владимир Ипатов
h2. апгрейд второй половины кластера
238 1 Владимир Ипатов
239 1 Владимир Ипатов
для апгрейда второй половины кластера следует повторить операцию апгрейда узла для оставшихся узлов версии 2.x (процедуру см. выше)