Modifications pour le document Mettre à jour pgsql sur pgsql-prod
Modifié par Gaetan RETEL le 2025/10/05 00:22
Depuis la version 10.1
modifié par Gaetan RETEL
sur 2025/03/12 14:06
sur 2025/03/12 14:06
Commentaire de modification :
Il n'y a aucun commentaire pour cette version
À la version 2.1
modifié par Gaetan RETEL
sur 2025/03/12 01:58
sur 2025/03/12 01:58
Commentaire de modification :
Il n'y a aucun commentaire pour cette version
Résumé
-
Propriétés de la Page (1 modifications, 0 ajouts, 0 suppressions)
Détails
- Propriétés de la Page
-
- Contenu
-
... ... @@ -1,23 +1,19 @@ 1 -Après avoir galéré sur la mise à jour de postgreSQL sur [[pgsql-prod>>doc:Services.PostgreSQL.WebHome]], j'ai prisle partide noter ici les étapes à suivre pour une upgrade sans histoire.1 +Après avoir galéré sur la mise à jour de postgreSQL sur [[pgsql-prod>>doc:Services.PostgreSQL.WebHome]], j'ai décidé de noter ici les étapes à suivre pour une upgrade sans histoire. 2 2 3 -Les commandes listées ci dessous seront celle sde la version que j'ai installée.3 +Les commandes listées ci dessous seront celle de la version que j'ai installé. 4 4 5 5 6 - {{toc/}}6 +=== Précautions à prendre === 7 7 8 +Avant de toucher à la BDD on va évidemment faire une sauvegarde, pour pouvoir remettre en état en cas de pépin. Pour cela on peut utiliser {{code language="none"}}pg_dumpall{{/code}}. Pour cela on va faire deux sauvegarde, une avec le flag {{code language="none"}}--globals-only{{/code}} pour récupérer les users/roles/etc, et une autre pour récupérer les BDDs. 8 8 10 +(% class="box warningmessage" %) 11 +((( 12 +Attention, la commande pg_dumpall ne fait qu'un dump du cluster par défaut (port 5432), il va donc falloir l'exécuter pour chaque cluster 13 +))) 9 9 10 - 11 -== Précautions à prendre == 12 - 13 -Avant de toucher à la BDD on va évidemment faire une sauvegarde, pour pouvoir remettre en état en cas de pépin. Pour cela on peut utiliser {{code language="none"}}pg_dumpall{{/code}}. Il va falloir faire deux sauvegarde, une avec le flag {{code language="none"}}--globals-only{{/code}} pour récupérer les users/roles/etc, et une autre pour récupérer les BDDs. 14 - 15 -{{warning}} 16 -La commande pg_dumpall ne fait qu'un dump du cluster par défaut (port 5432), il va donc falloir l'exécuter pour chaque cluster. 17 -{{/warning}} 18 - 19 19 (% class="wikigeneratedid" %) 20 -Pour voir les différents clusters présents, utilise zla commande {{code language="none"}}pg_lsclusters{{/code}}. La sortie inclura plusieurs information importantes, comme la version pgsql utilisé par chaque cluster, et son port.16 +Pour voir les différents clusters présents, utiliser la commande {{code language="none"}}pg_lsclusters{{/code}}. La sortie inclura plusieurs information importantes, comme la version pgsql utilisé par chaque cluster, et son port. 21 21 22 22 (% class="wikigeneratedid" %) 23 23 Pour vérifier qu'il y a de la place sur la VM on peut utiliser {{code language="none"}}df -h{{/code}} et regarder la place sur ce qui est monté sur / , le dump des BDD du cluster main faisait 1.3G dans mon cas. ... ... @@ -26,278 +26,108 @@ 26 26 ((( 27 27 (% class="box" %) 28 28 ((( 29 -su - postgres -c "pg_dumpall -U postgres -p <port>" > /var/backups/pgsql_<name>_backup.sql25 +su - postgres -c "pg_dumpall -U postgres -p 5432" > /var/backups/pgsql_main_backup.sql 30 30 31 -su - postgres -c "pg_dumpall ~-~-globals-only -U postgres -p <port>" > /var/backups/pgsql_<name>_globals_backup.sql27 +su - postgres -c "pg_dumpall ~-~-globals-only -U postgres -p 5432" > /var/backups/pgsql_main_globals_backup.sql 32 32 ))) 33 33 ))) 34 34 35 -{{info}} 36 -Pensez à copier les sauvegardes sur une autre machine en cas de problème sur la VM, on ne sait jamais. Pour la copier sur votre machine dans ./pgsql/ utilisez par exemple : 37 -{{/info}} 38 - 39 -(% class="box" %) 31 +(% class="box warningmessage" %) 40 40 ((( 41 -(% class="box" %) 42 -((( 43 -scp -J root@atilla.org pgsql-prod.prod.infra:/var/backups/pgsql_main_backup.sql ./pgsql/ 33 +Penser à copier les sauvegardes sur une autre machine en cas de problème sur la VM, on ne sait jamais. Pour la copier sur votre machine dans pgsql/ utiliser par exemple : 44 44 ))) 45 -))) 46 46 47 -{{info}} 48 -Vous pouvez voir s'il est nécessaire d'installer de nouveaux packages pour la version que vous voulez installer en tapant {{code language="none"}}dpkg -l | grep postgresql{{/code}} 49 -{{/info}} 50 - 51 - 52 - 53 - 54 -== Préparation des nouveaux clusters == 55 - 56 -pour créer les nouveaux clusters, il faut commencer par regarder comment sont faits les anciens, pour qu'ils soient compatibles entre eux. L'encodage et le collationnement/type de caractères doivent être identiques. 57 - 58 -{{info}} 59 -on peut trouver les informations nécessaires en affichant les BDDs de chaque clusters : 60 -{{/info}} 61 - 62 62 (% class="box" %) 63 63 ((( 64 64 (% class="box" %) 65 65 ((( 66 -sudo -u postgres psql -p <port> 67 - 68 -\l 40 +scp -J root@atilla.org pgsql-prod.prod.infra:/var/backups/pgsql_main_backup.sql ./pgsql/ 69 69 ))) 70 70 ))) 71 71 72 -Si vous n'avez jamais touché à postgreSQL, la commande pour sortir du terminal est \q 73 73 74 -Ici, l'encodage est UTF-8 et le reste en C. Pour créer un cluster "main" utilisant pgsql 14 la commande est donc 45 +(% class="wikigeneratedid" %) 46 +Pour vérifier les packages installés, utiliser la commande 75 75 76 76 (% class="box" %) 77 77 ((( 78 78 (% class="box" %) 79 79 ((( 80 -pg _createcluster~-~-locale=C~-~-encoding=UTF8 14 main52 +dpkg -l | grep postgresql 81 81 ))) 82 82 ))) 83 83 84 84 57 +=== Préparation des nouveaux clusters === 85 85 86 - Onvatiliser la commande{{codelanguage="none"}}pg_upgrade{{/code}} pourmigrerlesdonnées,il va falloir utiliserpas maldeflagsavecdesarguments,n'oubliezpasde[[lire ladoc>>https://www.postgresql.org/docs/15/pgupgrade.html]].59 +pour créer les nouveaux clusters, il faut commencer par regarder comment sont faits les anciens, pour qu'ils soient compatibles entre eux. L'encodage et le collationnement/type de caractères doivent être identiques. 87 87 88 - 89 -Afin de pouvoir lancer la commande, il va falloir stopper postgreSQL : 90 - 91 -(% class="box" %) 61 +(% class="box infomessage" %) 92 92 ((( 93 -(% class="box" %) 94 -((( 95 -systemctl stop postgresql 63 +on peut trouver les informations nécessaires en affichant les BDDs de chaque clusters : 96 96 ))) 97 -))) 98 98 99 -Vous pouvez vous assurer avec la commande suivante que tout est bien à l'arrêt, sinon {{code language="none"}}pg_upgrade{{/code}} retournera des erreurs : 100 - 101 101 (% class="box" %) 102 102 ((( 103 103 (% class="box" %) 104 104 ((( 105 -ps -ef | grep postgres 106 -))) 107 -))) 70 +sudo -u postgres psql -p 5432 108 108 109 -La seule tâche qui devrait apparaître est celle lancé par root, par exemple : 110 - 111 -(% class="box" %) 112 -((( 113 -root 5860 0.0 0.1 6356 2172 pts/0 S+ 15:42 0:00 grep ~-~-color=auto postgres 72 +\l 114 114 ))) 115 - 116 -Si vous voyez une ligne avec une tâche lancée par postgres, il faut l'arrêter. Voilà quelques commandes utiles : 117 - 118 - 119 -La commande suivante permet de stopper un cluster spécifique d'une version pgsql donnée : {{code language="none"}}pg_ctlcluster 13 main stop{{/code}} (% id="cke_bm_63735S" style="display:none" %) (%%)(ou de démarrer avec {{code language="none"}}start{{/code}}) 120 - 121 -S'il y a toujours des tâches liés à postgres/des clusters qui tournent, vous pouvez forcer leur arrêt avec cette commande en indiquant leur PID (dans l'exemple avec root plus tôt, le PID est 5860) : {{code language="none"}}kill -9 <PID>{{/code}} 122 - 123 - 124 -Une fois les processus stoppés, on peut lancer la commande. 125 - 126 -Pour passer de la version x à la version y, il faut le path des dossiers des exécutables et de data des version x et y, ainsi que le path du fichier .conf de postgres de chaque version. 127 - 128 - 129 -Avant de lancer la commande, on notera l'existence du flag {{code language="none"}}--check{{/code}}, dont on ne manquera pas de se servir. 130 - 131 -Pour la version 13 à 14, il faut donc taper pour lancer les vérifications : 132 - 133 -(% class="box" %) 134 -((( 135 -(% class="box" %) 136 -((( 137 -/usr/lib/postgresql/14/bin/pg_upgrade -b /usr/lib/postgresql/13/bin -B /usr/lib/postgresql/14/bin -d /var/lib/postgresql/13/main -D /var/lib/postgresql/14/main -o '-c config_file=/etc/postgresql/13/main/postgresql.conf' -O '-c config_file=/etc/postgresql/14/main/postgresql.conf' ~-~-check 138 138 ))) 139 -))) 140 140 141 -(% class="box infomessage" %) 142 -((( 143 -À ce stade là, s'il y a des problèmes, google est votre ami. 144 -))) 76 +Si comme moi vous n'avez jamais touché à postgreSQL, la commande pour sortir du terminal est \q 145 145 78 +Dans mon cas, l'encodage est UTF-8 et le reste en C. Pour créer un cluster "main" utilisant pgsql 14 la commande est donc 146 146 147 - 148 - 149 -== Lancer l'upgrade == 150 - 151 -Si la commande avec le flag {{code language="none"}}--check{{/code}} à réussi, il n'y a plus qu'à la lancer sans. Pour autant, une erreur peut toujours survenir. Vérifiez une nouvelle fois que des tâches n'ont pas été redémarrées comme expliqué dans la précédente section. 152 - 153 -Assurez-vous qu'il y ait suffisamment de place sur la VM, toujours avec {{code language="none"}}df -h{{/code}}, les nouveaux clusters de la version 14 ont pris ~~5G. 154 - 155 -{{error}} 156 -Pour la suite, lisez bien TOUTES les infos avant de vous lancer dans les commandes des différents clusters, au risque de perdre des informations. 157 -{{/error}} 158 - 159 159 (% class="box" %) 160 160 ((( 161 161 (% class="box" %) 162 162 ((( 163 - /usr/lib/postgresql/14/bin/pg_upgrade-b /usr/lib/postgresql/13/bin -B /usr/lib/postgresql/14/bin-d /var/lib/postgresql/13/main -D /var/lib/postgresql/14/main-o '-c config_file=/etc/postgresql/13/main/postgresql.conf' -O '-c config_file=/etc/postgresql/14/main/postgresql.conf'84 +pg_createcluster ~-~-locale=C ~-~-encoding=UTF8 14 main 164 164 ))) 165 165 ))) 166 166 167 -Il va donc falloir upgrader chaque cluster comme fait ci dessus, en remplaçant évidemment par le nom des clusters qui vous concernent. 168 168 169 -{{warning}} 170 -Attention, à la fin de l'upgrade d'un cluster, des fichiers vont être générés dans /var/lib/postgresql, comme vous en informera la sortie de la commande. 171 -Si vous lancez l'upgrade de plusieurs clusters d'affilé, les fichiers du 2è clusters écraseront ceux du premier. Veillez à les récupérer avant, et à noter quel fichier correspond à quel cluster. 172 -{{/warning}} 89 +On va utiliser la commande {{code language="none"}}pg_upgrade{{/code}} pour migrer les données, il va falloir utiliser pas mal de flags avec des arguments, n'oubliez pas de [[lire la doc>>https://www.postgresql.org/docs/15/pgupgrade.html]]. 173 173 174 -{{error}} 175 -Ne pas exécuter les fichiers générés par la commande immédiatement 176 -{{/error}} 91 +Pour passer de la version x à la version y, il faut le path des dossiers des exécutables et de data des version x et y, ainsi que le path du fichier .conf de postgres de chaque version. 177 177 178 178 94 +Avant de lancer la commande, on notera l'existence du flag ~-~-check, dont on ne manquera pas de se servir. 179 179 96 +Pour la version 13 à 14, il faut donc taper pour lancer les vérifications 180 180 181 -== Mise en place des nouveaux clusters == 182 - 183 -Une fois les nouveaux clusters terminés et les données migrées, il va falloir terminer la configuration. 184 - 185 -Ouvrez le fichier de configuration {{code language="none"}}pg_hba.conf{{/code}} de l'ancienne version, situé dans {{code language="none"}}/etc/postgresql/<old_version>/<cluster_name>/{{/code}}. À la fin du fichier, copiez la partie sur le login pour les BDDs, dont le début est indiqué par la ligne 186 - 187 187 (% class="box" %) 188 188 ((( 189 -# Database administrative login by Unix domain socket 190 -))) 191 - 192 -Collez ces informations au même endroit dans le fichier de la nouvelle version, {{code language="none"}}/etc/postgresql/<new_version>/<cluster_name>/pg_hba.conf{{/code}}. 193 - 194 -{{warning}} 195 -N'oubliez pas de faire cette opérations pour chaque cluster 196 -{{/warning}} 197 - 198 - 199 - 200 -Si vous souhaitez garder les anciens clusters pour l'instant en cas de besoin, attribuez leurs des ports non utilisés. Paramétrez les ports de nouveaux clusters pour qu'il correspondent aux ports des anciens, sinon les services utilisant pgsql-prod ne pourront plus se connecter à leur BDD. 201 - 202 -Si vous souhaitez supprimer les anciens clusters, vous pouvez maintenant le faire en exécutant les fichiers {{code language="none"}}delete_old_cluster.sh{{/code}} qui ont été générés par {{code language="none"}}pg_upgrade{{/code}}. Ils ne contiennent d'ailleurs que la commande {{code language="none"}}rm -rf '/var/lib/postgresql/<version>/<cluster_name>'{{/code}}. 203 - 204 - 205 - 206 -Ouvrez ensuite le fichier {{code language="none"}}/etc/postgresql/<new_version>/<cluster_name>/postgresql.conf{{/code}} de la nouvelle version. Il faut configurer les ports des clusters, et autoriser les connexions. 207 - 208 -Dans ce cas, le cluster main est au 5432 et le gitlab au 5433, donc dans {{code language="none"}}/etc/postgresql/<new_version>/gitlab/postgresql.conf{{/code}} je cherche et modifie la ligne : 209 - 210 210 (% class="box" %) 211 211 ((( 212 -port =5433102 +/usr/lib/postgresql/14/bin/pg_upgrade -b /usr/lib/postgresql/13/bin -B /usr/lib/postgresql/14/bin -d /var/lib/postgresql/13/main -D /var/lib/postgresql/14/main -o '-c config_file=/etc/postgresql/13/main/postgresql.conf' -O '-c config_file=/etc/postgresql/14/main/postgresql.conf' ~-~-check 213 213 ))) 214 - 215 -il faut également autoriser les connexions, cherchez et modifiez la ligne : 216 - 217 -(% class="box" %) 218 -((( 219 -listen_addresses = '*' 220 220 ))) 221 221 222 -{{warning}} 223 -N'oubliez pas de faire cette opérations pour chaque cluster 224 -{{/warning}} 225 - 226 - 227 - 228 - 229 -== Mises à jour et optimisations == 230 - 231 -Un fichier {{code language="none"}}update_extensions.sql{{/code}} a été généré par chaque commande {{code language="none"}}pg_upgrade{{/code}} lancée, on va maintenant pouvoir l'exécuter, ou lancer les commandes à la main. Pourquoi à la main ? Car de toute façon il est également fortement conseillé de ré-indexer les différentes BDDs de chaque clusters, ce qui demande d'accéder à toute les BDDs. Si l'envie vous prend de créer un script et automatiser ça, faites-vous plaisir. 232 - 233 -Il va donc falloir se rendre dans chaque cluster : 234 - 235 -(% class="box" %) 106 +(% class="box infomessage" %) 236 236 ((( 237 -(% class="box" %) 238 -((( 239 -sudo -u postgres psql -p <port> 108 +À ce stade là s'il y a des problèmes, google est votre ami. 240 240 ))) 241 -))) 242 242 243 -De là, on peut afficher les différente BDDs avec {{code language="none"}}\l{{/code}} et se connecter à chaque BDD pour les réindexer. Exemple avec la BDD postgres : 244 244 245 -(% class="box" %) 246 -((( 247 -(% class="box" %) 248 -((( 249 -\c postgres 112 +=== Lancer l'upgrade === 250 250 251 -REINDEX DATABASE postgres; 252 -))) 253 -))) 114 +Si la commande avec le flag ~-~-check à réussi, il n'y a plus qu'à la lancer sans. Pour autant, une erreur peut toujours survenir. 254 254 255 -Si pour ce cluster le fichier {{code language="none"}}update_extensions.sql{{/code}} généré par {{code language="none"}}pg_upgrade{{/code}} pour ce cluster indiquait une mise à jour d'extension, on peut en même temps copier coller la commande qui pourrait par exemple être : 256 - 257 -(% class="box" %) 116 +(% class="box errormessage" %) 258 258 ((( 259 - ALTEREXTENSION"pg_trgm"UPDATE;118 +Pour la suite, lisez bien TOUTES les infos avant de vous lancer dans les commandes des différents clusters, sinon vous risquez de devoir recommencer. 260 260 ))) 261 261 262 - 263 - 264 - 265 -== Redémarrer postgreSQL == 266 - 267 -Une fois tout cela fait, il ne reste plus qu'à redémarrer postgreSQL : 268 - 269 269 (% class="box" %) 270 270 ((( 271 271 (% class="box" %) 272 272 ((( 273 -s ystemctl start postgresql125 +/usr/lib/postgresql/14/bin/pg_upgrade -b /usr/lib/postgresql/13/bin -B /usr/lib/postgresql/14/bin -d /var/lib/postgresql/13/main -D /var/lib/postgresql/14/main -o '-c config_file=/etc/postgresql/13/main/postgresql.conf' -O '-c config_file=/etc/postgresql/14/main/postgresql.conf' 274 274 ))) 275 275 ))) 276 276 277 -On peut ensuite vérifier avec la commande {{code language="none"}}pg_lsclusters{{/code}} que les deux nouveaux clusters sont opérationnels. 278 - 279 - 280 - 281 -Une commande utile pour le débogage est {{code language="none"}}lsof -i{{/code}}. Cette commande permet d'afficher les connexions actuelles. Il devrait y avoir parmi les résultats quelque chose du genre : 282 - 283 -(% class="box" %) 284 -((( 285 -postgres 220900 postgres 5u IPv4 4457404 0t0 TCP *:postgresql (LISTEN) # pour le port par défaut (5432) de postgres 286 -postgres 220900 postgres 6u IPv6 4457405 0t0 TCP *:postgresql (LISTEN) 287 - 288 -postgres 220901 postgres 5u IPv4 4457515 0t0 TCP *:5433 (LISTEN) # pour le cluster gitlab au 5433 289 -postgres 220901 postgres 6u IPv6 4457516 0t0 TCP *:5433 (LISTEN) 290 - 291 -postgres 414816 postgres 9u IPv4 7792005 0t0 TCP pgsql-prod.prod.infra.atilla.org->gitlab-prod.prod.infra.atilla.org (ESTABLISHED) # pour les machines et VM connectés, exemple avec le gitlab 292 -))) 293 - 294 -{{success}} 295 -Il ne reste plus qu'a vérifier si les services ayant leur BDDs sur pgsql-prod sont repartis normalement. 296 -{{/success}} 297 - 298 -{{info}} 299 -Dans le cas de ce wiki, il y a eu des problèmes avec la macro children après passage sur pgsql 14. Après un redémarrage de tomcat9 sur xwiki-prod et une mise à jour via une connexion avec le compte admin (cf le teampass), le problème s'est résolu. Impossible de savoir laquelle des deux actions a résolu ledit problème, elles ont été faite en même temps. 300 -{{/info}} 301 - 302 -(% class="wikigeneratedid" %) 303 303