Voir la source de Installer Proxmox V7

====== Installer un hôte Proxmox 7 ======

===== Description =====

Cette fiche décrit les étapes pour l'installation d'un hôte de virtualisation sous Proxmox 7.x
===== Préparation =====

Préparer un serveur physique selon la fiche : [[https://wiki.produhost.net/doku.php?id=exploitation:gestion_actifs_dc#mise_en_rack_d_un_actif|https://wiki.produhost.net/doku.php?id=exploitation:gestion_actifs_dc#mise_en_rack_d_un_actif]]

Attention, la suite des actions est prévue pour être réalisée hors réseau. Si vous faites une installation à distance (via la console IPMI par exemple), assurez vous que le switch que vous utilisez est un switch de distribution (pas un switch de boucle) et que le port du switch sur lequel est connectée votre hôte est **paramètré en UNTAGGED sur le VLAN 10**.
===== Installation de l'OS =====

=== L'installation de l'OS est faite par le technicien qui prépare et rack le matériel ===

Démarrer le serveur sur une clé USB préparer pour installer Proxmox VE 7.x Choisir "Install Proxmox VE" Accepter le "contrat utilisateur final"

=== Etape 1 : Choix du disque d'installation ===

  * Choisir le disque qui recevra l'installation de l'OS
  * Cliquer sur le bouton 'Options'
  * Choisir une partition ext4
  * Saisir une taille de 100Go
  * Valider
  * Bouton 'Next'

=== Etape 2 : Localisation ===

  * Country : Saisir 'france'
  * Time zone : Choisir 'Europe/Paris'
  * Keyboard : Choisir 'French'
  * Bouton 'Next'

=== Etape 3 : Mot de passe ===

  * Saisir un mot de passe root (à enregistrer dans le Vaultwarden)
  * Saisir le mail : support@dri.fr
  * Bouton 'Next'

=== Etape 4 : Réseau ===

  * Sélectionner la carte d'interface
  * Rentrer le 'fqdn' de la machine : dpsxxxxx.produhost.net
  * Conserver la configuration reçus par DHCP (Noter l'IP Attribuée)
  * Bouton 'Next'

=== Etape 5 : Vérifications ===

Vérifier le récapitulatif, cocher reboot automatique et valider par le bouton 'Install'

L'installation continue et se termine toute seule.

===== Configuration de base =====

  * Se connecter à la console en root
  * Modifier les dépôt de mise à jour et ajouter openvswitch :

<code>
rm -f /etc/apt/sources.list.d/pve-enterprise.list
echo "deb http://download.proxmox.com/debian/pve bullseye pve-no-subscription">/etc/apt/sources.list.d/pve-ose.list
apt -y update
apt -y install vim openvswitch-switch

</code>

  * Se connecter à la WebGUI en root (IP notée précédement) : [[https://192.168.x.x:8006/|https://192.168.x.x:8006/]]
  * Configurer le réseau
<code>

Dans le menu Datacenter, dpsxxxxx
Puis le menu Système, Réseau

Sur le vmbr0/Linux Bridge : Notez le nom de la carte connecté (exemple : eno1)
Supprimer le vmbr0/Linux Bridge

Bouton "Créer", OVS Bridge
   * Nom : vmbr0
   * Démarrage auto : coché
   * Port du bridge : la carte réseau connectée (exemple : eno1) + la carte 10G (exemple : enp0f0)
   * Bouton "Créé"
Bouton "Créer", OVS IntPort
   * Nom : admin
   * IPv4 : 10.1x5.x.x/8
   * Passerelle : 10.0.0.254
   * OVS Bridge : vmbr0
   * Tag VLAN : 10
   * Bouton "Créer"

</code>

  * Racker le serveur dans sont emplacement (Port du switch data en mode TAG vlan 10 et 1108 à minimum)
  * Une fois la machine démarrée, se connecter en root via SSH (ssh root@<@IP>)
  * Mettre à jour

<code>
apt -y update && apt -y upgrade
apt -y install tmux

</code>

  * Modifier le swappiness

<code>
echo -e "# vm.swappiness\nvm.swappiness = 1"> /etc/sysctl.d/90-swappiness.conf
sysctl -p --system

</code>

  * Configurer le NTP

<code>
apt -y install systemd-timesyncd
vim /etc/systemd/timesyncd.conf
   ....
   [Time]
   NTP=185.86.178.206
   FallbackNTP=ntp.produhost.net
   ....
systemctl restart systemd-timesyncd.service
timedatectl set-ntp true
timedatectl set-timezone UTC
timedatectl timesync-status

</code>

  * Redémarrer le serveur

<code>
Bouton "Redémarrer" dans le bandeau du haut

</code>

  * Vérifier que l'on à accès à la WebGUI

==== Inventaire dans OCS ====

Afin d'intégrer la nouvelle machine dans l'inventorisation gérée par OCS, il faut installer l'agent OCS selon la procédure suivante [[:si-dri:start:doc_ocs#proxmox|installation OCS agent dans une machine PROXMOX]].

**ATTENTION : Proxmox 7 est sur une base Debian 11, il faut un environnement Python 3 pour le déploiement.**

Il faut au préalable avoir un accès SSH afin de pouvoir utiliser la procédure réalisée via Ansible. \\ La machine doit également avoir accès à Internet.


===== Volume de stockage =====

Deux possibilités validées chez DRI :

  * LVM-THIN : Un volume LVM en thin-provisionning pour stocker les fichiers de VMs (attention pas de réplication prévu avec ce type de stockage) parfait pour un serveur seul.
  * DRBD : Solution de réplication pour deux noeuds (au delà les besoins réseau sont trop contraignants) dans le cas de DRBD, il faut privilégier des interfaces 10Gb sur les noeuds du cluster afin de garantir une bande passante suffisante pour les VMs.

==== LVM-THIN ====

  * Préparer le disque :

<code>
fdisk /dev/sdX
   (UNIQUEMENT si le disque n'a pas d'autres partitions : g (pour create new empty GPT partition))
   n (pour new partition)
   Partition number : ok (prend le numéro à suivre)
   Firts sector : ok (prend le secteur à suivre)
   Last sector : ok (prend le dernier secteur)
   t (pour Toggle partition type)
   Select partition : numéro de la partition précédemment créé (si une seule partition c'est automatique)
   30 (pour Linux LVM)
   w (pour Write information on disk and quit)
partx -u /dev/sdX

</code>

  * Créer le volume LVM :

<code>
pvcreate /dev/sdXn
vgcreate vg_data /dev/sdXn
lvcreate -L xxT --thinpool lv_data vg_data --poolmetadatasize xxxG

</code>

<WRAP center round important 60%> **Taille du disque**  : Ne pas attribuer tous l'espace, laisser environ 5Go de libre. </WRAP> <WRAP center round important 60%> **poolmetadatasize**  : 2Go par To mini, prévoir la possibilité d'extend car non modifiable par la suite. </WRAP>

  * Configuration pour Proxmox :

Très important, le lvmthin doit être initié en : lvm-thin (bonne pratique).
<code>
vim /etc/pve/storage.cfg
...
lvmthin: lvm-thin
    thinpool lv_data
    vgname vg_data
    content rootdir,images
...
</code>

<WRAP center round info 60%>
Pensez à nommer vos volume de façon à reconnaître les SSD (exemple : lvm-thin-SSD)
</WRAP>
==== DRBD ====

FIXME Make Linstor HA : [[https://linbit.com/drbd-user-guide/linstor-guide-1_0-en/#s-linstor_ha|https://linbit.com/drbd-user-guide/linstor-guide-1_0-en/#s-linstor_ha]] and [[https://linbit.com/drbd-user-guide/linstor-guide-1_0-en/#s-proxmox-ls-HA|https://linbit.com/drbd-user-guide/linstor-guide-1_0-en/#s-proxmox-ls-HA]]

Faire un cluster avant de déployer DRBD, cela facilite la configuration (doc ci-dessous : [[https://wiki.produhost.net/doku.php?id=integration:installation:proxmox6#cluster|https://wiki.produhost.net/doku.php?id=integration:installation:proxmox6#cluster]])

<WRAP center round important 60%> **ATTENTION**  Linbit à tendance à produire des mise à jour "trop" vite et mal documenté, si vous rencontrez un problème lors de la mise en place, contacter SebC ou à défaut tentez avec un downgrade des outils linbit. </WRAP>

=== A FAIRE SUR TOUS LES NOEUDS ===

  * Filtrer les volumes DRBD pour LVM, trouver et modifier la ligne global_filter pour y ajouter le filtrage DRBD :
<code>

vim /etc/lvm/lvm.conf
  ...
  global_filter [ ......, "r|/dev/drbd.*|" ]
  ...

</code>

  * Créer le volume LVM pour DRBD
<code>

fdisk /dev/sdX
   (UNIQUEMENT si le disque n'a pas d'autres partitions : g (pour create new empty GPT partition))
   n (pour new partition)
   Partition number : ok (prend le numéro à suivre)
   Firts sector : ok (prend le secteur à suivre)
   Last sector : ok (prend le dernier secteur)
   t (pour Toggle partition type)
   Select partition : numéro de la partition précédemment créé (si une seule partition c'est automatique)
   30 ou 31 (pour Linux LVM)
   w (pour Write information on disk and quit)
partx -u /dev/sdX
pvcreate /dev/sdXn
vgcreate vg_drbd /dev/sdXn
lvcreate -L xxT --thinpool lv_drbd vg_drbd --poolmetadatasize xxxG

</code>

<WRAP center round important 60%> **Taille du disque**  : Ne pas attribuer tous l'espace, laisser environ 5Go de libre. </WRAP> <WRAP center round important 60%> **poolmetadatasize**  : 2Go par To (max 15,8G), prévoir la possibilité d'extend car non modifiable par la suite. </WRAP>

  * Installation de DRBD9 pour Proxmox 7

Vérifier que le serveur à bien un accès internet.

<code>
apt -y install pve-headers
wget -O- https://packages.linbit.com/package-signing-pubkey.asc | apt-key add -
echo "deb https://packages.linbit.com/proxmox/ proxmox-7 drbd-9"> /etc/apt/sources.list.d/linbit.list
apt update && apt -y install linstor-proxmox linstor-satellite drbd-utils drbd-dkms linstor-common

</code>

  * Redémarrer tous les nœuds (sauf celui qui servira de controleur) Cela permet la prise en charge de DRBD-DKMS en v9, vérifier que les nœuds ont bien démarré et qu'il n'y a pas d'erreur dans les logs.

=== SUR LE NOEUD "Contrôleur" (préférer le site de repli) ===
<code>

apt -y install linstor-controller linstor-client
systemctl enable linstor-controller

</code>

  * Redémarrer le noeud controleur

Configurer les volumes DRBD

<code>
linstor node create dpsxxxx2 192.168.253.2 --node-type Combined
linstor node create dpsxxxx1 192.168.253.1 --node-type Combined
linstor storage-pool create lvmthin dpsxxxx2 drbdpool vg_drbd/lv_drbd
linstor storage-pool create lvmthin dpsxxxx1 drbdpool vg_drbd/lv_drbd
linstor resource-group create --storage-pool=drbdpool --place-count=2 drbdpoolgroup
linstor volume-group create drbdpoolgroup

</code>

  * Configuration pour Proxmox :

<code>
vim /etc/pve/storage.cfg
...
drbd: drbdstorage
   content images,rootdir
   controller 192.168.253.2
   resourcegroup drbdpoolgroup
...

</code>

//**Si plusieurs pool DRBD, il faut ajouter une section "drbd:"**  //

<code>
...
drbd: NomDuPoolVuDansProxmox
   content images,rootdir
   controller 192.168.253.2
   resourcegroup NomDuGroupeDRBD
...

</code>

<WRAP center round info 60%>
Pensez à nommer vos volume de façon à reconnaître les SSD (exemple : drbdstorage-SSD)
</WRAP>


  * Supervision DRBD v9 : [[https://wiki.produhost.net/doku.php?id=exploitation:sonde-drbd9|https://wiki.produhost.net/doku.php?id=exploitation:sonde-drbd9]]

**RAPPEL : Tester que tous fonctionne correctement en créant une VM test**

===== Supervision =====

  * [[ proxmox ]]
  *  [[idrac ]]
  * [[irmc]]

===== Cluster =====

Plusieurs cas sont possible en fonction de besoin de "Disponiblité" des VMs souhaitées, chez DRI nous avons validé les solutions suivantes :

  * 2 Nœuds : C'est une configuration "minimal" mais aucune solution de bascule automatique n'est envisageable avec ce type de solution (problème trop présent de split-brain), réplication des données via DRBD et PRA manuel
  * 2 Nœuds + VM Quorum : Permet de résoudre le problème de (split-brain) dans la mesure ou les serveurs et la VM sont bien répartie sur trois sites (DC) différents, réplication DRBD et PRA automatique
  * 3 Nœuds et plus FIXME : Permet de résoudre le problème de (split-brain) dans la mesure ou l'équilibre des serveurs est incomplet sur deux (ou plus) sites (DC) différents, ZFS Over iSCSI à partir de 3 noeuds, sinon pour 4 noeuds et plus envisager une solution de stockage type CEPH (non documenté ici)

==== Cluster 2 noeuds ====

Les actions sont à faire en root sur les noeuds attention au noueds d’exécution des commandes.

  * Définir un nouveau vlan pour la communication cluster : Prendre à rebour à partir de 2999 (liste : [[https://wiki.produhost.net/doku.php?id=reseau:liste_des_vlan|https://wiki.produhost.net/doku.php?id=reseau:liste_des_vlan]])
  * Affecter une interface virtuelle sur chaque noeud :
      * On utilise pour tous les cluster la plage IP suivante : 192.168.253.0/24
      * Depuis la WebGUI :
<code>

Dans le menu Datacenter, dpsxxxxx
Puis le menu Système, Réseau
Bouton "Créer", OVS Int
   * Nom : cluster
   * IPv4 : 192.168.253.xxx/24
   * Passerelle : vide
   * OVS Bridge : vmbr0
   * Tag VLAN : 29xx
   * Bouton "Créer"

</code>

  * Bouton "appliquer la configuration"
  * Mettre à jour le fichier /etc/hosts des machines

<code>
192.168.253.1  dpsxxxx1  dpsxxxx1.produhost.net
192.168.253.2  dpsxxxx2  dpsxxxx2.produhost.net
...

</code>

  * Créer le cluster sur le noeud 1 :

Le nom du cluster est défini ainsi : XXXXX-Nom ou XXXXX est le numéro du client et Nom est le nom du cluster (Prod, Dev etc…)

<code>
pvecm create <NomCluster> -link0 192.168.253.1

</code>

  * Depuis le nœud 2, s'ajouter au cluster :

<code>
pvecm add 192.168.253.1 -link0 192.168.253.2 -use_ssh 1
</code>

  * Modifier la configuration en mode 2 noeuds :

<code>
vim /etc/pve/corosync.conf
  ...
  quorum {
    provider: corosync_votequorum
    two_node: 1
  }
  ...

</code>

==== Cluster 2 noeuds + VM Quorum ====

Installation d'un VM sur un troisième DC en Debian 10 non chiffré UpToDate, supervisée et avec deux connexion réseau (Une sur le vlan10 et une surle vlan "cluster" des noeuds proxmox) + Faire :

  * Installation de corosync qdevice sur la VM

<code>
sudo apt -y update
sudo apt -y install corosync-qnetd corosync-qdevice

</code>

  * Installation de corosync qdevice sur tous les nœuds du cluster

<code>
sudo apt -y update
sudo apt -y install corosync-qdevice

</code>

  * Configuration de corosync qdevice depuis un des nœuds du cluster

<code>
## Supprimer l’information cluster deux nœuds si modification d'installation, puis
sudo pvecm qdevice setup <@IP-Cluster-De-La-VM-Qorum>

</code>

==== Cluster 3 noeuds et plus ====

FIXME …