Différences

Ci-dessous, les différences entre deux révisions de la page.

--- informatique:linux:borg_backup [21/05/2021 16:15] – lauberterio
+++ informatique:linux:borg_backup [05/01/2025 16:38] (Version actuelle) – lauberterio
@@ Ligne 1: / Ligne 1: @@
-====== Borg Backup ======
+====== BorgBackup ======
-<note>Je replace ici le contenu du [[https://sebsauvage.net/wiki/doku.php?id=borgbackup|wiki de Seb Sauvage sur le sujet]], car m'y étant référé un certain nombre de fois, j'ai finalement pensé qu'avoir ma copie personnelle au cas où l'original venait à disparaître n'était pas idiot.</note>
+<note>Je replace ici le contenu du [[https://sebsauvage.net/wiki/doku.php?id=borgbackup|wiki de Seb Sauvage sur le sujet]]. Celui-ci étant devenu pour moi une référence que je consulte régulièrement, j'ai finalement pensé qu'avoir ma copie personnelle au cas où l'original venait à disparaître n'était pas idiot.
+\\
+[[https://sebsauvage.net/wiki/doku.php|Son Wiki]] est truffé d'autres articles intéressants. </note>
 BorgBackup est un logiciel de sauvegarde.  Cette page est un mémo rapide des principales commandes.
@@ Ligne 16: / Ligne 18: @@
   * Vérification d'intégrité des indexes et des données (peut détecter la corruption de données (bitrot))
   * Sauvegardes vers un répertoire local ou ssh.
+  * Possibilité de fonctionner en mode "append-only"
   * Les backups peuvent être interrompus et repris sans crainte pour leur intégrité.
   * Les backups sont accessibles en FUSE (sous forme de simples répertoires)
+<note tip>L'un des avantages majeurs de Borg est son **gain phénoménal** de place grâce à la déduplication et la compression.</note>
+<note>Les instructions ci-dessous concernent les versions **1.x** de Borg. À partir de Borg **2.0**, les commandes pourront être légèrement différentes. Borg 2 n'est pas encore recommandé, car par encore stable.</note>
+{{anchor:vocabulaire}}
 ===== Vocabulaire =====
   * **//repo//** : Un "repo" borg est un répertoire dans lequel borg va stocker ses sauvegardes.
   * **//archive//** : Correspond à une sauvegarde. Un repo borg contient une ou plusieures "archives".
-  * Une sauvegarde précise est identifiée en mentionnant le repo, deux points, puis l'archive: **//repo::archive//**
+  * Une sauvegarde précise est identifiée en mentionnant le repo, deux fois deux points, puis l'archive: **//repo::archive//**
 ===== Installation =====
@@ Ligne 31: / Ligne 39: @@
 Mais Borg étant un simple exécutable sans dépendances lourdes, vous pouvez aussi télécharger juste l'exécutable (voir [[https://github.com/borgbackup/borg/releases/latest|cette page]]) et l'installer à la main.
-Exemple pour un Linux 64 bits:<code bash>sudo wget https://github.com/borgbackup/borg/releases/download/1.1.16/borg-linux64
+Exemple pour un Linux 64 bits:<code bash>sudo curl -L https://github.com/borgbackup/borg/releases/latest/download/borg-linux-glibc231 -o /usr/local/bin/borg
-sudo cp borg-linux64 /usr/local/bin/borg
 sudo chmod 755 /usr/local/bin/borg</code>
+{{anchor:utilisation}}
 ===== Utilisation =====
   * En supposant que vous voulez faire vos sauvegardes dans le répertoire **''/repo''**
+{{anchor:init}}
   * **Initialiser le repo Borg** (À faire une seule fois: C'est ce qui va "préparer" le répertoire qui va recevoir les backups):<code>borg init --encryption=repokey-blake2 /repo</code>
     * Par défaut, c'est chiffré avec mot de passe. Pour faire sans chiffrement, faire:<code>borg init --encryption=none /repo</code>
     * Les "repos" peuvent être locaux ou distants.
+    * ⚠️ Attention à bien lire l'avertissement dans les [[#no-repokey|notes]] en bas de cette page si vous utilisez du chiffrement sans l'option //repokey//.
+{{anchor:create}}
   * **Faire un backup**:<code>borg create /repo::{now} /source</code>
     * Cela va faire une sauvegarde du répertoire **/source** dans le repos borg **/repo** avec comme nom la date/heure du moment.
@@ Ligne 51: / Ligne 62: @@
     * ''{now}'' permet d'horodater automatiquement les backups, mais vous pouvez remplacer par le texte de votre choix (sans les accolades).
       * Une bonne idée est de pré-fixer votre backup par le nom de la machine ( ''nommachine-{now}'' ), ce qui permet par la suite de purger sélectivement les backups ( avec ''%%--prefix%%'' ).
+        * Note : Dans les futures versions, la command ''%%--%%prefix'' sera remplacée par ''%%--%%glob-archives''. Exemple: Au lieu d'écrire ''%%--%%prefix=nestor'' il faudra écrire ''%%--%%glob-archives='nestor*'''
     * Algo de compression par défaut: lz4 (le plus rapide). Si vous cherchez la compression maximale ajoutez ''<nowiki>--compression lzma</nowiki>'' ou intermédiaire: ''<nowiki>--compression zlib</nowiki>''. **Mais je vous recommande ''<nowiki>--compression zstd</nowiki>''** : Il est presque aussi rapide que lz4 et il compresse mieux que zlib.
-  * **Lister les backups**:<code>borg list /repo</code>
+<note tip>Astuce 1: Ajoutez ''%%--list --filter=AM%%'' pour voir les fichiers que borg considère comme potentiellement ajoutés(A)/modifiés(M). Ce sont concrètement les fichiers dont borg va aller lire le contenu pour voir s'il faut l'ajouter au backup.</note>
-  * **Vérifier l'intégrité des backups**:<code>borg check -v --progress /repo</code>
+<note tip>Astuce 2: Si vous êtes en train de sauvegarder des fichiers issus d'un point de montage temporaire (support externe, serveur distant) il peut être intéressant d'ajouter l'option ''%%--files-cache=ctime,size%%''. Par défaut borg utilise ''ctime,size,inode'' mais dans le cas d'un point de montage temporaire les inodes peuvent ne pas être constants, ce qui oblige borg à aller relire le contenu des fichiers pour rien.</note>
+{{anchor:list}}
+  * **Lister les archives dans un repo**:<code>borg list /repo</code>
+    * Un repo contient un ou plusieurs backups (//archives//). Cette commande vous donne la liste des //archives// de votre repo.
+    * Les archives qui se terminent en ''.checkpoint'' sont des sauvegarde intermédiaires, par exemple lorsque vous interrompez le backup avec <key>CTRL-c</key>. Ces archives seront automatiquement supprimées lors d'un prochain ''prune''.
+{{anchor:list-fichiers}}
+  * **Lister les fichiers dans une archive**:
+    * <code>borg list /repo::archive</code>
+      * Pensez à ajouter '' | less'' pour naviguer dans les résultats (touche <key>B</key>/<key>ESPACE</key>)
+{{anchor:check}}
+  * **Vérifier l'intégrité des backups**:<code>borg check -v --progress /repo</code>
+{{anchor:mount}}
   * **Accéder aux backups**: <code>mkdir archive
 borg mount /repo archive</code>
@@ Ligne 64: / Ligne 87: @@
     * Puis démonter par:<code>borg umount archive</code>
+{{anchor:extract}}
+  * **Extraire une archive** : Alternativement à l'accès aux backups anciens avec "mount", vous pouvez lui demander d'extraire directement un backup (une archive) avec la commande **extract**:<code>borg extract /repo::archive</code>
+    * Notez que Borg extrait dans le répertoire courant. Donc placez-vous dans le répertoire adéquat avec ''cd'' avant d'utiliser ''extract''.
+    * Ajouter ''%%--%%progress'' pour voir la progression si vous extrayez beaucoup de fichiers.
+    * Ajouter ''%%--%%list'' pour voir la liste des fichiers extraits.
+    * ''%%--%%dry-run'' permet de voir ce qui va être extrait, mais sans réaliser l'extraction elle-même.
+    * Vous pouvez n'extraire qu'un répertoire en ajoutant le chemin à la fin:<code>borg extract /repo::archive chemin/à/extraire/</code>
+{{anchor:prune}}
   * **Purger les anciens backups**:
-    * Exemple: On va garder 1 backup par jour sur les 7 derniers jours, et 1 backup par semaine sur les 4 dernières semaines et 1 backup par mois sur les 6 derniers mois.<code>borg prune -v --list --stats --keep-daily=7 --keep-weekly=4 --keep-monthly=6 /repo</code>
+    * Exemple: On va garder (au plus) 1 backup par jour sur les 7 derniers jours, et 1 backup par semaine sur les 4 dernières semaines et 1 backup par mois sur les 6 derniers mois.<code>borg prune -v --list --stats --keep-daily=7 --keep-weekly=4 --keep-monthly=6 /repo</code>
+    * Vous pouvez également ne garder que les X derniers backups. Exemple ''%%--%%keep-last=5''
     * Si vous avez préfixé vos archives, vous pouvez purger sélectivement avec ''%%--prefix=nommachine%%''
     * Vous pouvez supprimer un backup précis. Par exemple:<code>borg delete /repo::2017-12-11T12:25:38</code>
     * Vous avez bien entendu bien d'autres options de purge.
+{{anchor:compact}}
+  * **Libérer de l'espace** : Il faut savoir que depuis la version 1.2.0 un //delete// ou un //prune// ne libère pas systématiquement de l'espace disque. De temps en temps (pas à chaque backup), forcez borg à compacter les segments. Cela permet de libérer de la place sur disque:<code>borg compact --progress --cleanup-commits /repo</code>
+    * L'option ''%%--cleanup-commits%%'' permet de supprimer les petits fichiers de 17 octets laissé par les anciennes version de Borg (<1.2.0). Cette option n'a besoin d'être utilisée qu'une seule fois pour "nettoyer" le repo.
 ----
+{{anchor:notes}}
 ===== Notes =====
   * Bien entendu, le premier backup sera **long** (il va compresser tous les fichiers). Les backups suivants seront beaucoup plus rapides.
+  * **Interruption des backups**:
+    * Dans les versions récentes de Borg, faire un <key>CTRL-c</key> pour interrompre le backup va automatiquement créer un //checkpoint// qui permet de reprendre le backup là où vous vous étiez arrêté⋅e.
+      * Attention cela n'est pas valable pour les anciennes versions de Borg (vous ne perdrez pas de données, mais le backup perdra du temps à ré-examiner des fichiers déjà sauvegardés).
+      * Cela n'est généralement pas valable non plus pour les surcouches à Borg genre //Vorta//. Il peut donc être intéressant d'utiliser Borg en ligne de commande.
   * La compression par défaut est lz4 qui est extrêmement rapide (capable de compresser 500 Mo/seconde sur un processeur moyen), mais je vous recommande **chaudement** la compression zstd, plus efficace sans trop consommer de CPU. Ajoutez l'option ''%%--%%compression zstd,7''. La compression lzma est plus forte, mais elle ralentira votre sauvegarde.
   * Un backup précis est nommée par //repo::archive//.
     * Exemple: **''/repo::2017-12-11T12:25:38''** désigne l'archive **''2017-12-11T12:25:38''** dans le repo **''/repo''**.
-  * Borg est bon dans les cas suivants:
+  * Borg est bon quand il est lancé directement sur la machine qui contient les données à sauvegarder:
-    * backup fichiers locaux => repo local
+    * Borg est bon dans les cas suivants:
-    * backup fichiers locaux => repo distant
+      * backup fichiers locaux => repo local
-  * Borg est moins bon pour:
+      * backup fichiers locaux => repo distant
-    * backup fichiers distant => repo local.
+    * Borg est moins bon pour:
-    * Dans ce cas, vous devrez utiliser sshfs (ou autre) pour aller chercher les fichiers, et les performances seront nettement moins bonnes. (Ou alors vous faites préalablement un rsync (rapide) vers un répetoire local, puis un borg local vers local pour historiser les modifications).
+      * backup fichiers distant => repo local.
-    * Si vous allez chercher des fichiers distants par sshfs, je vous recommande d'utiliser l'option ''<nowiki>--</nowiki>files-cache=ctime,size'' (ou ''<nowiki>--</nowiki>ignore-inode'' sur Borg<1.1) car les inodes d'un montage sshfs ne sont pas constants, et vous risquez de re-sauvegarder des fichiers qui n'ont pas été modifiés. (Vous ne perdrez pas de place car borg détectera qu'il a déjà les données, mais il perdra du temps à relire le contenu des fichiers.)
+      * Dans ce cas, vous devrez utiliser sshfs (ou autre) pour aller chercher les fichiers, et les performances seront nettement moins bonnes. (Ou alors vous faites préalablement un rsync (rapide) vers un répetoire local, puis un borg local vers local pour historiser les modifications).
+      * Si vous allez chercher des fichiers distants par sshfs, je vous recommande d'utiliser l'option ''<nowiki>--</nowiki>files-cache=ctime,size'' (ou ''<nowiki>--</nowiki>ignore-inode'' sur Borg<1.1) car les inodes d'un montage sshfs ne sont pas constants, et vous risquez de re-sauvegarder des fichiers qui n'ont pas été modifiés. (Vous ne perdrez pas de place car borg détectera qu'il a déjà les données, mais il perdra du temps à relire le contenu des fichiers.)
+  * La compatibilité ascendante est assurée par l'auteur (Les nouvelles version de Borg savent manipuler les repos créés avec d'anciennes versions).
+{{anchor:no-repokey}}
+<note warning>**ATTENTION** : Quand vous créez un repo chiffré, les clés de chiffrement peuvent être soit dans le repo (si vous avez choisi l'option //repokey//) soit dans ''~/.config/borg/security''. Si vous êtes dans le second cas, **pensez à bien sauvegarder ce répertoire ailleurs**, car perdre les clés contenues dans ce répertoire équivaut à perdre votre repo.</note>
+  * Borg stock des données dans le répertoire de l'utilisateur qui lance le backup :
+    * <wrap hi>**~/.cache/borg/**</wrap> contient le cache des repos que vous avez utilisés (cache de la liste des fichiers et cache des segments de données). Ce répertoire peut-être effacé sans perte de données, car borg sait le reconstruire. Cependant, cela aura des conséquences lors de votre prochain backup :
+      * Le cache de segments sera reconstruit en lisant le repo. C'est relativement rapide si le repo est local mais peut être plus long si le repo est distant.
+      * Le cache de fichiers vidé va obliger Borg à re-lire l'intégralité du contenu des fichiers à sauvegarder, ce qui va rallonger la durée du backup.
+      * Dans un cas comme dans l'autre, il n'y a aucun risque de perte de données. Juste une perte de temps au backup suivant le temps de reconstruire ce cache.
+    * <wrap hi>**~/.config/borg/**</wrap> contient la configuration de Borg, ainsi que des informations sur les derniers repos manipulés par Borg. Il inclue également les clés de chiffrement pour les repo chiffrés sans l'option //repokey//.
 ----
+{{anchor:stats}}
 ===== Stats =====
@@ Ligne 106: / Ligne 157: @@
     * //Compressed size// : Taille de ces fichiers une fois compressés.
     * //Deduplicated size// : Comme certains de ces fichiers étaient déjà présents à l'identique dans des sauvegardes antérieures, ils n'ont pas été re-sauvegardés. La taille affichée ici correspond à la quantité de données réellement nouvelles qui ont été ajoutées au repo borg (ici: 1,06 Mo).
-  * //All archives// : correspond à la taille totale de données stockées dans les différents backups.
+  * //All archives// : correspond à la taille totale de données stockées dans les différents backups contenus dans ce repo.
     * //Deduplicated size// : C'est la taille totale de votre repo borg, après compression et déduplication (repérage des fichiers identiques entre sauvegardes).
@@ Ligne 137: / Ligne 188: @@
 Si j'aime autant BorgBackup, c'est qu'il possède justement ces 4 propriétés. En particulier, la dé-duplication vous permet de déplacer vos fichiers ou renommer les répertoires sans risquer de faire enfler inutilement les sauvegardes. Dans le cas de sauvegardes multi-utilisateurs ou multi-machines, le gain est encore plus important.
+<note tip>**Borg sous Windows ?** \\ Ce n'est malheureusement pas possible à l'heure actuelle. L'auteur travaille plus ou moins sur une version Windows qui pourrait [[https://github.com/borgbackup/borg/issues/936|éventuellement]] être distribuée officiellement, mais ce n'est pas simple (la manière dont Windows gère les fichiers est très différentes de Linux). En attendant, il est peut-être possible d'utiliser Borg via [[https://fr.wikipedia.org/wiki/Windows_Subsystem_for_Linux|WSL]] (à tester).</note>
 ===== Liens =====
   * Site officiel : https://www.borgbackup.org/
   * Documentation complète : https://borgbackup.readthedocs.io/en/stable/
-  * https://www.blog-libre.org/2016/08/21/borgbackup-borg-pour-les-intimes/
+  * [[http://web.archive.org/web/20210421120044/https://www.blog-libre.org/2016/08/21/borgbackup-borg-pour-les-intimes/|https://www.blog-libre.org/2016/08/21/borgbackup-borg-pour-les-intimes/]]
   * https://connect.ed-diamond.com/Linux-Pratique/LP-098/Ne-procrastinez-plus-vos-sauvegardes-grace-a-Borg3
   * https://blog.genma.fr/?Retour-d-experience-avec-Borg-comme-outil-de-sauvegarde
   * https://blog.genma.fr/?Rsync-et-Borg-le-couple-gagnant
   * https://blog.genma.fr/?Borg-Checker-petit-script-Python-sans-pretention
+  * https://borgwarehouse.com/, une interface graphique pour Borg.
   * [[https://github.com/borgbase/vorta|Vorta]], une interface graphique pour Borg (via [[https://blog.genma.fr/?Vorta-interface-graphique-a-Borg|Gemna]])
+  * https://torsion.org/borgmatic/ pour automatiser (voir l'article https://wiki.fiat-tux.fr/books/administration-syst%C3%A8mes/page/borgmatic)
   * https://blog.genma.fr/?Soucis-rencontres-avec-Borg : Quelques messages d'erreur classiques que vous rencontrerez parfois avec Borg. Notez que cela ne met pas en péril l'intégrité des backups. Ces messages sont dus aux mécanismes de protection de Borg.
-  * https://wiki.fiat-tux.fr/books/administration-syst%C3%A8mes/page/borgmatic