Outils personnels

Rdiff-backup : Différence entre versions

De wikiGite
(→‎rdiffweb)
Ligne 117 : Ligne 117 :
  
 
== Installation sur Centos 6 ==
 
== Installation sur Centos 6 ==
 +
Nouvelle version 0.7 http://www.patrikdufresne.com/en/rdiffweb/
  
 +
=== Installer Python 2.7 si nécessaire ===
 +
Sur CentOS (6 ou 7), on a que Python 2.6.6. On installe la 7 en alternative.
 +
yum --enablerepo=epel install wget gcc zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libffi-devel libxslt libxslt-devel libxml2 libxml2-devel openldap-devel libjpeg-turbo-devel openjpeg-devel libtiff-devel git libpng libXext libz.so.1 xorg-x11-fonts-Type1 curl cabextract
 +
wget http://python.org/ftp/python/2.7.8/Python-2.7.8.tgz
 +
tar -xzf Python-2.7.8.tgz
 +
cd Python-2.7.8
 +
./configure --prefix=/usr/local --enable-shared LDFLAGS="-Wl,-rpath /usr/local/lib"
 +
make
 +
make altinstall
 +
'''ATTENTION AU ALTINSTALL'''
 +
 +
Le temps de l'installation, on passe sur python 2.7
 +
alias python=python2.7
 +
python -V
 +
wget https://bitbucket.org/pypa/setuptools/raw/bootstrap/ez_setup.py -O - | /usr/local/bin/python2.7
 +
pip install babel
 +
 +
=== Installation de rdiffweb ===
 +
wget --no-check-certificate -O rdiffweb.tar.gz https://github.com/ikus060/rdiffweb/archive/master.tar.gz
 +
tar zxf rdiffweb.tar.gz
 +
cd rdiffweb-master/
 +
python setup.py build
 +
python setup.py install
 +
On peut revenir à python 2.6 sur la machine pour éviter les problèmes
 +
unalias python
 +
 +
Le script d'init n'est pas adapté à CentOS. Le remplacer par celui-ci, repris de la v0.6:
 +
#!/bin/sh
 +
# rdiffWeb, A web interface to rdiff-backup repositories
 +
# Copyright (C) 2012 rdiffWeb contributors
 +
#
 +
# This program is free software: you can redistribute it and/or modify
 +
# it under the terms of the GNU General Public License as published by
 +
# the Free Software Foundation, either version 3 of the License, or
 +
# (at your option) any later version.
 +
#
 +
# This program is distributed in the hope that it will be useful,
 +
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 +
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 +
# GNU General Public License for more details.
 +
#
 +
# You should have received a copy of the GNU General Public License
 +
# along with this program.  If not, see <http://www.gnu.org/licenses/>.
 +
 +
# Basic support for the Linux Standard Base Specification 3.1.0
 +
### BEGIN INIT INFO
 +
# Provides: rdiff_web
 +
# Required-Start: $network $local_fs
 +
# Required-Stop: $network
 +
# Default-Start: 2 3 5
 +
# Default-Stop: 0 6
 +
# Description: Manages the rdiffWeb daemon
 +
### END INIT INFO
 +
 +
DAEMON=/usr/local/bin/rdiffweb
 +
PIDFILE="/var/run/rdiffweb"
 +
LOGFILE="/var/log/rdiffweb.log"
 +
 +
SUCCESS_MSG="^[[71G done"
 +
ERROR_MSG="^[[71Gfailed"
 +
 +
if [ -f /etc/init.d/functions ]; then
 +
  . /etc/init.d/functions
 +
fi
 +
 +
# This script won't be able to run without root privileges.
 +
if [ `id -u` -ne 0 ]; then
 +
    echo "Error: this script must be run as root."
 +
    exit 1
 +
fi
 +
 +
# See how we were called.
 +
case "$1" in
 +
    start)
 +
      if [ ! -f /etc/rdiffweb/rdw.conf ]; then
 +
          echo -n "rdiffWeb is not configured!  Please run 'rdiff-web-config'."
 +
          echo $ERROR_MSG
 +
          exit 1
 +
      fi
 +
      echo -n "Starting rdiffWeb..."
 +
      $DAEMON --pid-file="$PIDFILE" \
 +
      --log-file="$LOGFILE" \
 +
      --background > /dev/null 2>&1
 +
      echo $SUCCESS_MSG
 +
      exit 0
 +
    ;;
 +
 +
    stop)
 +
      if [ -e "$PIDFILE" ]; then
 +
          echo -n "Stopping rdiffWeb..."
 +
          kill `cat "$PIDFILE" 2>/dev/null` > /dev/null 2>&1
 +
          rm $PIDFILE > /dev/null 2>&1
 +
          echo $SUCCESS_MSG
 +
          exit 0
 +
      else
 +
          echo -n "rdiffWeb is not running"
 +
          echo $ERROR_MSG
 +
          exit 1
 +
      fi
 +
    ;;
 +
 +
    status)
 +
      echo -n "rdiffWeb "
 +
      if [ -e "$PIDFILE" ]; then
 +
          echo "is running."
 +
          exit 0
 +
      else
 +
          echo "is not running."
 +
          exit 1
 +
      fi
 +
    ;;
 +
 +
    restart)
 +
      "$0" stop && "$0" start
 +
    ;;
 +
 +
    *)
 +
      echo "Usage: `basename "$0"` {start|stop|status|restart}"
 +
      exit 1
 +
esac
 +
 +
exit 0
 +
 +
Il ne reste plus qu'à :
 +
service rdiffweb start
 +
 +
<!-- Pour archive: ancienne version avant reprise par http://www.patrikdufresne.com
 
Ajouter le dépôt rpmforge  
 
Ajouter le dépôt rpmforge  
  
Ligne 124 : Ligne 252 :
 
  yum install --enablerepo=rpmforge python-cherrypy
 
  yum install --enablerepo=rpmforge python-cherrypy
  
−
<!-- * Installer le rpm :
+
* Installer le rpm :
 
yum install http://www.rdiffweb.org/releases/rdiffWeb-0.6.3-1.noarch.rpm
 
yum install http://www.rdiffweb.org/releases/rdiffWeb-0.6.3-1.noarch.rpm
 
  wget http://www.rdiffweb.org/releases/rdiffWeb-0.6.3-1.noarch.rpm
 
  wget http://www.rdiffweb.org/releases/rdiffWeb-0.6.3-1.noarch.rpm
−
  rpm --nodeps -ivh rdiffWeb-0.6.3-1.noarch.rpm -->
+
  rpm --nodeps -ivh rdiffWeb-0.6.3-1.noarch.rpm
 
* Installer le rpm source :
 
* Installer le rpm source :
 
  wget http://www.rdiffweb.org/releases/rdiffWeb-0.6.3-1.src.rpm
 
  wget http://www.rdiffweb.org/releases/rdiffWeb-0.6.3-1.src.rpm
Ligne 157 : Ligne 285 :
 
  /usr/bin/rdiff-web --pid-file="$PIDFILE" \
 
  /usr/bin/rdiff-web --pid-file="$PIDFILE" \
 
par
 
par
−
  /usr/bin/rdiff-web '''-d''' --pid-file="$PIDFILE" \
+
  /usr/bin/rdiff-web '''-d''' --pid-file="$PIDFILE" \ -->
  
  

Version du 16 décembre 2015 à 16:26

Linux

Installation

Sur Debian 5 --> v1.2.5 (la différence de version mineure (.5 pour .8) ne provoque qu'un avertissement) 

apt-get install rdiff-backup

Si on veut une version plus récente, il faut compiler : 

apt-get install librsync-dev python-dev
wget http://savannah.nongnu.org/download/rdiff-backup/rdiff-backup-1.2.8.tar.gz
tar -xvzf rdiff-backup-1.2.8.tar.gz
cd rdiff-backup-1.2.8
python setup.py install

Sur CentOS, si ça n'a pas déjà été fait (pour munin par exemple), installation repos RPMForge (-> Dépôts complémentaires).

Puis 

yum --enablerepo=rpmforge install rdiff-backup

Echanger les clés DSA entre les serveurs

Afin que la connexion de Rdiff-backup via SSH ne demande pas de mot de passe, la clé ~/.ssh/id_dsa.pub de l'utilisateur qui se connecte à partir du "client" rdiff-backup doit être copiée "en une seule ligne" dans ~/.ssh/authorized_keys de l'utilisateur cible sur le serveur à sauvegarder. (se reporter à une procédure d'échange de clés pour SSH)

Test d'accès à un serveur

rdiff-backup --test-server root@192.168.1.21::/home

Sauvegardes

à partir d'un backup existant (cp ou rsync) : le répertoire destination existe mais n'est pas au format rdiff (manque les infos rdiff-data), il faut le forcer la première fois : 

rdiff-backup --force -v5 root@192.168.1.2::/etc /backup/etc > rdiff_server1.log 2>&1

Ensuite on peut enlever le "--force".

Nettoyage

des incréments supérieurs à une fenêtre de rétention : 

rdiff-backup -v5 --remove-older-than 4W /backup

Le "4W" signifie "4 weeks", soit 4 semaines à conserver. On peut donner un nombre de jours ("D") ou d'heures ("H"). Tous les incréments supérieurs à ce délai seront supprimés.

Informations sur les sauvegardes

Liste des incréments :
Sur le serveur de sauvegarde : 

rdiff-backup -l /home/backup/server1/home/

A partir du serveur sauvegardé (remote-schema n'est utile que si le port ssh n'est pas standard) : 

rdiff-backup -l --remote-schema='ssh -p 225 -C %s rdiff-backup --server' root@192.168.1.250::/home/backup

On peut lister aussi les tailles des différents incréments 

rdiff-backup --list-increment-sizes /home/backup/server1/home/

Restore - Exemples

NOTE : le restore NE FONCTIONNE PAS SUR LES LIENS. Il faut indiquer le "vrai" répertoire ou fichier physique à restorer.

NOTE 2 : VERIFIER LES DROITS DES REPERTOIRES APRES UNE RESTAURATION, ils peuvent avoir changé. 

# fichier /etc/hosts d'il y a 1 heure (--force si le fichier ou répertoire existe et qu'il faut l'écraser)
rdiff-backup -v5 -r "1h" --force ./etc/hosts root@192.168.1.2::/etc/hosts

NOTE : le nom du fichier doit être indiqué à la source COMME A LA DESTINATION, sinon rdiff remonte TOUT LE REPERTOIRE (/etc dans l'exemple) ! 

# répertoire /etc d'il y a 3 jours
rdiff-backup -v5 -r "3D" --force ./etc root@192.168.1.2::/etc

NOTE : le "-r" signifie "restore at", on peut mettre "-r now", ou mieux: " -r "1B" " pour remonter la dernière sauvegarde. D'autres solutions sont "1D" (comme pour le backup) pour remonter la veille, ou 5m3s, ou 2010-12-21.
NOTE 2 : pour remonter un répertoire complet, il faut l'indiquer la source comme à la destination SANS "/" APRES, sinon il restaure les fichiers dans le répertoire supérieur sans recréer ou écraser le répertoire (/etc dans l'exemple)

Exemple plus complet : 

# rdiff-backup -l /mnt/backup/server1
Found 5 increments:
   increments.2013-04-12T01:28:44+02:00.dir   Fri Apr 12 01:28:44 2013
   increments.2013-04-13T01:29:00+02:00.dir   Sat Apr 13 01:29:00 2013
   increments.2013-04-15T01:27:16+02:00.dir   Mon Apr 15 01:27:16 2013
   increments.2013-04-16T01:29:06+02:00.dir   Tue Apr 16 01:29:06 2013
   increments.2013-04-17T01:31:23+02:00.dir   Wed Apr 17 01:31:23 2013
Current mirror: Thu Apr 18 01:29:44 2013

# rdiff-backup -v5 -r "2013-04-12" --force /mnt/backup/server1/home/web root@server1.localdomain::/home/web

NOTE : partages CIFS/SMBFS

Documentation rdiff-backup : 

rdiff-backup fails to run, printing an exception about "assert not upper_a.lstat()" failing. This can be resolved by unmounting the share, running the following command as root:
$ echo 0 > /proc/fs/cifs/LookupCacheEnabled
and then remounting the CIFS share.

Penser à ajouter cette ligne à /etc/rc.local pour qu'elle soit exécutée au démarrage du serveur.

De plus, si Windows est la destination des backups (par un montage samba sur une machine linux par exemple), il faut penser que le système cible ne connait pas les ACL unix (droits sur les fichiers, propriétaires, etc...). Il faut donc dire à rdiff-backup de ne pas essayer de faire des "chmod" et "chown". Windows ne sait pas non plus interpréter les liens, qu'ils soient hards ou symboliques.

Lancer rdiff-backup avec les options suivantes (en plus d'éventuelles autres options qui semblent utiles): 

--no-hard-links --exclude-symbolic-links --no-acls --no-eas

Dans le fichier de configuration du script rdbackup ci-dessous, le paramètre RDIFF_OPTS serait donc: 

RDIFF_OPTS="-v5 --force --create-full-path --exclude-fifos --exclude-sockets --no-hard-links --exclude-symbolic-links --no-acls --no-eas"

DEPANNAGE

Si après un problème de sauvegarde (disque plein, coupure de session ssh, etc...), les backups suivants se terminent en erreur (erreurs checksum ou autres), il faut supprimer le répertoire rdiff-backup-data et relancer un backup avec --force pour repartir à zéro (on perd l'historique des incréments !).

Rdiff-backup-web

Installer rdiff-backup-web sur un serveur apache/php/mysql ayant accès aux répertoires de backup. 

apt-get install apache2 php5 php-mysql mysql-server
cd /var/www
wget http://sourceforge.net/projects/rdiffbackupweb/files/rdiffbackupweb/0.09/rdiff-backup-web.0.09.tar.gz
tar -xvzf rdiff-backup-web.0.09.tar.gz

Déclarer un virtualhost Apache avec comme DocumentRoot le répertoire rdiff-backup-web ainsi créé.

Créer une base mysql (par convention nommée "rdiff"). Créer un utilisateur rdiff ayant tous les droits sur cette base. 

mysql -p
mysql> create database rdiff;
mysql> grant all privileges on rdiff.* to rdiff identified by 'mot_de_passe';
mysql> exit

Charger la base 

mysql -p rdiff < /var/www/rdiff-backup-web/rdiff.sql

Configurer cette base et l'utilisateur dans /var/www/rdiff-backup-web/config.php, ainsi que l'arborescence de la destination des backups.

Se connecter à l'interface dans un navigateur, connexion avec "admin"/"admin" par défaut. Supprimer l'utilisateur "test" inutil et changer tout de suite le mot de passe admin.

rdiffweb

rdiffWeb est une interface web avec un backend en python pour naviguer et restaurer les backups fait avec rdiff-backup.

http://www.rdiffweb.org/wiki/index.php?title=Installation
http://open.nshare.de/wiki/setup/rdiffweb-behind-apache-reverse-proxy

Installation sur Centos 6

Nouvelle version 0.7 http://www.patrikdufresne.com/en/rdiffweb/

Installer Python 2.7 si nécessaire

Sur CentOS (6 ou 7), on a que Python 2.6.6. On installe la 7 en alternative. 

yum --enablerepo=epel install wget gcc zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libffi-devel libxslt libxslt-devel libxml2 libxml2-devel openldap-devel libjpeg-turbo-devel openjpeg-devel libtiff-devel git libpng libXext libz.so.1 xorg-x11-fonts-Type1 curl cabextract
wget http://python.org/ftp/python/2.7.8/Python-2.7.8.tgz
tar -xzf Python-2.7.8.tgz
cd Python-2.7.8
./configure --prefix=/usr/local --enable-shared LDFLAGS="-Wl,-rpath /usr/local/lib"
make
make altinstall

ATTENTION AU ALTINSTALL

Le temps de l'installation, on passe sur python 2.7 

alias python=python2.7
python -V
wget https://bitbucket.org/pypa/setuptools/raw/bootstrap/ez_setup.py -O - | /usr/local/bin/python2.7
pip install babel

Installation de rdiffweb

wget --no-check-certificate -O rdiffweb.tar.gz https://github.com/ikus060/rdiffweb/archive/master.tar.gz
tar zxf rdiffweb.tar.gz
cd rdiffweb-master/
python setup.py build
python setup.py install

On peut revenir à python 2.6 sur la machine pour éviter les problèmes 

unalias python

Le script d'init n'est pas adapté à CentOS. Le remplacer par celui-ci, repris de la v0.6: 

#!/bin/sh
# rdiffWeb, A web interface to rdiff-backup repositories
# Copyright (C) 2012 rdiffWeb contributors
#
# This program is free software: you can redistribute it and/or modify
# it under the terms of the GNU General Public License as published by
# the Free Software Foundation, either version 3 of the License, or
# (at your option) any later version.
#
# This program is distributed in the hope that it will be useful,
# but WITHOUT ANY WARRANTY; without even the implied warranty of
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
# GNU General Public License for more details.
#
# You should have received a copy of the GNU General Public License
# along with this program.  If not, see <http://www.gnu.org/licenses/>.

# Basic support for the Linux Standard Base Specification 3.1.0
### BEGIN INIT INFO
# Provides: rdiff_web
# Required-Start: $network $local_fs
# Required-Stop: $network
# Default-Start: 2 3 5
# Default-Stop: 0 6
# Description: Manages the rdiffWeb daemon
### END INIT INFO

DAEMON=/usr/local/bin/rdiffweb
PIDFILE="/var/run/rdiffweb"
LOGFILE="/var/log/rdiffweb.log"

SUCCESS_MSG="^[[71G done"
ERROR_MSG="^[[71Gfailed"

if [ -f /etc/init.d/functions ]; then
 . /etc/init.d/functions
fi

# This script won't be able to run without root privileges.
if [ `id -u` -ne 0 ]; then
   echo "Error: this script must be run as root."
   exit 1
fi

# See how we were called.
case "$1" in
   start)
      if [ ! -f /etc/rdiffweb/rdw.conf ]; then
         echo -n "rdiffWeb is not configured!  Please run 'rdiff-web-config'."
         echo $ERROR_MSG
         exit 1
      fi
      echo -n "Starting rdiffWeb..."
      $DAEMON --pid-file="$PIDFILE" \
      --log-file="$LOGFILE" \
      --background > /dev/null 2>&1
      echo $SUCCESS_MSG
      exit 0
   ;;

   stop)
      if [ -e "$PIDFILE" ]; then
         echo -n "Stopping rdiffWeb..."
         kill `cat "$PIDFILE" 2>/dev/null` > /dev/null 2>&1
         rm $PIDFILE > /dev/null 2>&1
         echo $SUCCESS_MSG
         exit 0
      else
         echo -n "rdiffWeb is not running"
         echo $ERROR_MSG
         exit 1
      fi
   ;;

   status)
      echo -n "rdiffWeb "
      if [ -e "$PIDFILE" ]; then
         echo "is running."
         exit 0
      else
         echo "is not running."
         exit 1
      fi
   ;;

   restart)
      "$0" stop && "$0" start
   ;;

   *)
      echo "Usage: `basename "$0"` {start|stop|status|restart}"
      exit 1
esac

exit 0

Il ne reste plus qu'à : 

service rdiffweb start


Installation sur CentOS 7

Installer le dépôt 

 rpm -Uvh http://dl.fedoraproject.org/pub/epel/7/x86_64/e/epel-release-7-5.noarch.rpm

Installer yum-utils et désactiver le dépôt par défaut 

 yum install yum-utils
 yum-config-manager --disable epel

Installer les paquets avec l'option --enablerepo=epel 

 yum --enablerepo=epel -y install rdiff-backup

Installation sur Debian

exécuter le script se trouvant sur le dépôt git : 

https://indefero.systea.fr/p/rdiffweb/source/file/master/rdiffweb-install-debian.sh

Le script original se trouve sur http://www.timedicer.co.uk/programs/help/rdiffweb-install.sh.php . le script précédant est allégé par rapport à celui-ci.

Script bash

script rdbackup.sh

Un dépot git contenant les sources est disponible ici : https://indefero.systea.fr/p/rdbackup/source/tree/master/

Pour récupérer directement la derniere version disponible avec wget : 

wget --content-disposition --no-check-certificate https://indefero.systea.fr/p/rdbackup/source/download/master/

Windows

Installation

Télécharger :

  • Rdiff (rdiff-backup-1.2.8-win32.zip)
http://www.nongnu.org/rdiff-backup/
  • putty, plink et puttygen
http://www.chiark.greenend.org.uk/~sgtatham/putty/download.html
  • Blat (blat262.full.sip)
http://sourceforge.net/projects/blat/files/

Préparation de la connexion SSH

Note : on considère ici que la sauvegarde est lancée d'un poste Windows vers un serveur linux

Lancer puttygen. Sélectionner "SSH-2 DSA" en bas, cliquer sur "Generate" et bouger la souris dans l'espace blanc au milieu de la fenêtre.

Copier la clé DSA qui s'affiche en haut de la fenêtre (sans oublier aucun caractère !), la passer telle, en une seule ligne, quelle vers le serveur linux (via un fichier par scp/ftp, ou mail, ou copier/coller dans une console putty) dans le fichier ~/.ssh/authorized_keys du serveur.

Sauvegarder les clés dans le répertoire Documents and Setting (Win XP/2003) ou Users (Win 7/2008) de l'utilisateur qui lancera rdiff-backup.

  • Clé publique :
en cliquant sur "save public key"
nommer le fichier privatekey.pub
  • Clé privée :
en cliquant sur "save private key"
nommer le fichier privatekey.ppk

Tests de connexion

Tester la connexion avec plink (ce qui permet d'enregistrer localement la clé du serveur à la première connexion) : 

c:\backup\plink.exe -i C:\Users\<utilisateur windows>\privatekey.ppk utilisateur_cible@server.systea.net

la connexion doit se faire sans demande de mot de passe.

Tester rdiff-backup : 

c:\backup\rdiff-backup -v5 --test-server --remote-schema "c:\backup\plink.exe -P 22 -i C:\Users\<utilisateur windows>\privatekey.ppk %s rdiff-backup --server" utilisateur_cible@server.systea.net::/tmp

Test de Blat

Tester un envoi (le nom de fichier qui constituera le corps du mail est obligatoire, sinon blat reste "en attente" et ne rend jamais la main). 

blat c:\backup\fichier.txt -to destinataire@server.systea.net -server smtp.orange.fr -f expediteur@serveur.com -s "SUJET DU MAIL"

Script de sauvegarde

NOTE : le "%s" doit être transformé en "%%s" pour être reconnu par l'interpréteur DOS. 

rem @echo off
set ERROR=0
set MAILOPTS=-server smtp.orange.fr -f expediteur@serveur.com

copy c:\backup\backup.log c:\backup\backup.log.0

c:\backup\rdiff-backup\rdiff-backup.exe -v5 --remote-schema "c:\backup\plink -P 22 -i c:\Users\<Utilisateur Windows>\privatekey.ppk %%s rdiff-backup --server" "c:/partage/" USER@SERVER.systea.net::/home/backup/partage > c:\backup\backup.log 2>&1
IF NOT "%ERRORLEVEL%"=="0" (
   set ERROR=1)
REM le LOG n'est pas relaché tout de suite, on doit simuler une pause de 5 secondes...
ping -n 5 127.0.0.1
c:\backup\rdiff-backup\rdiff-backup.exe -v5 --remote-schema "c:\backup\plink -P 22 -i c:\Users\<Utilisateur Windows>\privatekey.ppk %%s rdiff-backup --server" --remove-older-than 4W USER@SERVER.systea.net::/home/backup/partage >> c:\backup\backup.log 2>&1
IF NOT "%ERRORLEVEL%"=="0" (
   set ERROR=1)
ping -n 5 127.0.0.1

IF "%ERROR%"=="0" (
   c:\backup\blat\full\blat c:\backup\backup.log -to destinataire@systea.net %MAILOPTS% -s "Sauvegarde terminee" > c:\backup\blat.log 2>&1 )
IF NOT "%ERROR%"=="0" (
   c:\backup\blat\full\blat c:\backup\backup.log -to destinataire@systea.net %MAILOPTS% -s "Probleme sauvegarde" > c:\backup\blat.log 2>&1 )
Récupérée de « https://wiki.kogite.fr/index.php?title=Rdiff-backup&oldid=6394 »