Outils personnels

MailCleaner: installation et configuration : Différence entre versions

De wikiGite

(→‎Filtre Bayes)
(→‎Mise en cluster)
Ligne 308 : Ligne 308 :
 
   4) add a slave (donner l'IP du serveur SLAVE)
 
   4) add a slave (donner l'IP du serveur SLAVE)
 
Sur slave :
 
Sur slave :
−
<br/>
 
−
{{Warning|BUG !!!! Un des scripts n'est pas exécutable !}}
 
−
 
−
Commencer par :
 
−
<syntaxhighlight lang="bash">chmod 755 /usr/mailcleaner/bin/resync_db.sh</syntaxhighlight>
 
−
Et lancer :
 
 
<syntaxhighlight lang="bash">/usr/mailcleaner/scripts/configuration/slaves.pl</syntaxhighlight>
 
<syntaxhighlight lang="bash">/usr/mailcleaner/scripts/configuration/slaves.pl</syntaxhighlight>
 
   1) change host settings (donner l'IP de ce serveur)
 
   1) change host settings (donner l'IP de ce serveur)

Version du 7 juin 2018 à 15:27

Warning.gif ATTENTION: UPDATE 01/2015 : les listes RHSBL* n'existe plus. Ne pas la cocher si elle apparaît encore dans les menus

Installation

Notepad.gif NOTE: Le site communautaire est accessible sur http://www.mailcleaner.org. Le site commercial sur http://www.mailcleaner.net

Télécharger l'image : 

wget http://www.mailcleaner.org/downloads/mailcleaner_community_2012v6_64bit.iso

Booter sur l'iso ou donner l'iso comme périphérique de démarrage si c'est une VM. L'installation se lance automatiquement.

Aprés le 1er reboot, configuration de base en ligne de commande : 

 1 keyboard
 2 root passwd
 3 network
 4 MC Install/Reinstall

Passer les points dans l'ordre pour arriver au 4 : configuration, création des bases.\\ Donner un ID unique par machine pouvant faire partie d'un cluster (voir plus bas).

Warning.gif ATTENTION: BUG : en cas d'erreurs mysql, laisser l'installation se terminer (jusqu'à "starting services...")

En effet, l'installateur n'attend pas - pour une raison inconnue - la fin de création des bases de données avant de continuer (notamment sur serveur virtualisé), et ne peut donc pas créer ses tables !\\ Dans ce cas, se connecter en ssh et forcer l'arrêt du script qui reste bloqué sur "starting services...": 

ps -ef | grep install
kill <pid des processus *install*>

puis : 

aptitude update
aptitude safe-upgrade #(répondre yes et yes)
cd /usr/mailcleaner
cvs -q update -dP
source lib/updates/update_binaries.sh
stabilizeBinaries
cd install
/opt/mysql5/bin/mysqladmin -S /var/mailcleaner/run/mysql_master/mysqld.sock -u root password 'new-password'
/opt/mysql5/bin/mysqladmin -S /var/mailcleaner/run/mysql_slave/mysqld.sock -u root password 'new-password'

par sécurité éditer ./MC_prepare_dbs.sh, aux alentour de la ligne 124 modifier : 

/opt/mysql5/bin/mysql -S ${VARDIR}/run/mysql_slave/mysqld.sock < /tmp/tmp_install.sql 2>&1
/opt/mysql5/bin/mysql -S ${VARDIR}/run/mysql_master/mysqld.sock < /tmp/tmp_install.sql 2>&1

par 

/opt/mysql5/bin/mysql -S ${VARDIR}/run/mysql_slave/mysqld.sock < /tmp/tmp_install.sql 2>&1
sleep 5
/opt/mysql5/bin/mysql -S ${VARDIR}/run/mysql_master/mysqld.sock < /tmp/tmp_install.sql 2>&1
sleep 5

puis continuer l'installation : 

./MC_prepare_dbs.sh # donner le mdp root mysql
/usr/mailcleaner/bin/check_db.pl --update
/usr/mailcleaner/bin/dump_apache_config.pl
/etc/init.d/mailcleaner restart
/usr/mailcleaner/bin/collect_rrd_stats.pl

si problème de connexion en admin au webui : 

/opt/mysql5/bin/mysql -S /var/mailcleaner/run/mysql_master/mysqld.sock -uroot -p mc_config

 mysql> update administrator set password=ENCRYPT('new-password') where username='admin';

Première connexion : 

 https://mailcleaner.domain.fr/admin

Configuration

Système

Commencer par passer en revue l'intégralité de la configuration 

 * Configuration / General settings : passer le GUI en français + adresses mails, décocher "Display domain selector", remplir Company
 * Configuration / Domains
   * Domain default settings : paramétrer emails dans general,  preferences, activer greylist dans filtering
 * SMTP
   * SMTP checks : activer les 4 RBLs
 * Anti-spam
   * Enable access to whitelist
   * NiceBayes enable module, désactiver decisive (voir Filtres Bayes pour modifier le score que NiceNayes doit ajouter à spamassassin)
   * preRBLSs enable module, activer listes ips.backscatterer.org et dsn.bl.rfc-ignorant.de
   * UriRBLs enable module, activer les 3 listes
   * spamc enable DCC Razor Pyzor, décocher DKIM control
 * Services / web interfaces
   * changer le nom URL
   * enable SSL, ajouter certificats (cat /usr/mailcleaner/etc/apache/certs/certificate.pem, copier la partie KEY (avec BEGIN RSA PRIVATE KEY et END) dans private key et le reste (avec BEGIN CERTIFICATE et END) dansSSL certificate)
 * Monitoring/status (ou en cliquant dans le message en haut)
   * redémarrer les services qui doivent l'être

Rebooter une fois. Si l'installateur redémarre après boot (au lieu d'arriver sur la demande de login), sortir (5), lancer : 

update-rc.d -f z_installmc remove

pour le désactiver au prochain redémarrage.

RBLs

 * soit niveau SMTP -> rejetés
 * soit niveau PreRBLS -> quarantaine
 * soit niveau Spamc -> inclu dans la décision de tag spam

Attention à ne pas cocher les même RBLs à ces différents niveaux, ça ne servirait à rien et ralentirait le filtrage.

Whitelists/blacklists

 * Whitelists :
   * Config/Anti-spam/Enable access to whitelist : c'est une whitelist générale (pour tous les domaines), mais il faut aussi qu'elle soit activée pour que les whitelists par domain apparaissent
   * Config/Domains/<nom de domain>/filtering/Enable whitelist

 * Blacklists :
   * Config/SMTP/Connection control

Voir aussi plus bas : whitelists / blacklists manuelles.

Quarantaine

Quarantaine/ Rapport de quarantaine : 

 * Domains/<nom de domaine>/preferences

voir aussi les preferences par défaut dans "Domain default settings"/"preferences"

Ajout d'un domaine à relayer

"Domains" / "New domain"

Paramétrer le serveur destinataire dans "delivery", cliquer "submit" et tester la destination.

Paramétrer "address verification" : smtp, donner IPip du serveur destinataire, cliquer "submit" et "tester"

Améliorations

transfert de règles sa-learn

Sur l'ancien serveur : 

sa-learn --backup > regles.txt

Sur le serveur Mailcleaner : 

sa-learn -p /opt/mailcleaner/etc/mailscanner/spam.assassin.prefs.conf --siteconfigpath /opt/mailcleaner/share/spamassassin --restore regles.txt

Filtre Bayes

Le filtre est désactivé car aucune base n'est créée par défaut. Dans l'entête des mails on voit : 

 NiceBayes disabled (no database ?)

Le principe est de déclarer une boîte aux lettres dédiée aux spams / hams, scannée par un script tous les jours pour alimenter la base. Installer la librairie nécessaire : 

apt-get install libmail-imapclient-perl

Créer un script /opt/mailcleaner/scripts/gethamspam.sh : 

#!/bin/bash
# copy the old database to a timestamped copy
TIMESTAMP=$(date +%d)
REPORT_EMAIL=admin@domain.com

# backup Spamassassin bayes db
sa-learn -p /opt/mailcleaner/etc/mailscanner/spam.assassin.prefs.conf --siteconfigpath /opt/mailcleaner/share/spamassassin --backup >/var/mailcleaner/spool/spamassassin/spamass_rules.bak
# backup Bogofilter bayes db
cp -a /root/.bogofilter/wordlist.db "/root/.bogofilter/$TIMESTAMP-wordlist.db"
if [ -f "/root/.bogofilter/$TIMESTAMP-wordlist.db.gz" ]
then
   rm -f "/root/.bogofilter/$TIMESTAMP-wordlist.db.gz"
fi
gzip "/root/.bogofilter/$TIMESTAMP-wordlist.db"

# get the spam and ham from the imap mailbox for the spamassassin and bogofilter db's
/opt/mailcleaner/scripts/imap-sa-learn.pl
if [ $? -ne 0 ]
then
    (
      echo "Subject: Bogofilter database update $(hostname) failed"
      ls -l /var/mailcleaner/spool/bogofilter/database/
      ) | /usr/sbin/sendmail $REPORT_EMAIL
    exit 1
fi

# copy the database to the right location
cp /root/.bogofilter/wordlist.db /var/mailcleaner/spool/bogofilter/database/wordlist.db
# If slave(s) Mailcleaner exists, ssh copy db to the slave(s)
scp /root/.bogofilter/wordlist.db mailcleaner2.domain.com:/var/mailcleaner/spool/bogofilter/database/
# Copy the backup of spamassasin rules on slave(s). It must then be applied on it by --restore.
scp /var/mailcleaner/spool/spamassassin/spamass_rules.bak mailcleaner2.domain.com:/var/mailcleaner/spool/spamassassin/

# get the spam and ham counts from bogofilter - this just prints how many spam and ham you collected so far...
/opt/bogofilter/bin/bogoutil -w /var/mailcleaner/spool/bogofilter/database/wordlist.db .MSG_COUNT

Sans oublier 

chmod 755 /opt/mailcleaner/scripts/gethamspam.sh
chmod 755 /opt/mailcleaner/scripts/imap-sa-learn.pl

Il appelle /opt/mailcleaner/scripts/imap-sa-learn.pl (http://forum.mailcleaner.org/viewtopic.php?f=3&t=836, voir aussi http://www.gagravarr.org/code). Le script crée une base /root/.bogofilter/wordlist.db et la copie dans /var/mailcleaner/spool/bogofilter/database. Il semble que les 2 emplacements soient nécessaires (à vérifier à l'occasion).

Notepad.gif NOTE: PENSER a changer le propriétaire de /var/mailcleaner/spool/bogofilter/database/wordlist.db pour que mailcleaner puisse le modifier! 

chown mailcleaner:mailcleaner /var/mailcleaner/spool/bogofilter/database/wordlist.db

Créer un fichier dans cron.d (appelé gethamspam sans ".sh" car cron ne prend pas toujours) 

#
# cron-jobs for bayes bogofilter database
#
MAILTO=root
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
00 06 * * *	root /opt/mailcleaner/scripts/gethamspam.sh >> /var/log/gethamspam.log 2>&1

Paramétrer logrotate pour archiver /var/log/gethamspam.log : créer /etc/logrotate.d/gethamspam contenant : 

/var/log/gethamspam.log {
	weekly
	rotate 3
	compress
	nomail
	notifempty
	missingok
}

SLAVE : si des Mailcleaner de secours sont en cluster avec celui-ci, une fois les bases copiées par le script, il faut les traiter.

  • la base Bogofilter n'a pas besoin d'intervention
  • la base Spamassassin doit être restaurée sur le slave, par exemple par un script de ce genre :
#!/bin/bash
if [ -f /var/mailcleaner/spool/spamassassin/spambayes.tgz ]
then
  rm -f /var/mailcleaner/spool/spamassassin/spambayes.tgz
fi
tar -cvf /var/mailcleaner/spool/spamassassin/spambayes.tgz /var/mailcleaner/spool/spamassassin/bayes*
if [ -f /var/mailcleaner/spool/spamassassin/spamass_rules.bak ]
then
  sa-learn -p /usr/mailcleaner/etc/mailscanner/spam.assassin.prefs.conf --siteconfigpath /usr/mailcleaner/share/spamassassin --restore /var/mailcleaner/spool/spamassassin/spamass_rules.bak
  rm -f /var/mailcleaner/spool/spamassassin/spamass_rules.bak
fi

Activer le module dans l'interface. Le déclarer non décisif. Il doit faire partie du score de spamassassin mais pas plus, sinon il y a trop de faux-positifs.

Pour l'intégrer à spamassassin, créer une règle (dans un fichier xxxxx.cf à créer dans /usr/share/mailcleaner/share/spamassassin) : 

 # Custom rules
 header LOCAL_NICEBAYES_HEADER    X-NiceBayes =~ /is spam/
 describe LOCAL_NICEBAYES_HEADER  NiceBayes header detected
 score LOCAL_NICEBAYES_HEADER     1.5

Règles custom spamassassin

Modifier la configuration de sa-update (procédure selon ces préconisation (ajout de channels, surtout) : 

 * http://forum.mailcleaner.org/viewtopic.php?f=15&t=964
 * http://forum.mailcleaner.org/viewtopic.php?f=3&t=1776)

Pour commencer, créer les répertoires, importer les clés spamassassin et les règles updates en une seul commande : 

/usr/local/bin/sa-update -v

Intégrer la clé GPG du canal Sought : 

wget http://yerp.org/rules/GPG.KEY
/usr/local/bin/sa-update --import GPG.KEY

créer /opt/mailcleaner/scripts/sa-update-customs.sh 

#!/bin/bash
# Spamassassin auto updater with custom channels
# First import key 6C6191E3 :
#  wget http://yerp.org/rules/GPG.KEY
#  sa-update --import GPG.KEY
SAUPD=/usr/local/bin/sa-update
$SAUPD --channel updates.spamassassin.org --updatedir /usr/mailcleaner/share/spamassassin >> /var/log/sa-update.log 2>&1
$SAUPD --gpgkey 6C6191E3 --channel sought.rules.yerp.org --updatedir /usr/mailcleaner/share/spamassassin >> /var/log/sa-update.log 2>&1
$SAUPD -v >> /var/log/sa-update.log 2>&1
wget http://www.pccc.com/downloads/SpamAssassin/contrib/KAM.cf >> /var/log/sa-update.log 2>&1
mv -f KAM.cf /usr/mailcleaner/share/spamassassin/KAM.cf
/usr/mailcleaner/etc/init.d/mailscanner restart

sans oublier 

chmod 755 /opt/mailcleaner/scripts/sa-update-customs.sh

et créer un lien dans cron.daily vers le script et paramétrer logrotate pour archiver /var/log/sa-update.log.

Modifier également /usr/mailcleaner/etc/mailscanner/spam.assassin.prefs.conf : 

 bayes_auto_learn 1
 bayes_auto_learn_threshold_spam 7.0
 bayes_auto_learn_threshold_nonspam -0.1

Règles custom Clamav (Clamspam)

Clamav est installé et lancé après l'installation de base, mais Clamspam ne démarre pas par défaut car il n'a pas de base. On va charger les bases custom. 

aptitude install rsync gnupg curl socat gzip dnsutils
mkdir -p /opt/mailcleaner/sanesecurity/cache
cd /opt/mailcleaner/install

Vérifier la dernière version du script sur http://downloads.sourceforge.net/project/unofficial-sigs/files 

wget http://downloads.sourceforge.net/project/unofficial-sigs/clamav-unofficial-sigs-3.7.2.tar.gz
tar -xvzf clamav-unofficial-sigs-3.7.2.tar.gz
cd /opt/mailcleaner/scripts
cp /opt/mailcleaner/install/clamav-unofficial-sigs-3.7.2/clamav-unofficial-sigs.sh .
cp /opt/mailcleaner/install/clamav-unofficial-sigs-3.7.2/clamav-unofficial-sigs.conf .
chmod 755 clamav-unofficial-sigs.sh

Modifier clamav-unofficial-sigs.sh : 

 default_config="/opt/mailcleaner/scripts/clamav-unofficial-sigs.conf"

Modifier les options suivantes dans clamav-unofficial-sigs.conf : 

 PATH="/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:/opt/clamav/bin"
 clam_dbs="/var/mailcleaner/spool/clamspam"
 clamd_pid="/var/mailcleaner/run/clamav/clamspamd.pid"
 reload_dbs="yes"
 #reload_opt="clamdscan --reload" # Commenter cette ligne
 reload_opt="/usr/mailcleaner/etc/init.d/clamspamd restart" # et ajouter celle-ci
 clamd_socket="/var/mailcleaner/run/clamav/clamspamd.sock"
 work_dir="/opt/mailcleaner/share/sanesecurity/cache"   #Top level working directory
 user_configuration_complete="yes"

Lancer le script une première fois, afin qu'il crée ses répertoires, ses fichiers de bases et fasse une première synchronisation.

Créer un lien pour un lancement journalier (ou dans cron.hourly si on veut un update toutes les heures !): 

ln -s /opt/mailcleaner/scripts/clamav-unofficial-sigs.sh /etc/cron.daily/clamav-unofficial-sigs

Scores Fuzzy

Fuzzy a une fâcheuse tendance à générer quelques faux-positifs. Notamment, la règle de vérification des types d'images boucle sur chaque image du mail, et si elle buggue (image non reconnue par rapport à son extension) pour une raison ou une autre, le score s’additionne pour chaque image. ça peut aller vite !

Donc, on baisse au moins ce score. Dans /etc/mailscanner/FuzzyOcr.cf_template (qui reconstruit /usr/mailcleaner/share/spamassassin/FuzzyOcr.cf à chaque redémarrage de mailcleaner) modifier : 

focr_wrongext_score 0.1

Relancer mailcleaner 

service mailcleaner restart

Whitelist / blacklist manuelles

  • Pour Spamassassin

Il est possible d'ajouter des filtres, par exemple une whitelist/blacklist manuelle : /usr/mailcleaner/share/spamassassin/lists-custom.cf de ce format : 

 whitelist_from          *.gooddomain.fr
 blacklist_from          *.baddomain.fr
 blacklist_from          mail@baddomain.fr

Et ne pas oublier : 

chown mailcleaner.mailcleaner /usr/mailcleaner/share/spamassassin/lists-custom.cf
  • Pour Greylistd pour les services utilisant plusieurs IPs (Google, Outlook...)

Ajouter un fichier /usr/mailcleaner/etc/greylistd/whitelist-hosts 

# Google
209.85.128.0/17

# Outlook.com / MS
207.46.0.0/16 

# Yahoo.com
216.109.112.0/20
216.39.48.0/20
98.136.0.0/14


Mise en cluster

sur les 2 serveurs : 

cat /etc/mailcleaner.conf | grep PWD

pour avoir les mots de passes des bases respectives.

Sur master : 

/usr/mailcleaner/scripts/configuration/slaves.pl

 1) change host settings (donner l'IP de ce serveur)
 4) add a slave (donner l'IP du serveur SLAVE)

Sur slave : 

/usr/mailcleaner/scripts/configuration/slaves.pl

 1) change host settings (donner l'IP de ce serveur)
 5) set this host as a slave (donner l'IP du serveur MAITRE)

Mises à jour

Commencer par un snapshot de la VM !!

Vérifier la version en cours de chacun des serveurs dans monitoring/status

Vérifier la dernière version ici : http://www.mailcleaner.org/doku.php/downloads:latest 

aptitude update
aptitude safe-upgrade
cd /usr/mailcleaner
cvs -q update -dP
source lib/updates/update_binaries.sh
stabilizeBinaries
install/install_perl_libs.sh
install/install_sa.sh
/usr/mailcleaner/bin/check_db.pl --update
/etc/init.d/mailcleaner restart


"Mutualisation" de Mailcleaner

On entend par là, faire profiter d'autres boîtes mails du filtrage de Mailcleaner. Pour ça rien de plus simple : 

apt-get install fetchmail

Créer un fichier /etc/fetchmailrc avec par exemple : 

defaults
proto pop3
set logfile "/var/log/fetchmaillog"
set daemon 300

# Fetchmail config
poll pop3.remotedomain.com with proto POP3
   user "mymail@remotedomain.com" with password "MON_PASS" is user@domainknownbyMC.com here
   smtphost "localhost" smtpname "user@domainknownbyMC.com"

touch /var/log/fetchmaillog
chown fetchmail /var/log/fetchmaillog
update-rc.d enable fetchmail
service fetchmail start

Validation de l'intallation

on peut tirer profit d'un scan complet chez MXTOOLBOX 

https://mxtoolbox.com/domain/serveurmx.domaine.fr

TIPS

  • Le slave n'a peut-être pas le bon nom de host pour la bannière SMTP. Dans /etc/mailcleaner.conf, si la ligne n'y est pas, ajouter :
HELONAME = mx2.domaine.fr

Puis relancer (par l'interface) le "incoming MTA"

  • /opt/mailcleaner/scripts/configuration/set_ip_config.sh pour changer l'ip du système
  • Changer le nom d'hôte : modifier dans /etc/hosts, /etc/hostname, et lancer /etc/init.d/hostname.sh
  • sur serveur SLAVE, si le message :
failed to open /var/mailcleaner/spool/tmp/mailcleaner/domains.list for linear search: No such file or directory

apparaît, lancer : 

/usr/mailcleaner/bin/dump_domains.pl
  • Test des règles de spam :
 /usr/mailcleaner/bin/is_spam.sh -D source-mail.eml
Récupérée de « https://wiki.kogite.fr/index.php?title=MailCleaner:_installation_et_configuration&oldid=6623 »