Sortie hier, cette appliance était très attendue. Nous avons donc téléchargé l’ova de SexiLog. Ce logiciel a été développé par nos compères blogger de chez hypervisor.fr et vmdude.fr. Cette appliance est basé sur ELK stack (ElasticSearch, Logstash et Kibana) :
Vous pouvez l’utiliser pour analyser les logs de vos ESXi, Windows, de votre vCenter et de Veeam.
Voici les ports à utiliser pour chacun de ces éléments :
- UDP/514 pour ESXi
- UDP/162 pour les traps SNMP
- UDP/1514 pour les logs vCenter
- UDP/1515 pour les eventlog Windows
Par défaut, l’ova est configuré pour recevoir 1500 messages par secondes, ce qui correspond à un environnement de 20 ESXi. SI vous avez besoins d’augmenter cela vous pouvez jouer sur la mémoire/CPU et la taille des disques de la VM.
Installation de l’OVA
Déployez l’ova dans votre infrastructure et lancez la VM. Au boot connectez-vous avec le login root et le mot de passe Sex !Log.
Attention le clavier est en qwerty US.
En premier lieu, si vous souhaitez passer en AZERTY, dans le menu tapez 6 et validez le changement en fr :
SexiLog est préconfiguré pour récupérer une IP en DHCP. Si vous avez un DHCP de configuré, vous devez récupérer une IP automatiquement. Si vous souhaitez utiliser une IP statique, dans le menu utilisez l’option 5. Saisissez n pour la configuration en DHCP et renseignez ensuite les informations réseaux ip, netmask, gateway, dns et hostname. Vous ne devez renseigner qu’un seul DNS :
Pour prendre en compte les changements l’appliance va rebooter :
Au reboot, tester la connectivité de votre appliance. Vous devez également voir les services elasticsearch, logstash, riemann et node-app en RUNNING.
L’option 4 du menu permet de redémarrer les services de SexiLog, à savoir elasticsearch, logstash, riemann et node-app. L’option 5 permet de changer vos paramètres réseaux, l’option 6 changer de type de clavier et l’option 7 de configurer le service Riemann.
Nous allons ici, configurer le service Riemann. Saisissez 7 et y :
Renseignez l’adresse de votre serveur SMTP, l’adresse mail utilisé pour envoyer les mails et l’adresse mail qui les recevra. Validez les informations :
Redirigez vos logs ESXI vers l’appliance SexiLog
Pour cela, depuis les advanced settings de vos ESXi, renseignez dans Syslog, global, Syslog.global.loghost la valeur suivante : udp://ipsexilog :514
Vérifiez que le firewall de vos ESXi a le port 514 ouvert :
Maintenant que votre appliance est configuré, connectez-vous via un navigateur web sur l’url http://ipsexilog
Vous arrivez sur la page suivante :
Vous devez voir les informations remontées par vos ESXi.
Dans « QUERY » vous pouvez tapez les mots clés de vos recherches. Par exemple un ESXi en particulier :
Une tâche :
Vous pouvez également effectuez plusieurs recherches en simultanées en cliquant sur le + dans la barre de recherche. Vous pouvez également en cliquant sur le rond de couleur changer la couleur pour chaque recherche :
On voit ici les alertes remontées en rouge et les logs de mon ESXi en jaune.
Une autre recherche sur 4 ESXi différents :
Dans All Events, vous allez retrouver tous les évènements si vous n’avez pas fait de recherche particulière ou les évènements correspondant à vos recherches :
Dans All Events, cliquez sur la flêche -> (show field list) et vous pouvez voir la partie Fields qui correspond à des types d’évènements. Là encore très intéressant, si vous souhaitez faire une recherche sur un esxi en particulier vous pouvez dans Query renseigner le nom de l’esxi et dans Fields sélectionnez la catégorie qui vous intéresse, par exemple esx_problem ou alert qui peuvent vous remonter tous les problèmes et alertes pour la recherche effectuée :
Juste en dessous de Fields, il y a All / Current. Selon la recherche que vous effectuez et les logs retournés, dans Current vous trouverez les catégories trouvées dans les logs retournés. Par exemple sur la recherche d’un ESXi, je vois ici que j’ai que 40 catégories trouvées dans les logs. Si vous cliquez sur Current, la liste des catégories trouvées s’affiche, vous pouvez ensuite sélectionner la catégorie que vous voulez :
Lorsque vous avez un log dans la liste, cliquez dessus pour avoir plus d’information :
Vous pouvez bien entendu créer vos propres dashboard. Celui par défaut se nomme SexiHome. Il y en a plusieurs prédéfinis se trouvant en haut à droite dans « Load » :
Chaque Dashboard à une fonction bien précise, on vous laissera les découvrir par vous-même, voir créer les votre. Par exemple le vMotionDowntime, FailedTo ou encore le dashboard Kommandantur remontant les alerts :
Récupérer les logs de Veeam
Pour récupérer les logs des Jobs Veeam, sur votre serveur Windows, activez la fonctionnalité SNMP :
Configurez le service pour utiliser la communauté public :
Allez dans les Options de Veeam. Pour cela, dans le menu en haut à gauche, sélectionnez Options :
Allez dans l’onglet SNMP Settings et renseignez dans Receiver, l’ip ou FQDN de votre serveur SexiLog, le port 162 et la communauté Public :
Ensuite, pour chaque Job, éditez vos jobs et allez dans le menu storage :
Cliquez sur l’onglet Advanced et allez dans l’onglet Navigation et cochez « Send SNMP notifications for this job » :
Lancez vos jobs et depuis l’interface web de votre appliance SexiLog, chargez le dashboard VeeamBR :
SexiLog vous aidera à voir la progression de vos jobs dans le temps. Cliquez sur Query et remplacez les champs « VEEAM_backupJobName.raw.job0x » par « snmptrapd AND « NomDuJob » le nom du ou des jobs à surveiller :
Dans Fields, sélectionnez les catégories correspondant à Veeam afin de pouvoir mieux analyser les résultats de vos Jobs :
Vous pouvez ensuite d’un coup d’œil voir ce qui va ou non :
Pour sauvegarder votre dashboard personnaliser, en haut à droite cliquez sur Save :
Vous le retrouver dans la liste de vos dashboards :
Troubleshooting Veeam / SexiLog :
Nous avons rencontré un problème lors de la récupération des traps SNMP du serveur Veeam par SexiLog. La trap était bien reçu mais mal interprétée et le tag associé à la trap était “_grokparsefailure” au lieu d’un tag “VEEAM”. Par conséquent, les catégories Veeam n’était pas disponible dans Fields.
Après troubleshoot, on a trouvé dans les logs de /var/log/logstash/logstash.err, le message suivant :
/opt/logstash/vendor/bundle/jruby/1.9/gems/jls-grok-0.10.12/lib/grok-pure.rb:144 warning: character class has ‘-‘ without escape
Le caractère “-“ nous a mis la puce à l’oreille puisque le FQDN de notre serveur veeam était veeam-srv. Nous l’avons renommé en veeamsrv et désormais tout fonctionne très bien.
Il faut donc éviter les ‘-‘ dans le FQDN de votre serveur Veeam, cela peut poser problème.
Récupérer les logs de votre appliance vCenter
Afin de récupérer les logs de votre appliance VCSA, connectez-vous sur votre VCSA en ssh ou en shell puis allez dans /etc/syslog-ng :
Editez le fichier syslog-ng.conf et ajoutez les lignes ci-dessous à la fin du fichier :
source vpxd {
file(“/var/log/vmware/vpx/vpxd.log” follow_freq(1) flags(no-parse));
file(“/var/log/vmware/vpx/vpxd-alert.log” follow_freq(1) flags(no-parse));
file(“/var/log/vmware/vpx/vws.log” follow_freq(1) flags(no-parse));
file(“/var/log/vmware/vpx/vmware-vpxd.log” follow_freq(1) flags(no-parse));
file(“/var/log/vmware/vpx/inventoryservice/ds.log” follow_freq(1) flags(no-parse));
};
destination loginsight { udp(“10.161.129.174”); };
log { source(vpxd); destination(loginsight); };
Redémarrer le service syslog :
Depuis votre appliance SexiLog, faites une recherche sur le FQDN ou l’ip de votre VCSA, vous devriez voir arrivez les logs :
Récupérer les logs de votre vCenter Windows
Afin de récupérer les logs de votre vCenter windows, installer nxlog sur votre serveur.
Téléchargeable ici : http://nxlog.co/products/nxlog-community-edition/download
Installer le sur votre serveur :
Récupérer ensuite le fichier de configuration ici : https://github.com/sexilog/sexilog/blob/master/nxlog/nxlog.conf
Remplacer le fichier C:\Program Files (x86)\nxlog\conf\nxlog.conf par celui téléchargé et éditez la ligne xx « 127.0.0.1 » par l’ip ou le FQDN de votre appliance SexiLog :
Démarrer ensuite le service nxlog :
Depuis votre appliance SexiLog, faites une recherche sur l’ip ou le FQDN de votre vCenter. Vous devriez voir les logs arrivez :
Si vous souhaitez changer la vue de votre graphe, cliquez sur le View à gauche de votre graphe et décochez Bars et sélectionnez lines :
Ici encore, même topo que pour les ESXi vous pouvez effectuer des recherches par mots clés et aussi utiliser les catégories dans Fields.
Cet article n’est pas encore terminé, nous l’alimenterons au fur et à mesure que nous utiliserons l’outil. Cependant, vous l’aurez compris, après une première approche on est vraiment séduit par ce SexiLog très facile d’utilisation et fournit avec des dashboards très utiles et qui de plus est gratuit et de fabrication française.
On remercie et félicite Raphael Schitz et Frédéric Martin pour leur superbe travail.
Très bonne présentation, merci beaucoup !
PS: juste une typo sur le blog, c’est http://www.vmdude.fr 😉
Merci pour le retour. C’est modifié 🙂
Super !! A tester
Très bonne présentation , cependant est-il possible de sécuriser l’accès au serveur web de sexilog ?
Pour securiser l’accès au serveur web de SexiLog, de base ce n’est pas possible (Kibana ne le propose pas).
Par contre il doit etre possible de
– utiliser Elastic Shield pour la securisation des accès a SexiLog (mais compliqué a mettre en place)
– passer par le reverse proxy Apache pour ajouter une securité (genre htpasswd)
Pour toute les questions de debuging, je vous conseille de venir nous poser les question sur les chans officiels (https://gitter.im/sexibytes/sexilog), c’est plus facile pour nous 🙂