SexiLog – VMware Logs Analysis

 

 sexilog21

 

Sortie hier, cette appliance était très attendue. Nous avons donc téléchargé l’ova de SexiLog. Ce logiciel a été développé par nos compères blogger de chez hypervisor.fr et vmdude.fr. Cette appliance est basé sur ELK stack (ElasticSearch, Logstash et Kibana) :

 

sexilog01

 

Vous pouvez l’utiliser pour analyser les logs de vos ESXi, Windows, de votre vCenter et de Veeam.

Voici les ports à utiliser pour chacun de ces éléments :

  • UDP/514 pour ESXi
  • UDP/162 pour les traps SNMP
  • UDP/1514 pour les logs vCenter
  • UDP/1515 pour les eventlog Windows

 

Par défaut, l’ova est configuré pour recevoir 1500 messages par secondes, ce qui correspond à un environnement de 20 ESXi. SI vous avez besoins d’augmenter cela vous pouvez jouer sur la mémoire/CPU et la taille des disques de la VM. 

 

Installation de l’OVA

 

Déployez l’ova dans votre infrastructure et lancez la VM. Au boot connectez-vous avec le login root et le mot de passe Sex !Log.

Attention le clavier est en qwerty US.

 

sexilog02

 

En premier lieu, si vous souhaitez passer en AZERTY, dans le menu tapez 6 et validez le changement en fr :

 

sexilog03

 

SexiLog est préconfiguré pour récupérer une IP en DHCP. Si vous avez un DHCP de configuré, vous devez récupérer une IP automatiquement. Si vous souhaitez utiliser une IP statique, dans le menu utilisez l’option 5. Saisissez n pour la configuration en DHCP et renseignez ensuite les informations réseaux ip, netmask, gateway, dns et hostname. Vous ne devez renseigner qu’un seul DNS :

 

sexilog04

 

Pour prendre en compte les changements l’appliance va rebooter :

 

sexilog05

 

Au reboot, tester la connectivité de votre appliance. Vous devez également voir les services elasticsearch, logstash, riemann et node-app en RUNNING.

 

sexilog06

 

L’option 4 du menu permet de redémarrer les services de SexiLog, à savoir elasticsearch, logstash, riemann et node-app. L’option 5 permet de changer vos paramètres réseaux, l’option 6 changer de type de clavier et l’option 7 de configurer le service Riemann.

Nous allons ici, configurer le service Riemann. Saisissez 7 et y :

 

sexilog07

 

Renseignez l’adresse de votre serveur SMTP, l’adresse mail utilisé pour envoyer les mails et l’adresse mail qui les recevra. Validez les informations :

 

sexilog08

 

Redirigez vos logs ESXI vers l’appliance SexiLog 

 

Pour cela, depuis les advanced settings de vos ESXi, renseignez dans Syslog, global, Syslog.global.loghost la valeur suivante : udp://ipsexilog :514

 

sexilog09

 

Vérifiez que le firewall de vos ESXi a le port 514 ouvert :

http://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=2003322

 

Maintenant que votre appliance est configuré, connectez-vous via un navigateur web sur l’url http://ipsexilog

Vous arrivez sur la page suivante :

 

sexilog10

 

Vous devez voir les informations remontées par vos ESXi.

Dans « QUERY » vous pouvez tapez les mots clés de vos recherches. Par exemple un ESXi en particulier :

 

sexilog11

 

Une tâche :

 

sexilog12

 

Vous pouvez également effectuez plusieurs recherches en simultanées en cliquant sur le + dans la barre de recherche. Vous pouvez également en cliquant sur le rond de couleur changer la couleur pour chaque recherche :

 

sexilog13

 

On voit ici les alertes remontées en rouge et les logs de mon ESXi en jaune.

Une autre recherche sur 4 ESXi différents :

 

sexilog14

 

Dans All Events, vous allez retrouver tous les évènements si vous n’avez pas fait de recherche particulière ou les évènements correspondant à vos recherches :

 

sexilog15

 

Dans All Events, cliquez sur la flêche -> (show field list) et vous pouvez voir la partie Fields qui correspond à des types d’évènements. Là encore très intéressant, si vous souhaitez faire une recherche sur un esxi en particulier vous pouvez dans Query renseigner le nom de l’esxi et dans Fields sélectionnez la catégorie qui vous intéresse, par exemple esx_problem ou alert qui peuvent vous remonter tous les problèmes et alertes pour la recherche effectuée :

 

sexilog16

 

Juste en dessous de Fields, il y a All / Current. Selon la recherche que vous effectuez et les logs retournés, dans Current vous trouverez les catégories trouvées dans les logs retournés. Par exemple sur la recherche d’un ESXi, je vois ici que j’ai que 40 catégories trouvées dans les logs. Si vous cliquez sur Current, la liste des catégories trouvées s’affiche, vous pouvez ensuite sélectionner la catégorie que vous voulez :

 

sexilog17

 

Lorsque vous avez un log dans la liste, cliquez dessus pour avoir plus d’information :

 

sexilog18

 

Vous pouvez bien entendu créer vos propres dashboard. Celui par défaut se nomme SexiHome. Il y en a plusieurs prédéfinis se trouvant en haut à droite dans « Load » :

 

sexilog19

 

Chaque Dashboard à une fonction bien précise, on vous laissera les découvrir par vous-même, voir créer les votre. Par exemple le vMotionDowntime, FailedTo ou encore le dashboard Kommandantur remontant les alerts :

 

sexilog20

 

Récupérer les logs de Veeam

 

Pour récupérer les logs des Jobs Veeam, sur votre serveur Windows, activez la fonctionnalité SNMP :

 

 sexilog24

 

 

Configurez le service pour utiliser la communauté public :

 

sexilog25

 

sexilog26

 

Allez dans les Options de Veeam. Pour cela, dans le menu en haut à gauche, sélectionnez Options :

 

sexilog27

 

Allez dans l’onglet SNMP Settings et renseignez dans Receiver, l’ip ou FQDN de votre serveur SexiLog, le port 162 et la communauté Public :

 

sexilog28

 

Ensuite, pour chaque Job, éditez vos jobs et allez dans le menu storage :

 

sexilog29

 

Cliquez sur l’onglet Advanced et allez dans l’onglet Navigation et cochez « Send SNMP notifications for this job » :

 

sexilog30

 

Lancez vos jobs et depuis l’interface web de votre appliance SexiLog, chargez le dashboard VeeamBR :

 

sexilog31

 

SexiLog vous aidera à voir la progression de vos jobs dans le temps. Cliquez sur Query et remplacez les champs « VEEAM_backupJobName.raw.job0x » par « snmptrapd  AND « NomDuJob » le nom du ou des jobs à surveiller :

 

sexilog32 

 

Dans Fields, sélectionnez les catégories correspondant à Veeam afin de pouvoir mieux analyser les résultats de vos Jobs :

 

sexilog33

 

Vous pouvez ensuite d’un coup d’œil voir ce qui va ou non :

 

sexilog34

 

Pour sauvegarder votre dashboard personnaliser, en haut à droite cliquez sur Save :

 

sexilog35

 

Vous le retrouver dans la liste de vos dashboards :

 

sexilog36

 

 

Troubleshooting Veeam / SexiLog :

Nous avons rencontré un problème lors de la récupération des traps SNMP du serveur Veeam par SexiLog. La trap était bien reçu mais mal interprétée et le tag associé à la trap était « _grokparsefailure » au lieu d’un tag « VEEAM ».  Par conséquent, les catégories Veeam n’était pas disponible dans Fields.

Après troubleshoot, on a trouvé dans les logs de /var/log/logstash/logstash.err, le message suivant :

/opt/logstash/vendor/bundle/jruby/1.9/gems/jls-grok-0.10.12/lib/grok-pure.rb:144 warning: character class has ‘-‘ without escape

Le caractère “-“ nous a mis la puce à l’oreille puisque le FQDN de notre serveur veeam était veeam-srv. Nous l’avons renommé en veeamsrv et désormais tout fonctionne très bien.

Il faut donc éviter les ‘-‘ dans le FQDN de votre serveur Veeam, cela peut poser problème.

 

 

Récupérer les logs de votre appliance vCenter

 

Afin de récupérer les logs de votre appliance VCSA, connectez-vous sur votre VCSA en ssh ou en shell puis allez dans /etc/syslog-ng :

 

sexilog42

 

Editez le fichier syslog-ng.conf et ajoutez les lignes ci-dessous à la fin du fichier :

 

source vpxd {

file(« /var/log/vmware/vpx/vpxd.log » follow_freq(1) flags(no-parse));

file(« /var/log/vmware/vpx/vpxd-alert.log » follow_freq(1) flags(no-parse));

file(« /var/log/vmware/vpx/vws.log » follow_freq(1) flags(no-parse));

file(« /var/log/vmware/vpx/vmware-vpxd.log » follow_freq(1) flags(no-parse));

file(« /var/log/vmware/vpx/inventoryservice/ds.log » follow_freq(1) flags(no-parse));

};

destination loginsight { udp(« 10.161.129.174 »); };

log { source(vpxd); destination(loginsight); };

 

 

sexilog43

 

 

Redémarrer le service syslog :

 

sexilog44

 

Depuis votre appliance SexiLog, faites une recherche sur le FQDN ou l’ip de votre VCSA, vous devriez voir arrivez les logs :

 

sexilog45

 

 

Récupérer les logs de votre vCenter Windows

 

Afin de récupérer les logs de votre vCenter windows, installer nxlog sur votre serveur.

Téléchargeable ici : http://nxlog.co/products/nxlog-community-edition/download

Installer le sur votre serveur :

 

sexilog37

 

Récupérer ensuite le fichier de configuration ici : https://github.com/sexilog/sexilog/blob/master/nxlog/nxlog.conf

 

Remplacer le fichier C:\Program Files (x86)\nxlog\conf\nxlog.conf par celui téléchargé et éditez la ligne xx « 127.0.0.1 » par l’ip ou le FQDN de votre appliance SexiLog :

 

sexilog38

 

Démarrer ensuite le service nxlog :

 

sexilog39

 

Depuis votre appliance SexiLog, faites une recherche sur l’ip ou le FQDN de votre vCenter. Vous devriez voir les logs arrivez :

 

sexilog40

 

Si vous souhaitez changer la vue de votre graphe, cliquez sur le View à gauche de votre graphe et décochez Bars et sélectionnez lines :

 

sexilog41

 

Ici encore, même topo que pour les ESXi vous pouvez effectuer des recherches par mots clés et aussi utiliser les catégories dans Fields.

 

 

 

Cet article n’est pas encore terminé, nous l’alimenterons au fur et à mesure que nous utiliserons l’outil. Cependant, vous l’aurez compris, après une première approche on est vraiment séduit par ce SexiLog très facile d’utilisation et fournit avec des dashboards très utiles et qui de plus est gratuit et de fabrication française.

 

On remercie et félicite Raphael Schitz et Frédéric Martin pour leur superbe travail.

 

 

5 thoughts on “SexiLog – VMware Logs Analysis

  1. Très bonne présentation, merci beaucoup !

    PS: juste une typo sur le blog, c’est http://www.vmdude.fr 😉

  2. Super !! A tester

  3. sbrib

    Très bonne présentation , cependant est-il possible de sécuriser l’accès au serveur web de sexilog ?

    • Pour securiser l’accès au serveur web de SexiLog, de base ce n’est pas possible (Kibana ne le propose pas).
      Par contre il doit etre possible de
      – utiliser Elastic Shield pour la securisation des accès a SexiLog (mais compliqué a mettre en place)
      – passer par le reverse proxy Apache pour ajouter une securité (genre htpasswd)

      Pour toute les questions de debuging, je vous conseille de venir nous poser les question sur les chans officiels (https://gitter.im/sexibytes/sexilog), c’est plus facile pour nous 🙂

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

You may use these HTML tags and attributes:

<a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code class="" title="" data-url=""> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong> <pre class="" title="" data-url=""> <span class="" title="" data-url=""> 


*