Supprimer une tâche stuck dans Prism

 

Lorsque vous upgrader NCC ou effectuer une autre opération sur le cluster Nutanix, celles-ci peuvent rester bloquées dans la console Prism à 0%

 

Pour vérifier l’état de vos tâches, connectez vous en ssh sur votre cluster et taper la commande « ncli progress-monitor list.

Dans notre cas, la tâche « Upgrading NCC on cluster – Pre Upgrade Steps » était en queued à 0% alors que les tâches d’upgrade NCC sur les nodes étaient terminées.

 

Vous pouvez également utiliser la commande « progress_monitor_cli fetchall et vous retrouverez les informations de la tâche bloquée telles que son id, le type d’opération et le nom de l’opération.

Ces infos vous seront nécessaire pour annuler la tâche bloquée.

 

Afin d’annuler la tâche bloquée, récupérer l’id de la tâche, l’opération et le type et utiliser la commande : “progress_monitor_cli –entity_id= »xxxx » –operation=upgrade_ncc –entity_type=cluster –delete :

 

 

nutanix-logo

 

Share

Audit Nutanix NCC en tâche planifiée. Schedule NCC

 

2016-10-07_16h50_25

 

 

 

RUN NCC !!!!!!

NCC est l’outil d’audit de votre plateforme Nutanix.

Une commande toute simple à passer afin de réaliser un contrôle très poussé de l’état de santé de votre cluster.

 ncc health_checks run_all

Quand faire tourner NCC  ?

  • Apres déploiement d’un tout nouveau cluster
  • Avant un Upgrade (NOS, Hyperviseur,…)
  • Apres un Upgrade
  • Apres une opération de maintenance
  • Avant d’ouvrir un ticket au support

 

 

Mais aussi de manière hebdomadaire afin de suivre l’état de santé de votre cluster.

Pour vous simplifier la vie, vous pouvez créer une tâche planifiée et recevoir votre rapport par mail.

 

Avant tout configurer les infos SMTP

2016-10-05_15h10_16

 

 

 

Configurer les destinataires des alertes & rapports

2016-10-05_14h14_33

2016-10-05_15h13_00

 

 

 

Enfin créer la tâche planifiée :

se connecter en SSH à une CVM, et passer les commandes :

 

Contrôler l’état

 

 

2016-10-05_14h19_12

 

 

 

Puis générer un rapport tous les 24H

 

 

2016-10-05_14h20_04

 

 

 

Vous recevrez par mail un beau reporting de ce genre et comme vous voyez j’ai du boulot.

 

2016-10-06_11h10_23

 

 

 

 

Share

Nutanix : Comment faire un Factory Reset d’une CVM

2016-08-30_17h43_22

 

 

Petite manip bien pratique permettant de faire un factory Reset d’une CVM sans avoir besoin de la réinstaller.

Dans notre cas après avoir perdu la main sur un de nos nœud pour un souci réseau, nous l’avons supprimé du cluster NDFS via cette procédure :

Nutanix : Comment supprimer un Node Down d’un cluster existant

 

Une fois notre problème réseau résolu, le nœud posant problème semble toujours configuré mais bien supprimer du cluster Nuta.

via cette commande, vous aurez toutes les IPs des CVM intégrées au cluster NDFS

 

 

Au lieu de tout réinstaller pour réintégrer via foundation une petite commande sympa et bien pratique pour remettre notre CVM à 0.

Mais attention cette commande n’est pas à prendre à la légère elle peut détruire votre cluster si elle est effectuée sur le mauvais nœud.

 

Sous le dossier Nutanix

 

 

Créer un fichier nommé « .node_unconfigure »

 

 

On redemarre Genesis

Stopping genesis (pids [2876, 2913, 2935, 2936])
Genesis started on pids [25076]

 

Un cluster Status, on vois notre CVM sans service tournant

2016-08-26 06:32:04 WARNING genesis_utils.py:842 Failed to reach a node where Genesis is up. Retrying… (Hit Ctrl-C to abort)
2016-08-26 06:32:06 WARNING genesis_utils.py:842 Failed to reach a node where Genesis is up. Retrying… (Hit Ctrl-C to abort)
2016-08-26 06:32:07 WARNING genesis_utils.py:842 Failed to reach a node where Genesis is up. Retrying… (Hit Ctrl-C to abort)
2016-08-26 06:32:08 WARNING genesis_utils.py:842 Failed to reach a node where Genesis is up. Retrying… (Hit Ctrl-C to abort)

 

 

 

 

Jettons un oeil sur les logs

 

 

On voit notre CVM prete à être découverte

2016-08-26 06:33:01 ERROR node_manager.py:4519 Zookeeper mapping is unconfigured
2016-08-26 06:33:01 INFO service_utils.py:293 Starting foundation with rlimits {5: 1073741824}
2016-08-26 06:33:01 INFO service_utils.py:311 Starting foundation with cmd /home/nutanix/foundation/bin/foundation –foreground |& /home/nutanix/cluster/bin/logpipe -o /home/nutanix/data/logs/foundation.out
2016-08-26 06:33:01 INFO service_utils.py:241 Setting oom score 100 for foundation with process id 26587.
2016-08-26 06:33:01 INFO firewall_utils.py:114 Adding iptables rule using command sudo iptables -A WORLDLIST -p tcp -m tcp –dport 8000 -j ACCEPT -m comment –comment foundation
2016-08-26 06:33:02 INFO firewall_utils.py:114 Adding iptables rule using command sudo ip6tables -A INPUT -p tcp -m tcp –dport 8000 -j ACCEPT -m comment –comment foundation
2016-08-26 06:33:02 INFO node_manager.py:4546 Waiting for node to become configured through RPC.
2016-08-26 06:33:26 ERROR node_manager.py:4519 Zookeeper mapping is unconfigured
2016-08-26 06:33:26 INFO disk.py:746 Disk /dev/sdf is not a self encrypting drive
2016-08-26 06:33:26 INFO disk.py:746 Disk /dev/sdc is not a self encrypting drive
2016-08-26 06:33:26 INFO disk.py:746 Disk /dev/sde is not a self encrypting drive
2016-08-26 06:33:26 INFO disk.py:746 Disk /dev/sdb is not a self encrypting drive
2016-08-26 06:33:26 INFO disk.py:746 Disk /dev/sdd is not a self encrypting drive
2016-08-26 06:33:26 INFO disk.py:746 Disk /dev/sda is not a self encrypting drive

 

 

On voit clairement :

INFO node_manager.py:4546 Waiting for node to become configured through RPC

 

 

 

 

 

 

Share

Nutanix : Comment supprimer un Node Down d’un cluster existant

 

Si vous vous retrouvez avec un node down qui n’est plus disponible sous le cluster NDFS suite à un gros crash, ou réinstallation,…, il vous faudra le retirer,

Mais pas si simple si vous faite sur Hardware => Diagram => Remove Host

2016-08-23_11h26_43

 

Vous aurez le message, car votre node n’est plus joignable

2016-08-23_11h27_322

 

« Usage of the storage in this node couldn’t be computed at this time. Removing node xxxxxx-xxxx-xxxx-xxxx can cause disruptive shortage of storage in the cluster. Use the ‘SkipSpaceCheck’ option to forcelly mark this host for removal »

 

 

On doit donc jouer de ligne commande pour supprimer le nœud.

 

Récupérer l’ID de votre nœud fournis dans la notification.

Pour nous : db806c20-1ffd-4912-bd68-aeeb822ac3ea

 

on passe en ncli

On exécute la commande avec l’option :

skip-space-check=true : pour ne pas lancer de contrôle de disponibilité de stockage.

 

 

2016-08-23_12h54_45

 

 

 

Attendre une dizaine de minutes vous pourrez observer dans Prism, la suppression du node.

 

2016-08-23_12h55_45

 

 

 

Et voila

 

 

 

 

 

 

Share

Nutanix : Installer un Node manuellement

 

Si comme moi vous avez pu rencontrer des soucis d’installation via Foundation Standalone. vous avez toujours la possibilité d’installer vos jouets manuellement.

Le but de cette installation est d’étendre un cluster existant.

Sur vos serveurs fraîchement raqués, demander a ne pas mettre de vlan sur les ports 10Gbits et que les nouveaux nœuds soient sur le même réseau que celui de vos CVM

 

 

Création du ISO Phoenix

Sur votre VM Foundation Standalone.

Bien mettre votre bonne version de NOS dans le répertoire : /home/nutanix/foundation/nos

Via le terminal lancer cette ligne de commande afin de générer depuis le NOS un ISO

Dans /home/nutanix/foundation/bin , lancer la commande :

 

 

D:\ScreenShot\Screenpresso\2016-08-10_12h15_49.jpg

 

Vous aurez en résultat de cette commande la création d’un ISO

Récupérer celui-ci sur votre poste local.

 

 

 

Configurer IPMI

Pour se faire vous avez la possibilité de paramétrer vos IPMI via Foundation Standalone.

Ou via l’écran lors du boot du serveur lorsque le logo « Nutanix » apparaît en appuyant la touche « DEL » pour rentrer dans le BIOS sous : IPMI => BMC Network Configuration »

 

 

 

 

 

Installation de l’Hyperviseur

 

Se connecter à votre IP IPMI via un browser et ouvrir une console.

Monter votre ISO d’hyperviseur

Virtual media => Virtual Storage

 

Cliquer ensuite sur « Plug-IN »

 

 

Je ne vais pas vous faire le step by step sur l’installation d’ESXi. Le point principal est d’installer l’OS ESXi sur le stockage mis a disposition pour, c’est à dire le SATADOM (Pour SuperMicro)

 

 

 

 

 

 

Installation CVM

Une fois l’ESXi installé, relancer le serveur en le faisant booter sur l’ISO crée précédemment (Phoenix ISO)

 

Sur l’écran de l’installeur :

  1. Donner la position du noeud
  2. cocher : Configure hypervisor & Clean CVM
  3. Start pour lancer l’installation

 

Pour Rappel la position des Nodes 

2016-08-19_15h45_08

 

 

 

Laisser faire la magie

 

 

 

Lors de l’installation, l’ISO Phoenix :

  • Déploie la CVM sur l’ESX
  • Déploie une VIB sur l’ESX
  • Depuis cette VIB un script est lancé afin de paramétrer l’ESXi

 

 

 

 

Laissez votre serveur redémarrer. Et on recommence l’OP sur tous les nœuds du bloc.

 

 

Ajout au cluster NDFS

Pour ma part pas besoin de lancer une configuration manuelle de mes CVM, car ces nœuds sont pour éteindre un cluster existant.

J’ai tout de même du attendre 15 minute avant que tous mes nœuds soient découvrable

Sur le Prism, de mon cluster existant faire un « Expand cluster »

 

 

 

Et voila !!!!

 

 

 

Share