NSX : Troubleshoot / Test de connectivité vXLAN entre 2 ESXi / vTEP / NSX Controller

 

 

Lors de l’implémentation d’une infrastructure NSX avec du vXLAN, il est important une fois avoir configuré vos ESXi / vTEP et NSX Controller de faire un test de connectivité avant d’aller plus loin. Pour éviter de deployer EDGE et LDR puis tout casser et je sais de quoi je parle   ;-p

 

 

Avant tout contrôler l’état de votre cluster

 

2016-04-29_15h54_52

 

 

 

Il est possible de réaliser un PING vXLAN entre 2 ESXi / vTEP, en envoyant des trames avec des tailles de paquets modifiés.

lister vos 2 VMkernel / vTEP de vos ESXi à tester (IP attribué via l’IP Pool)

 

2016-04-29_15h17_38

 

 

Connectez vous en SSH à l’un des 2 ESXi 

via la commande :

 

Les paramètres sont :

Ping  ++netstack=vxlan : PING en utilisant le STACK vXLAN de l’ESXi

-d   :   Ne pas fragmenter le paquet

-s   :    Taille du pacquet entre 1572 – 1600

-I    :     Depuis quel interface envoyer le PING

X.X.X.X   :     IP de destination

 

Et tester aussi depuis l’autre ESXi

 

2016-04-29_13h00_11

 

 

 

Si il n’y a pas de réponse au PING, il est fort probable que le MTU d’un de vos switch physique ne soit pas en 1600 ou un soucis de vLAN

 

 

Via le WEBUI

 

Sous Logical / Commutateurs logiques :

2016-04-29_15h39_19

 

Double cliquer sur votre « logical Wire »

Lancer un test entre 2 ESXi, un peu de la même manière que sous SSH mais en graphique.

2016-04-29_15h42_47

 

Si vous avez une erreur et que vous étes sûre de votre MTU, allez jeter un œil sur votre ou vos Controller NSX

 

 

 

NSX Controller

 

Dans notre LAB, nous en avons déployé qu’un seul NSX Controller.

 

se connecter dessus en SSH

Exécuter la commande 

show control-cluster status

 

2016-04-29_15h50_32

 

 

D’autre commandes sont a essayer :

show control-cluster roles

2016-04-29_15h47_03

 

show control-cluster connections

show control-cluster core stats

show network interface

 

 

En gros faite des Ping de tous les cotés, verifier vos vLAN, Gateway, promiscuous mode  de vos vSwtichs (LAB FULL virtuel), gateway physique,…

 

 

 

 

Share

NSX : Ajout NSX Manager Erreur : Initialization of STS clients failed …

 

Petite erreur, que je pense que plus d’un, ont du rencontrer enfin j’espère pour moi.

Ayant déjà dans le passé  mis en place un NSX manager sous un environnement vSphere 5.5, c’est naturellement que lors de l’interconnexion du NSX manager avec le SSO vCenter j’entre le port 7444

 

Et sans comprendre je me retrouve avec cette erreur.

error :

NSX Management Service operation failed. (Initialization of STS Clients failed. Root cause. The SSL certificate of STS service cannot be verified)

 

2016-04-12_17h27_30

 

 

On google un peu et je trouve que d’autre nœuds nœuds comme moi on fait cette erreur sur les communities VMware.

Bah tout simplement que le port d’écoute SSO sur vCenter 6, est 443 et non 7444 (sous vSphere 5.x)

 

On edit :

2016-04-12_17h29_07

 

 

Et la cela marche bien mieux avec le port 443

2016-04-12_17h29_45

 

2016-04-12_17h29_53

 

 

Si tu es la c’est que tu es surement un ami nœud nœud toi aussi  ;-p

 

 

 

 

 

Share

NSX : Routage Dynamique avec OSPF

 

Suite à l’article précédent sur le routage statique, nous souhaitons mettre en place le routage entre le réseau intranet et extranet mais ce de façon dynamique.

Avant de commencer, petit rappel de ce qu’est le routage dynamique OSPF.

 

Open Shortest Path First (OSPF) :

 

OSPF est un protocole de routage dynamique à état de liens. Ils récupèrent les informations d’état des nœuds et de la topologie du réseau afin de déterminer le chemin le plus cours. Les routeurs OSPF communiquent les réseaux auxquels ils sont connectés entre eux et s’échangent leur table de routage via des messages Link-state advertisements (LSA). L’ensemble des LSA forme une base de données à état de liens appelée Link-state Database (LSDB) pour chaque aire et qui est identique pour tous les routeurs faisant partie de l’aire. Ceci permet à tous les routeurs d’avoir la même connaissance des réseaux dans l’aire.

 

Mise en place du routage

 

Dans un premier temps, il faut définir le Router-ID avant d’activer OSPF. Le router-ID est un identifiant spécifique d’un routeur dans une base OSPF. Il doit être unique. Ici le router ID est l’ip de l’interface du routeur.

En double cliquant sur le routeur depuis l’interface NSX puis dans Manage allez dans Routing et Global Configuration. Dans Dynamic Routing Configuration cliquez sur Edit et sélectionnez votre Uplink EXTERNAL :

 

 

Activez les logs si vous le souhaitez.

Publiez les modifications :

 

 

Il faut maintenant activer OSPF. Allez dans l’onglet Routing et éditez les paramètres et activez OSPF :

 

 

Si vous cochez Enable Default Originate, la route par défaut renseignez aux routeurs voisins sera l’IP du routeur sur lequel vous cochez l’option.

Publiez les modifications :

 

 

Nous allons maintenant ajouter une Aire.

Rappel : Chaque aire est identifiée par un numéro et possède sa propre topologie partagée par les routeurs dans l’aire. Chaque routeur faisant partie d’une aire ne connaît que les routeurs de sa propre aire ainsi que le chemin pour atteindre la zone particulière Area 0. Toutes les aires doivent être connectées à l’aire 0 (appelée aire de backbone).

Exemple de découpage d’aires :

 

 

Sur cet exemple, les routeurs de l’aire 10 ne connaissent pas les routeurs de l’aire 20, l’aire 30 ou l’aire 40. Ils ne connaissent donc pas la topologie du réseau de ces zones. L’intérêt ici est de limiter le trafic de routage, réduire les calculs des chemins et d’avoir une table de routage plus petite permettant d’accélérer la convergence. Les routeurs à cheval sur 2 airs sont un peu particuliers, on les appelle les ABR (Area Border Router). Ils maintiennent une base de données topologique pour chaque zone connectés. L’activation d’OSPF permettra de redistribuer les routes entre les routeurs afin que toutes les zones puissent communiquer entre elles.

Dans notre cas, nous avons un routeur NSX Edge Gateway (ABR) faisant partie de l’area 0 et 7 et un logical routeur faisant partie de l’area 7 :

 

area-nsx

 

Nous allons configurer OSPF sur les deux routeurs, ce qui permettra d’établir la communication entre le réseau 192.168.20.0/24 et les réseaux WEB, BDD et APP.

 

 

Configuration sur le routeur NSX Edge Service Gateway

 

Depuis Networking & Security, NSX Edges, double cliquez sur le NSX Edge Gateway et allez dans l’onglet Routing :

 

 

Ici nous allons renseignez le Router ID. Pour cela, dans la partie Dynamic Routing Configuration cliquez sur Edit. Sélectionnez l’interface uplink du routeur.

 

 

Validez et cliquez sur Publish Changes :

 

 

Allez ensuite dans la partie OSPF et dans OSPF Configuration cliquez sur Edit. Activez OSPF :

 

 

Validez et cliquez sur Publish Changes :

 

 

Créer une Aire de type Normal dans la partie Area Definitions et validez :

 

 

Il est nécessaire de mapper une interface à une aire. Dans notre cas, nous allons mapper l’uplink à l’aire 0 et l’interface de transit à l’aire 7 :

 

 

Vous pouvez jouer sur les valeurs :

 

  • Hello Interval : intervalle de temps pour l’envoie des messages de découvertes des autres routeurs OSPF
  • Dead Interval : intervalle de temps ou un routeur silencieux est considéré comme HS
  • Priority : Priorité de l’interface du routeur. L’interface avec la plus haute priorité est le routeur désigné.
  • Cost : Est l’overhead par défaut requis pour envoyer des paquets à travers cette interface. Le Cost est inversement proportionnel à la largeur de bande de l’interface, plus elle est grande plus le coût est faible

 

Ici nous laissons par défaut.

 

 

Cliquez sur Publish Changes pour valider les modifications et allez dans Route Redistribution.

Dans la partie Route Redistribution Table cliquez sur Edit et l’activer pour OSPF :

 

 

Validez et faites Publish Changes.

Dans la partie Route Redistribution Table, nous allons ajouter les réseaux à redistribuer entre les aires. Nous allons ici sélectionner les réseaux connectés au routeur, à savoir 192.168.20.0/24 et 192.168.30.0/24. Nous autorisons ces sous réseaux :

 

 

Validez et faites Publish Changes :

 

 

Votre routeur NSX Edge Gateway est configuré. Votre VM Web ne doit pas à ce moment « pinger » la VM d’extranet :

 

 

Nous allons maintenant configurer OSPF sur le Logical Router.

 

 

Configuration sur le routeur logique

 

Depuis Networking & Security, NSX Edges, double cliquez sur le Logical Router et allez dans l’onglet Routing :

 

 

Ici nous allons renseignez le Router ID.

Attention ici, votre interface doit être un uplink. Si ce n’est pas le cas, dans Settings puis Interfaces, éditez l’interface de Transit et passer là en Uplink :

 

 

Dans la partie Dynamic Routing Configuration cliquez sur Edit. Sélectionnez l’interface uplink du routeur :

 

 

Validez et faites Publish Changes :

 

 

Allez ensuite dans la partie OSPF et dans OSPF Configuration cliquez sur Edit. Activez OSPF.

Dans Protocol Address, renseignez une IP qui est celle de la VM de contrôle pour le routeur logique. La VM de contrôle maintient le control plane d’OSPF, les relations avec les routeurs voisins et les propagations de routes.

Dans Forwarding Address, renseignez une IP qui est unique dans le même sous réseau que la protocol address. Cette IP est l’adresse de l’interface de la liaison montante.

Ici nous choisissons donc comme Forwarding Address l’ip de l’uplink 192.168.30.254 et comme IP pour la VM de contrôle une IP dans le même sous réseau 192.168.30.154.

 

 

Validez et cliquez sur Publish Changes :

 

 

Créer une Aire de type Normal avec le même ID que celle créée pour le routeur Nsx Edge Gateway. Validez et cliquez sur Publish Changes :

 

 

Il est nécessaire de mapper une interface à une aire. Dans notre cas, nous allons mapper l’uplink Transit à l’aire 7. Dans Area to Interface Mapping cliquez sur le + vert :

 

 

Ici nous laissons par défaut.

Cliquez sur Publish Changes pour valider les modifications et allez dans Route Redistribution.

Dans la partie Route Redistribution Table, vous devez voir la ligne ci-dessous déjà renseignée :

 

 

Si ce n’est pas le cas, ajoutez la redistribution des réseaux connectés :

 

 

À cette étape, vous devez pinger la VM extranet depuis votre VM Web :

 

 

Votre Logical Router est configuré.

 

 

Vérification et Troubleshooting – NSX Edge Gateway et Logical Router

 

Pour vérifier la table de routage, pour analyser ou troubleshooter vos routeurs NSX, vous pouvez utiliser la ligne de commande. Pour cela, connectez-vous en console ou en SSH sur un routeur. Comme sur un routeur Cisco vous avez une grande liste de commandes disponibles. Une fois connectez, faites un ? pour obtenir les commandes disponibles :

 

 

Comme sur un routeur Cisco vous pouvez passer en mode « enable », effectuez des commandes de debug, etc.

Une des commandes intéressantes ici est show. Tapez show ? pour lister les commandes disponibles :

 

 

Par exemple sur notre logical router, nous tapons la commande show ip ospf neighbor pour voir les routeurs OSPF voisins :

 

 

Pour visualiser la protocol interface, tapez la commande show ip ospf interface :

 

 

Pour visualiser la table de routage de votre routeur, tapez show ip route :

 

 

On voit bien ici que sur notre logical router, le réseau 192.168.20.0/24 est connu via OSPF. Les autres réseaux sont des réseaux connectés.

Depuis le Nsx Edge Gateway, voici la table de routage :

 

 

Pour aller plus loin dans les commandes CLI sur NSX, je vous invite à consulter le fichier suivant :

nsx_61_cli

 

 

NSX :

Partie 1 – NSX Présentation

Partie 2 – NSX : LAB Design

Partie 3 – Installer NSX Manager

Partie 4 – NSX : Mise en place du Control Plane / Control Cluster

Partie 5 – NSX : Déployer les modules VIB sur les ESXi

Partie 6 – NSX : Configurer les VXLAN

Partie 7 – NSX : Segment ID et Transport Zone

Partie 8 – NSX : Déployer les Logical Switches

Partie 9 – Présentation NSX Edge

Partie 10 – NSX : Installer un Logical Router

Partie 11 – Installer NSX Edge Service Gateway

Partie 12 – NSX : Présentation Logical Firewall

Partie 13 – NSX : Logical Firewall – Modification de règle par défaut

Partie 14 – NSX : Logical Firewall – Création d’une règle

Partie 15 – NSX : Présentation du Routage

Partie 16 – NSX : Routage Statique

Partie 17 – NSX : Routage Dynamique avec OSPF 

 

 

Share

NSX : Routage statique

 

Suite à l’article précédent, nous souhaitons que le réseau des VMs WEB (172.16.50.0/24) puissent atteindre notre réseau physique (192.168.20.0/24).

 

Pour cela nous avons deux actions à effectuer :

  • Première action : Ajouter une route statique à destination du réseau physique avec comme passerelle la NSX Edge Service Gateway: Cela permettra au Logical Router d’envoyer les packets destinations du réseau physique depuis le réseau Web vers le NSX Edge Service Gateway sur le réseau de transit (192.168.30.200). Ce qui veut dire que pour tous les réseaux qu’il ne connait pas (Autres que Web, Bdd, App et Transit), il enverra les paquets vers la NSX Edge Service Gateway.
  • Deuxième action : Ajouter une route statique sur le NSX Edge Service Gateway, indiquant que pour tout paquet à destination du réseau Web (172.16.50.0/24), la passerelle par défaut est le Logical Router sur le réseau de Transit (192.168.30.254).

 

 

Ajout de la route statique sur le Logical Router

 

Depuis Networking & Security, dans la partie NSX Edges, double cliquez sur le Logical Router (DLR-INTRA) et allez dans l’onglet Routing puis Static Routes. Cliquez sur le + vert. Renseignez le réseau physique et l’ip du NSX Edge dans le réseau de transit :

 

Puis validez :

 

 

 

Ajout de la route statique sur le NSX Edge Service Gateway

 

Depuis Networking & Security, dans la partie NSX Edges, double cliquez sur le NSX Edge Service Gateway (EDGE-GATEWAY-ALBAN) et allez dans l’onglet Routing puis Static Routes. Cliquez sur le + vert. Renseignez le réseau Web et l’ip du Logical Router dans le réseau de transit :

 

 

Une fois les deux routes statiques publiées, essayez de faire un ping depuis une VM Web vers votre VM Extranet :

 

 

Depuis la VM Extranet, nous faisons un tracert pour vérifier le chemin pris :

 

 

Nos routes statiques fonctionnent. Gérer son réseau à l’aide de route statique est très chronophage. Il existe des protocoles de routage dynamiques permettant de faciliter le travail des administrateurs réseaux.

 

Dans le prochain article, nous allons mettre en place le routage OSPF. Supprimez vos routes statiques avant cela.

 

NSX :

Partie 1 – NSX Présentation

Partie 2 – NSX : LAB Design

Partie 3 – Installer NSX Manager

Partie 4 – NSX : Mise en place du Control Plane / Control Cluster

Partie 5 – NSX : Déployer les modules VIB sur les ESXi

Partie 6 – NSX : Configurer les VXLAN

Partie 7 – NSX : Segment ID et Transport Zone

Partie 8 – NSX : Déployer les Logical Switches

Partie 9 – Présentation NSX Edge

Partie 10 – NSX : Installer un Logical Router

Partie 11 – Installer NSX Edge Service Gateway

Partie 12 – NSX : Présentation Logical Firewall

Partie 13 – NSX : Logical Firewall – Modification de règle par défaut

Partie 14 – NSX : Logical Firewall – Création d’une règle

Partie 15 – NSX : Présentation du Routage

Partie 16 – NSX : Routage Statique

Partie 17 – NSX : Routage Dynamique avec OSPF 

 

 

 

Share

NSX : Présentation du Routage

 

Dans l’article précédent, nous avons modifié et créé des règles firewall. Pour faciliter la compréhension de cet article, j’ai modifié/supprimé les règles précédemment créées/modifiées afin de mettre en allow tout le trafic. Vérifiez que les règles sur les Distributed Firewall et Edge Firewall sont toutes en allow.

 

Reprenons notre schéma :

 

C:\Users\lecorpsa\Desktop\VMware\NSX\LAB-DESIGN.png

 

Nous avons donc un Logical Router qui effectue le routage entre les réseaux 172.16.50.0/24, 172.16.100.0/24, 172.16.150.0/24 et le réseau de Transit 192.168.30.0/24.

Le routage est effectif car le routeur à une interface dans chacun de ces réseaux.

 

Même chose pour le NSX Edge Service Gateway qui effectue le routage entre le réseau de Transit 192.168.30.0/24 et le réseau physique 192.168.20.0/24 puisqu’il a une interface dans chaque réseau et qu’aucune règle Deny n’est mis en place ici.

NSX va prend en charge les protocoles OSPF, IS-IS et BGP ainsi que le routage statique.

 

Nous n’allons pas ici détailler les différents protocoles. Veuillez trouver une présentation succincte du routage ( ici ), d’OSPF ( ici ), IS-IS ( ici ) et de BGP ( ici ).

 

Nous allons maintenant mettre en place le routage entre les réseaux virtualisés (Web, Bdd et App) avec le réseau physique. Actuellement ces réseaux ne communiquent pas car le Logical Router n’a pas connaissance du réseau Physique et le NSX Edge Gateway Service n’a pas connaissance des 3 réseaux Web, Bdd et App.

Pour que ces réseaux communiquent, il faut chaque routeur prenne connaissance des réseaux et des chemins pour les atteindre.

 

Avant de configurer des routes statiques ou dynamiques, vous pouvez aller dans le menu Routing d’un routeur dans la partie Global Configuration.

Dans cette partie, vous pouvez configurer plusieurs paramètres :

  • ECMP : vous pouvez activer ou désactiver ECMP (Equal-cost multi-path routing).

ECMP est une stratégie de routage qui permet la transmission des paquets à une destination unique par plusieurs chemins. Ces meilleurs chemins peuvent être ajoutées de manière statique ou à la suite de calculs par les protocoles de routage dynamique comme OSPF ou BGP. Plusieurs chemins de routes statiques peuvent être ajoutés offrant de multiples chemins.

Activer ECMP désactive le pare-feu sur la machine virtuelle Edge Services Gateway. Le service tel que NAT ne fonctionne pas avec ECMP.

  • Default Gateway

Définir la gateway par défaut pour le routeur en question

  • Dynamic Routing Configuration : Renseignez le router ID qui est en réalité l’IP de l’uplink.

Vous pouvez également activer les protocoles de routages OSPF, BGP et IS-IS ainsi que les logs.

 

Dans les articles suivants, nous allons mettre en plage du routage dans un premier temps statique puis dans un second temps dynamique.

 

 

NSX :

Partie 1 – NSX Présentation

Partie 2 – NSX : LAB Design

Partie 3 – Installer NSX Manager

Partie 4 – NSX : Mise en place du Control Plane / Control Cluster

Partie 5 – NSX : Déployer les modules VIB sur les ESXi

Partie 6 – NSX : Configurer les VXLAN

Partie 7 – NSX : Segment ID et Transport Zone

Partie 8 – NSX : Déployer les Logical Switches

Partie 9 – Présentation NSX Edge

Partie 10 – NSX : Installer un Logical Router

Partie 11 – Installer NSX Edge Service Gateway

Partie 12 – NSX : Présentation Logical Firewall

Partie 13 – NSX : Logical Firewall – Modification de règle par défaut

Partie 14 – NSX : Logical Firewall – Création d’une règle

Partie 15 – NSX : Présentation du Routage

Partie 16 – NSX : Routage Statique

Partie 17 – NSX : Routage Dynamique avec OSPF 

 

 

Share