Aller au contenu
  • Société
    • Qui sommes-nous
    • Nos valeurs
    • Nos partenaires
    • Entreprise citoyenne
    • Régions
  • Services
    • Expertise
    • Formation
    • Développement
    • Migration
    • Infogérance
  • Join the team
  • Actualités
  • Blog
  • Formations
  • Rugb’Easyteam
  • Contact
Menu
  • Société
    • Qui sommes-nous
    • Nos valeurs
    • Nos partenaires
    • Entreprise citoyenne
    • Régions
  • Services
    • Expertise
    • Formation
    • Développement
    • Migration
    • Infogérance
  • Join the team
  • Actualités
  • Blog
  • Formations
  • Rugb’Easyteam
  • Contact
Inscrivez-vous à la newsletter

Inscrivez-vous à la newsletter

Abonnez-vous maintenant et nous vous tiendrons au courant.
Nous respectons votre vie privée. Vous pouvez vous désabonner à tout moment.

Bienvenue sur le Blog d'EASYTEAM (ex ArKZoYd)

  • Accueil
  • Actualités
  • Cloud
  • Infrastructure
  • Data
  • Intégration
  • Dev / DevOps
  • SAM / FinOps
Menu
  • Accueil
  • Actualités
  • Cloud
  • Infrastructure
  • Data
  • Intégration
  • Dev / DevOps
  • SAM / FinOps
  • le 27/07/2018
  • Badreddine
  • AWS, Cloud

Apache Kafka sur AWS via Bitnami

Partager sur linkedin
LinkedIn 0
Partager sur twitter
Twitter
Partager sur facebook
Facebook 0
Partager sur google
Google+ 0

Apache Kafka a pu s’imposer récemment comme une plateforme de référence pour gérer le messaging et répondre à de nouveaux besoins que les autres brokers et outillages associés ne pouvaient pas gérer.
Parmi les avantages de l’utilisation de Kafka, on cite entre autres :

  • Kafka est un service de messaging transactionnel distribué, partitionné et répliqué.
  • La communication entre Kafka et les clients utilise un protocole basé sur TCP simple et très performant.

Bitnami propose des configurations prêtes à l’emploi, montées et maintenues pour n’importe quel type d’utilisation.
On distingue trois axes principaux :

  • Montage en Cloud de production : Déploiement directement sur les fournisseurs Cloud (AWS, Azure, GCP, …).
  • Montage à base de containers (Cloud privé ou public) : possibilité de montage d’une infrastructure Kubernetes par exemple.
  • Montage d’un environnement personnel de test : Sur PC/MAC ou bien en Cloud.

Dans cet article, on verra un montage rapide d’une plateforme Apache Kafka sur Amazon Web Services.

Création d’une VM Kafka sur AWS EC2

Dans les offres gratuites AWS EC2, le Marketplace propose des environnements prêts à l’emploi montés et maintenus par Bitnami :

Avec une petite configuration du client SSH, par l’import de la clé privée, la prise en main est assez rapide pour commencer à exploiter la plateforme.

Configuration de base et test Publish/Subscribe

Chemin des binaires

Shell
1
2
3
4
5
6
7
8
9
10
11
12
13
14
bitnami@ip-172-31-14-178:~/stack/kafka/bin$ pwd
/home/bitnami/stack/kafka/bin
bitnami@ip-172-31-14-178:~/stack/kafka/bin$ ls
connect-distributed.sh        kafka-log-dirs.sh                    kafka-streams-application-reset.sh
connect-standalone.sh         kafka-mirror-maker.sh                kafka-topics.sh
kafka-acls.sh                 kafka-preferred-replica-election.sh  kafka-verifiable-consumer.sh
kafka-broker-api-versions.sh  kafka-producer-perf-test.sh          kafka-verifiable-producer.sh
kafka-configs.sh              kafka-reassign-partitions.sh         trogdor.sh
kafka-console-consumer.sh     kafka-replay-log-producer.sh         windows
kafka-console-producer.sh     kafka-replica-verification.sh        zookeeper-security-migration.sh
kafka-consumer-groups.sh      kafka-run-class.sh                   zookeeper-server-start.sh
kafka-consumer-perf-test.sh   kafka-server-start.sh                zookeeper-server-stop.sh
kafka-delegation-tokens.sh    kafka-server-stop.sh                 zookeeper-shell.sh
kafka-delete-records.sh       kafka-simple-consumer-shell.sh

Création d’un Topic Test

Shell
1
bitnami@ip-172-31-14-178:~/stack/kafka/bin$ ./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic Test --from-beginning

Injection des messages dans le Topic

Consommation des messages depuis le Topic

Conclusion

Nous avons vu comment il est possible de s’approprier rapidement et facilement un environnement pour tester le fonctionnement de base du broker Kafka.
Mais il y a beaucoup de possibilités à explorer, que ce soit en terme de fonctionnalités de l’écosystème autour de Kafka ou bien en terme des différentes topologies Cloud privé ou public.
Liens Utiles :
https://bitnami.com/stack/kafka
https://docs.aws.amazon.com/fr_fr/AWSEC2/latest/UserGuide/AccessingInstancesLinux.html
 

Badreddine
Badreddine
Voir tous ses articles
Partager sur linkedin
LinkedIn 0
Partager sur twitter
Twitter
Partager sur facebook
Facebook 0
Partager sur google
Google+ 0

Laisser un commentaire Annuler la réponse

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Les derniers articles

  • Forcer le DBID et le DBName d’une base Oracle 18/02/2019
  • Oracle 12c Administration – Déplacement d’un datafile online 15/02/2019
  • Les avantages d’une communication interne efficace 13/02/2019
  • GraphQL : encapsulation dans HTTP 11/02/2019
  • Directives de conception d’une API RESTful 08/02/2019

Les derniers commentaires

  • pga dans webMethods ESB : Framework Publish-Subscribe avec routage dynamique
  • SMAIL JR dans Oracle Cloud Gen 2 , (1) les premiers pas
  • thierry gascard dans Nouvelle Fonctionnalité – Oracle Data Guard Broker 12c
  • Jacek dans Emuler la compression HCC avec la VM ZFS
  • Oracle Cloud Gen 2 , (1) les premiers pas - EASYTEAM dans La plongée maîtrisée vers le IaaS Oracle
Espace Membres
Mot de passe perdu?
EASYTEAM

Tour Nova, 71 Boulevard National,
92250 La Garenne-Colombes
Tél. 0800 40 60 40
contact@easyteam.fr

Facebook Linkedin Twitter
Navigation
  • Accueil
  • Qui sommes-nous
  • Entreprise citoyenne
  • Nos valeurs
  • Régions
  • Partenaires
  • Contact
  • Support
Menu
  • Accueil
  • Qui sommes-nous
  • Entreprise citoyenne
  • Nos valeurs
  • Régions
  • Partenaires
  • Contact
  • Support
Services
  • Développement
  • Migration
  • Infogérance
  • Expertise
  • Formation
Menu
  • Développement
  • Migration
  • Infogérance
  • Expertise
  • Formation
Blog
  • Cloud
  • Infrastructures
  • Data
  • Intégration
  • Dev / DevOps
  • SAM / FinOps
  • Applications
Menu
  • Cloud
  • Infrastructures
  • Data
  • Intégration
  • Dev / DevOps
  • SAM / FinOps
  • Applications
Copyright 2018 - EASYTEAM, Tous droits réservés
Mentions légales
Politique de confidentialité​