Apache Kafkan asentaminen CentOS/RHEL 7:ään

Apache Kafka on tehokas viestintäkone, jota käytetään laajasti BigData-projekteissa ja Data Analyticsin elinkaaressa. Se on avoimen lähdekoodin alusta reaaliaikaisten datan suoratoistoputkien rakentamiseen. Se on hajautettu julkaisu-tilausalusta, jossa on luotettavuus, skaalautuvuus ja kestävyys.

Meillä voi olla Kafka itsenäisenä tai klusterina. Kafka tallentaa suoratoistotiedot, ja ne voidaan luokitella aiheiksi. Aiheessa on useita osioita, jotta se pystyy käsittelemään mielivaltaisen määrän tietoja. Meillä voi myös olla useita replikoita vikasietoisiksi, kuten meillä on HDFS:ssä. Kafka-klusterissa välittäjä on komponentti, joka tallentaa julkaistut tiedot.

Zookeeper on pakollinen palvelu Kafka-klusterin ylläpitämiseen, koska sitä käytetään Kafka-välittäjien koordinoinnin hallintaan. Zookeeper on avainrooli tuottajan ja kuluttajan välillä, missä se vastaa kaikkien välittäjien kunnosta.

Tässä artikkelissa selitämme, kuinka Apache Kafka asennetaan yhteen solmuun CentOS 7 tai RHEL 7.

Apache Kafkan asentaminen CentOS 7:ään

1. Ensin sinun on asennettava Java järjestelmääsi, jotta voit suorittaa Apache Kafkan ilman virheitä. Joten asenna Javan oletusversio seuraavalla yum-komennolla ja tarkista Java-versio kuvan mukaisesti.

yum -y install java-1.8.0-openjdk
java -version

2. Lataa seuraavaksi Apache Kafkan uusin vakaa versio viralliselta verkkosivustolta tai lataa se suoraan ja pura se käyttämällä seuraavaa wget-komentoa.

wget https://mirrors.estointernet.in/apache/kafka/2.7.0/kafka_2.13-2.7.0.tgz 
tar -xzf kafka_2.13-2.7.0.tgz 

3. Luo symbolinen linkki kafka-paketille, lisää Kafka-ympäristöpolku .bash_profile-tiedostoon ja alusta se sitten kuvan mukaisesti.

ln -s kafka_2.13-2.7.0 kafka
echo "export PATH=$PATH:/root/kafka_2.13-2.7.0/bin" >> ~/.bash_profile
source ~/.bash_profile

4. Käynnistä seuraavaksi Zookeeper, joka tulee sisään Kafka-paketin mukana. Koska se on yksisolmuklusteri, voit käynnistää eläintarhanhoitajan oletusominaisuuksilla.

zookeeper-server-start.sh -daemon /root/kafka/config/zookeeper.properties

5. Tarkista, onko eläintarhanhoitaja tavoitettavissa vai ei yksinkertaisesti telnetillä Eläintarhanhoitaja -porttiin 2181.

telnet localhost 2181

6. Käynnistä Kafka oletusominaisuuksilla.

kafka-server-start.sh -daemon /root/kafka/config/server.properties

7. Tarkista, onko Kafka käytettävissä vai ei yksinkertaisesti telnetillä Kafka-porttiin 9092

telnet localhost 9092

8. Luo seuraavaksi esimerkkiaihe.

kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic tecmint

9. Luettele luotu aihe.

kafka-topics.sh --zookeeper localhost:2181 --list

Johtopäätös

Tässä artikkelissa olemme nähneet, kuinka yhden solmun Kafka-klusteri asennetaan CentOS 7:ään. Katsomme, kuinka monisolmuinen Kafka-klusteri asennetaan seuraavassa artikkelissa.