Cloudera Managerin asentaminen ja määrittäminen CentOS/RHEL 7 -sovellukseen - osa 3

Tässä artikkelissa kuvasimme askel askeleelta prosessin Cloudera Managerin asentamiseksi teollisten käytäntöjen mukaisesti. Osassa 2 olemme jo käyneet läpi Cloudera-ennakkoedellytykset. Varmista, että kaikki palvelimet ovat valmistautuneet täydellisesti.

Hadoop-palvelimen käyttöönoton parhaat käytännöt CentOS/RHEL 7: ssä - osa 1
Hadoopin ennakkoedellytysten asettaminen ja turvallisuuden kovettaminen - osa 2

Täällä meillä on 5 solmujoukkoa, jossa 2 päällikötä ja 3 työntekijää. Olen käyttänyt 5 AWS EC2 -instanssia asennuksen osoittamiseen. Olen nimittänyt nämä 5 palvelinta alla.

master1.linux-console.net
master2.linux-console.net
worker1.linux-console.net
worker2.linux-console.net
worker3.linux-console.net

Cloudera Manager on koko CDH: n hallinto- ja valvontatyökalu. Järjestelmänvalvoja kutsuu sitä yleensä Cloudera Hadoopin hallintatyökaluksi. Voimme ottaa käyttöön, seurata, hallita ja tehdä kokoonpanomuutoksia tämän työkalun avulla. Tämä on erittäin tärkeää koko klusterin hallitsemiseksi.

Alla on Cloudera Managerin tärkeät käyttötavat.

Ota Hadoop-klusterit käyttöön ja määritä ne automatisoidusti.
Seuraa klusterin kuntoa
Määritä hälytykset
vianetsintä
Raportointi
Klusterin käyttöraportin tekeminen
Resurssien määrittäminen dynaamisesti

Vaihe 1: Asenna Apache-verkkopalvelin CentOSiin

Aiomme käyttää master1 -palvelinta Cloudera-arkistojen verkkopalvelimena. Lisäksi Cloudera Manager on WebUI, joten meidän on asennettava Apache. Asenna apache-verkkopalvelin noudattamalla seuraavia ohjeita.

# yum -y install httpd

Kun olet asentanut httpd, käynnistä se ja ota käyttöön, jotta se käynnistetään käynnistettäessä.

# systemctl start httpd
# systemctl enable httpd

Kun olet aloittanut httpd, varmista tila.

# systemctl status httpd

Kun olet aloittanut httpd: n, avaa selain paikallisessa järjestelmässäsi ja liitä master1 -palvelun IP-osoite hakupalkkiin. Hanki tämä testisivu varmistaaksesi, että httpd toimii oikein.

Vaihe 2: Määritä paikallinen DNS ratkaisemaan IP ja isäntänimi

Meillä on oltava DNS-palvelin tai määritettävä/etc/hosts ratkaisemaan IP ja isäntänimi. Tässä määritämme/etc/hosts, mutta reaaliajassa erillinen DNS-palvelin on siellä tuotantoympäristössä.

Seuraa alla olevia ohjeita tehdessäsi merkinnän kaikille palvelimillesi/etc/hosts.

# vi /etc/hosts

Tämä on määritettävä kaikissa palvelimissa.

13.235.27.144   master1.linux-console.net     master1
13.235.135.170  master2.linux-console.net     master2
15.206.167.94   worker1.linux-console.net     worker1
13.232.173.158  worker2.linux-console.net     worker2
65.0.182.222    worker3.linux-console.net     worker3

Vaihe 3: Määritä SSH Passwordless Login

Cloudera Manager on asennettuna master1 -ohjelmaan tässä esittelyssä. Meidän on määritettävä ilman salasanaa ssh master1 -kohdasta kaikkiin muihin solmuihin. Koska Cloudera Manager käyttää ssh: tä kommunikoimaan kaikki muut solmut pakettien asentamiseksi.

Seuraa alla olevia ohjeita määrittääksesi salasanattomia ssh-tiedostoja master1 -kohdasta kaikkiin jäljellä oleviin palvelimiin. Meillä on käyttäjän 'tecmint' edetä eteenpäin.

Luo käyttäjän tecmint kaikki 4 palvelinta käyttämällä useradd-komentoa kuvan mukaisesti.

# useradd -m tecmint

Jos haluat antaa pääkäyttöoikeuden tecmint-käyttäjälle, lisää seuraava rivi tiedostoon/etc/sudoers. Voit lisätä tämän rivin juuren alle kuvakaappauksena.

tecmint   ALL=(ALL)    ALL

Vaihda käyttäjän tecmint-tilaan ja luo ssh-avain master1 -kenttään alla olevan komennon avulla.

# sudo su tecmint
$ ssh-keygen

Kopioi luotu avain nyt kaikkiin 4 palvelimeen käyttämällä ssh-copy-id -komentoa kuvan mukaisesti.

$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email  
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email

Nyt sinun pitäisi pystyä ssh: stä master1 jäljellä oleviin palvelimiin ilman salasanaa, kuten kuvassa.

$ ssh master2
$ ssh worker1
$ ssh worker2
$ ssh worker3

Vaihe 4: Cloudera Managerin asentaminen ja määrittäminen

Voimme käyttää toimittajan (Cloudera) arkistoa kaikkien pakettien asentamiseen RHEL/CentOSin paketinhallintatyökalujen avulla. Reaaliajassa oman tietovaraston luominen on paras käytäntö, koska tuotantopalvelimilla ei ehkä ole Internet-yhteyttä.

Täällä aiomme asentaa Cloudera Manager 6.3.1 -julkaisun. Koska aiomme käyttää master1 -palautuspalvelinta, lataamme paketit alla mainittuun polkuun.

Luo alla mainitut hakemistot master1 -palvelimelle.

$ sudo mkdir -p /var/www/html/cloudera-repos/cm6

Voimme käyttää wget-työkalua pakettien lataamiseen http:n kautta. Joten asenna wget alla olevalla komennolla.

$ sudo yum -y install wget

Lataa seuraavaksi Cloudera Managerin tervatiedosto seuraavalla wget-komennolla.

$ wget https://archive.cloudera.com/cm6/6.3.1/repo-as-tarball/cm6.3.1-redhat7.tar.gz

Pura tar-tiedosto tiedostoon/var/www/html/cloudera-repos/cm6, jo olemme tehneet master1 -palvelimen palvelimena asentamalla http:n ja olemme testanneet selaimessa.

$ sudo tar xvfz cm6.3.1-redhat7.tar.gz -C /var/www/html/cloudera-repos/cm6 --strip-components=1

Tarkista nyt, että kaikki Cloudera rpm -tiedostot ovat hakemistossa/var/www/html/cloudera-repos/cm6/RPMS/x86_64.

$ cd /var/www/html/cloudera-repos/cm6
$ ll

Luo /etc/yum.repos.d/cloudera-manager.repo -tiedostot klusterin isäntien kaikille palvelimille, joiden sisältö on seuraava, tässä master1 (65.0.101.148) on verkkopalvelin.

[cloudera-repo]
name=cloudera-manager
baseurl=http:///cloudera-repos/cm6/
enabled=1
gpgcheck=0

Nyt arkisto on lisätty, suorita alla oleva komento nähdäksesi käytössä olevat arkistot.

$ yum repolist

Suorita alla oleva komento nähdäksesi kaikki käytettävissä olevat Cloudera-paketit.

$ yum list available | grep cloudera*

Asenna cloudera-manager-server, cloudera-manager-agent, cloudera-manager-daemons cloudera-manager-server-db-2.

$ sudo yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server cloudera-manager-server-db-2

Suorita alla oleva komento nähdäksesi kaikki asennetut Cloudera-paketit.

$ yum list installed | grep cloudera*

Suorita alla oleva komento aloittaaksesi cloudera-scm-server-db, joka on taustalla oleva tietokanta Cloudera Managerin ja muiden palvelujen metatietojen tallentamiseen.

Oletuksena Cloudera on tulossa postgre-sql-tiedostoon, joka on upotettu Cloudera Manageriin. Asennamme upotetun reaaliaikaiseen ulkoiseen tietokantaan, jota voidaan käyttää. Se voi olla Oracle, MySQL tai PostgreSQL.

$ sudo systemctl start cloudera-scm-server-db

Suorita alla oleva komento tarkistaaksesi tietokannan tilan.

$ sudo systemctl status cloudera-scm-server-db

Määritä Cloudera Manager -palvelimen db.properties.

$ vi /etc/cloudera-scm-server/db.properties

Määritä, että alla oleva arvo on EMBEDDED, jotta Cloudera Manager saadaan käyttämään upotettua tietokantaa.

com.cloudera.cmf.db.setupType=EMBEDDED

Käynnistä Cloudera Manager -palvelin suorittamalla seuraava komento.

$ sudo systemctl start cloudera-scm-server

Suorita alla oleva komento tarkistaaksesi Cloudera Manager -palvelimen tilan.

$ sudo systemctl status cloudera-scm-server

Suorita alla oleva komento aloittaaksesi ja tarkistaaksesi Cloudera Manager -agentin tilan.

$ sudo systemctl start cloudera-scm-agent
$ sudo systemctl status cloudera-scm-agent

Kun Cloudera Manager Server on onnistunut ja toimii hyvin, voit tarkastella WebUI: tä (kirjautumissivu) selaimessa käyttämällä IP-osoitetta ja porttinumeroa 7180, joka on Cloudera Managerin portin numero.

https://65.0.101.148:7180

Tässä artikkelissa olemme nähneet askel askeleelta prosessin Cloudera Managerin asentamiseksi CentOS 7: een. Näemme CDH: n ja muut palveluasennukset seuraavassa artikkelissa.