Cloudera Managerin asentaminen ja määrittäminen CentOS/RHEL 7:ssä - Osa 3

Tässä artikkelissa kuvasimme vaiheittaisen prosessin Cloudera Managerin asentamiseksi teollisuuden käytäntöjen mukaisesti. Osassa 2 olemme jo käyneet läpi Clouderan ennakkovaatimukset, varmista, että kaikki palvelimet on valmisteltu täydellisesti.

Vaatimukset

Parhaat käytännöt Hadoop-palvelimen käyttöönottoon CentOS/RHEL 7:ssä – Osa 1
Hadoopin ennakkovaatimusten määrittäminen ja suojauksen vahvistaminen – Osa 2

Tässä meillä on 5 solmuklusteri, jossa on 2 isäntä ja 3 työntekijää. Olen käyttänyt 5 AWS EC2 -esiintymää asennuksen osoittamiseen. Olen nimennyt nämä 5 palvelinta alla olevan mukaisesti.

master1.linux-console.net
master2.linux-console.net
worker1.linux-console.net
worker2.linux-console.net
worker3.linux-console.net

Cloudera Manager on hallinta- ja seurantatyökalu koko CDH:lle. Järjestelmänvalvoja kutsuu sitä yleensä Cloudera Hadoopin hallintatyökaluksi. Voimme ottaa käyttöön, valvoa, ohjata ja tehdä kokoonpanomuutoksia tämän työkalun avulla. Tämä on erittäin tärkeää koko klusterin hallinnassa.

Alla on Cloudera Managerin tärkeät käyttötarkoitukset.

Ota käyttöön ja määritä Hadoop-klusterit automaattisesti.
Seuraa klusterin kuntoa
Määritä hälytykset
Ongelmien karttoittaminen
Raportointi
Klusterin käyttöraportin tekeminen
Resurssien määrittäminen dynaamisesti

Vaihe 1: Apache-verkkopalvelimen asentaminen CentOS:ään

Aiomme käyttää master1 -palvelinta Cloudera-tietovarastojen verkkopalvelimena. Lisäksi Cloudera Manager on WebUI, joten Apache on oltava asennettuna. Asenna apache-verkkopalvelin noudattamalla alla olevia ohjeita.

yum -y install httpd

Kun httpd on asennettu, käynnistä se ja ota käyttöön, jotta se käynnistyy käynnistyksen yhteydessä.

systemctl start httpd
systemctl enable httpd

Kun olet käynnistänyt httpd, varmista tila.

systemctl status httpd

Kun olet käynnistänyt httpd:n, avaa selain paikallisessa järjestelmässäsi ja liitä master1:n IP-osoite hakupalkkiin. Sinun pitäisi saada tämä testisivu varmistaaksesi, että httpd toimii hyvin.

Vaihe 2: Määritä paikallinen DNS ratkaisemaan IP ja isäntänimi

Tarvitsemme DNS-palvelimen tai /etc/hosts-määrityksen IP-osoitteen ja isäntänimen selvittämiseksi. Tässä määritetään /etc/hosts, mutta reaaliajassa tuotantoympäristöä varten on olemassa oma DNS-palvelin.

Noudata alla olevia ohjeita tehdäksesi merkinnän kaikille palvelimillesi kansioon /etc/hosts.

vi /etc/hosts

Tämä tulee määrittää kaikissa palvelimissa.

13.235.27.144   master1.linux-console.net     master1
13.235.135.170  master2.linux-console.net     master2
15.206.167.94   worker1.linux-console.net     worker1
13.232.173.158  worker2.linux-console.net     worker2
65.0.182.222    worker3.linux-console.net     worker3

Vaihe 3: Määritä salasanaton SSH-kirjautuminen

Cloudera Manager asennetaan sovellukseen master1 tässä esittelyssä. Meidän on määritettävä salasanaton ssh tiedostosta master1 kaikkiin muihin solmuihin. Koska Cloudera Manager käyttää ssh-protokollaa viestiäkseen kaikkiin muihin solmuihin pakettien asentamista varten.

Noudata alla olevia ohjeita määrittääksesi salasanattoman ssh:n master1:sta kaikille jäljellä oleville palvelimille. Meillä on käyttäjä tecmint jatkaaksemme eteenpäin.

Luo käyttäjä tecmint kaikille 4 palvelimelle käyttämällä useradd-komentoa kuvan mukaisesti.

useradd -m tecmint

Myönnä pääkäyttäjän oikeudet tecmint-käyttäjälle lisäämällä alla oleva rivi /etc/sudoers-tiedostoon. Voit lisätä tämän rivin rootin alle kuvakaappauksen mukaisesti.

tecmint   ALL=(ALL)    ALL

Vaihda käyttäjäksi tecmint ja luo ssh-avain master1-kenttään käyttämällä alla olevaa komentoa.

sudo su tecmint
ssh-keygen

Kopioi nyt luotu avain kaikkiin neljään palvelimeen käyttämällä ssh-copy-id-komentoa kuvan mukaisesti.

ssh-copy-id -i ~/.ssh/id_rsa.pub [email 
ssh-copy-id -i ~/.ssh/id_rsa.pub [email 
ssh-copy-id -i ~/.ssh/id_rsa.pub [email  
ssh-copy-id -i ~/.ssh/id_rsa.pub [email

Nyt sinun pitäisi pystyä lähettämään ssh:sta master1-palvelimesta kaikille muille palvelimille ilman salasanaa kuvan osoittamalla tavalla.

ssh master2
ssh worker1
ssh worker2
ssh worker3

Vaihe 4: Cloudera Managerin asentaminen ja määrittäminen

Voimme käyttää toimittajan (Cloudera) -varastoa asentamaan kaikki paketit RHEL/CentOS:n paketinhallintatyökalujen avulla. Reaaliajassa oman arkiston luominen on paras käytäntö, koska meillä ei välttämättä ole Internet-yhteyttä tuotantopalvelimissa.

Täällä asennamme Cloudera Manager 6.3.1 -julkaisun. Koska aiomme käyttää master1 -palvelinta repopalvelimena, lataamme paketit alla mainitulla polulla.

Luo alla mainitut hakemistot master1-palvelimelle.

sudo mkdir -p /var/www/html/cloudera-repos/cm6

Voimme käyttää wget-työkalua pakettien lataamiseen http:n kautta. Joten asenna wget käyttämällä alla olevaa komentoa.

sudo yum -y install wget

Lataa seuraavaksi Cloudera Manager tar -tiedosto käyttämällä seuraavaa wget-komentoa.

wget https://archive.cloudera.com/cm6/6.3.1/repo-as-tarball/cm6.3.1-redhat7.tar.gz

Pura tar-tiedosto hakemistoon /var/www/html/cloudera-repos/cm6, olemme jo tehneet master1:stä verkkopalvelimeksi asentamalla http ja olemme testanneet selaimella.

sudo tar xvfz cm6.3.1-redhat7.tar.gz -C /var/www/html/cloudera-repos/cm6 --strip-components=1

Varmista nyt, että kaikki Clouderan rpm-tiedostot ovat /var/www/html/cloudera-repos/cm6/RPMS/x86_64-hakemistossa.

cd /var/www/html/cloudera-repos/cm6
ll

Luo /etc/yum.repos.d/cloudera-manager.repo-tiedostoja kaikille klusterin isäntien palvelimille, joissa on seuraava sisältö. Tässä master1 (65.0.101.148) on Web-palvelinta.

[cloudera-repo]
name=cloudera-manager
baseurl=http:///cloudera-repos/cm6/
enabled=1
gpgcheck=0

Nyt arkisto on lisätty, suorita alla oleva komento nähdäksesi käytössä olevat arkistot.

yum repolist

Suorita alla oleva komento nähdäksesi kaikki käytettävissä olevat Clouderaan liittyvät paketit arkistossa.

yum list available | grep cloudera*

Asenna cloudera-manager-server, cloudera-manager-agent, cloudera-manager-daemons cloudera-manager-server-db-2.

sudo yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server cloudera-manager-server-db-2

Suorita alla oleva komento nähdäksesi kaikki asennetut Cloudera-paketit.

yum list installed | grep cloudera*

Suorita alla oleva komento käynnistääksesi cloudera-scm-server-db, joka on taustalla oleva tietokanta Cloudera Managerin ja muiden palveluiden metatietojen tallentamiseen.

Oletusarvoisesti Cloudera on tulossa postgre-sql:lle, joka on upotettu Cloudera Manageriin. Asennamme sulautetun, reaaliaikaiseen ulkoiseen tietokantaan, jota voidaan käyttää. Se voi olla Oracle, MySQL tai PostgreSQL.

sudo systemctl start cloudera-scm-server-db

Suorita alla oleva komento tarkistaaksesi tietokannan tilan.

sudo systemctl status cloudera-scm-server-db

Määritä db.properties Cloudera Manager -palvelimelle.

vi /etc/cloudera-scm-server/db.properties

Määritä alla oleva arvo EMBEDDED, jotta Cloudera Manager käyttää Upotettua tietokantaa.

com.cloudera.cmf.db.setupType=EMBEDDED

Käynnistä Cloudera Manager -palvelin suorittamalla alla oleva komento.

sudo systemctl start cloudera-scm-server

Suorita alla oleva komento tarkistaaksesi Cloudera Manager -palvelimen tilan.

sudo systemctl status cloudera-scm-server

Suorita alla oleva komento käynnistääksesi ja tarkistaaksesi Cloudera Manager -agentin tilan.

sudo systemctl start cloudera-scm-agent
sudo systemctl status cloudera-scm-agent

Kun Cloudera Manager Server on onnistunut ja toimii hyvin, voit tarkastella WebUI:ta (kirjautumissivua) selaimessa käyttämällä IP-osoitetta ja porttinumeroa 7180, joka on portin numero. Cloudera Manager.

https://65.0.101.148:7180

Yhteenveto

Tässä artikkelissa olemme nähneet vaiheittaiset prosessit Cloudera Managerin asentamiseen CentOS 7 -käyttöjärjestelmään. Näemme CDH- ja muut palveluasennukset seuraavassa artikkelissa.