CDH: n asentaminen ja palvelusijoitusten määrittäminen CentOS/RHEL 7: lle - osa 4
Aikaisemmassa artikkelissa olemme selittäneet Cloudera Managerin asennuksen, tässä artikkelissa opit CDH: n (Cloudera Distribution Hadoop) asentamisesta ja määrittämisestä RHEL/CentOS 7: ssä.
CDH-paketin asennuksen aikana meidän on varmistettava Cloudera Managerin ja CDH-yhteensopivuus. Cloudera-versiossa on 3 osaa -
Käytämme esimerkiksi Cloudera Manager 6.3.1: tä ja CDH 6.3.2: ta. Tässä 6 on isoa ja 3 aliversiota. Major ja Minor on oltava samat yhteensopivuusongelmien välttämiseksi.
- Hadoop-palvelimen käyttöönoton parhaat käytännöt CentOS/RHEL 7: ssä - osa 1
- Hadoopin ennakkoedellytysten asettaminen ja turvallisuuden kovettaminen - osa 2
- Cloudera Managerin asentaminen ja määrittäminen CentOS/RHEL 7: lle - osa 3
Otamme alla olevat 2 solmua CDH: n asentamista varten. Olemme jo asentaneet Cloudera Managerin master1: ään, myös käytämme master1: tä repo-palvelimena.
master1.linux-console.net worker1.linux-console.net
Vaihe 1: Lataa CDH-paketit Master Server -palvelimeen
1. Yhdistä ensin master1-palvelimeen ja lataa CDH-pakettitiedostot hakemistoon/var/www/html/cloudera-repos/cdh. Meidän on ladattava alla mainitut 3 tiedostoa, joiden pitäisi olla yhteensopivia RHEL/CentOS 7: n kanssa.
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 manifest.json
2. Ennen kuin lataat nämä tiedostot, muista luoda cdh-hakemisto hakemistoon/var/www/html/cloudera-repos/location.
$ cd /var/www/html/cloudera-repos/ $ sudo mkdir cdh $ cd cdh
3. Lataa seuraavaksi edellä mainitut 3 tiedostoa seuraavalla wget-komennolla.
$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel $ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 $ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json
Vaihe 2: Määritä Cloudera Manager Repo työntekijäasiakkaille
4. Yhdistä nyt työntekijäpalvelimiin ja kopioi repotiedosto (cloudera-manager.repo) repopalvelimesta (master1) kaikkiin jäljellä oleviin työntekijäpalvelimiin. Tämä repotiedosto varmistaa palvelimille, että kaikki tarvittavat paketit ja RPM: t ladataan repo-palvelimelta asennuksen aikana.
cat >/etc/yum.repos.d/cloudera-manager.repo <<EOL [cloudera-repo] name=cloudera-manager baseurl=http://104.211.95.96/cloudera-repos/cm6/ enabled=1 gpgcheck=0 EOL
5. Kun repo on lisätty, listaa käytössä olevat arkistot varmistaaksesi, että cloudera-manager-repo on käytössä.
$ yum repolist
Vaihe 3: Asenna Cloudera Manager Daemons and Agent työntekijäpalvelimille
6. Nyt meidän on asennettava cloudera-manager-daemons ja cloudera-manager-agent kaikkiin jäljellä oleviin palvelimiin.
$ sudo yum install cloudera-manager-daemons cloudera-manager-agent
7. Seuraavaksi sinun on määritettävä Cloudera Manager -agentti raportoimaan Cloudera Manager -palvelin.
$ sudo vi /etc/cloudera-scm-agent/config.ini
Korvaa paikallinen isäntä Cloudera Manager -palvelimen IP-osoitteella.
8. Käynnistä Cloudera Manager Agent ja tarkista tila.
$ sudo systemctl start cloudera-scm-agent $ sudo systemctl status cloudera-scm-agent
Vaihe 4: Asenna ja asenna CDH
Meillä on CDH-paketteja master1 - repo-palvelimessa. Varmista, että kaikilla palvelimilla on Cloudera Manager -palautustiedosto tiedostossa /etc/yum.repos.d/, jos seuraat automaattista asennusta Cloudera Managerin avulla.
9. Kirjaudu Cloudera Manageriin käyttämällä alla olevaa URL-osoitetta portissa 7180 ja käytä Cloudera Managerin oletuskäyttäjänimeä ja salasanaa.
http://104.211.95.96:7180/cmf/login Username: admin Password: admin
10. Kun kirjaudut sisään, sinut tervehtii Tervetuloa-sivu. Täältä löydät julkaisutiedot, Cloudera Managerin uudet ominaisuudet.
11. Hyväksy lisenssi ja jatka.
12. Valitse painos. Kokeiluversio on valittu oletuksena, voimme jatkaa sitä.
13. Noudata nyt klusterin asennusvaiheita. Jatka tervetulosivua.
14. Nimeä klusteri ja jatka, olemme nimenneet "tecmintiksi". Voit määritellä kahdenlaisia klustereita. Jatkamme Regular Clusterin kanssa.
- Säännöllinen klusteri: Koostuu tallennussolmuista, laskusolmuista ja muista tarvittavista palveluista
- Laske klusteri: Koostuu vain laskusolmuista. Ulkoista tallennustilaa voidaan käyttää tietojen tallentamiseen.
15. Olemme jo asentaneet Cloudera Manager -agentit kaikkiin palvelimiin. Löydät kyseiset palvelimet "Tällä hetkellä hallinnoidut isännät". Automaattista asennusta varten sinun on syötettävä palvelimien FQDN tai IP "Uusi isäntä" -vaihtoehtoon ja tehtävä haku. Cloudera Manager tunnistaa automaattisesti isännät, joille meidän on asennettava CDH.
Napsauta tässä "Tällä hetkellä hallinnoidut isännät", valitse kaikki isännät valitsemalla "Isäntänimi" ja jatka.
16. Valitse arkisto - paketin käyttö on suositeltava tapa. Määritä arkisto napsauttamalla Lisää vaihtoehtoja.
17. Kirjoita paikallisen tietovaraston URL alla mainitulla tavalla. Poista kaikki jäljellä olevat julkiset arkistot, jotka osoittavat verkkoa (Cloudera-arkistot).
Tämä on CDH: n paikallisen tietovaraston URL-osoite, joka meillä on master1: ssä.
http://104.211.95.96/cloudera-repos/cdh/
18. Kun arkiston URL-osoite on syötetty, tällä sivulla näytetään vain käytettävissä olevat paketit. Jatka tätä vaihetta.
19. Nyt paketteja ladataan, jaetaan, puretaan ja aktivoidaan kaikkiin käytettävissä oleviin palvelimiin.
20. Kun CDH-paketit ovat aktivoituneet, tarkista klusteri. Tämä vaihe tekee klusterin terveystarkastuksen. Tässä ohitetaan ja jatketaan.
Vaihe 5: Klusterin kokoonpano
21. Tässä on valittava Clusteriin asennettavat palvelut. Joitakin pakattuja yhdistelmiä on saatavana oletusarvoisesti, menemme mukautettujen palveluiden kanssa.
22. Mukautetuissa palveluissa asennamme tähän demotarkoitukseen vain ydinkomponentit (HDFS ja YARN).
23. Määritä roolit palvelimelle. Voimme räätälöidä tarpeidemme mukaan. Etsi alla oleva kaavio, joka kuvaa suositellun roolijakauman pienelle perusryhmälle, jossa on 5-20 solmua ja korkea käytettävyys.
24. Valitse tietokannan tyyppi, isäntänimi, tietokannan nimi, käyttäjätunnus ja salasana. Koska käytämme sulautettua PostgreSQL: ää, se valitaan oletuksena. Testaa yhteys, sen pitäisi olla onnistunut.
25. Tämä sivu näyttää HDFS: n ja langan oletusasetukset, mukaan lukien tietohakemistot. Tarkista kaikki määritystiedot ja voit tehdä muutoksia tarvittaessa. Jatka sitten tätä.
26. Tällä sivulla näytetään ”First Run” -komennon yksityiskohdat. Voit laajentaa sitä nähdäksesi komentojen suorittamisen yksityiskohdat. Jos klusterissa on verkko- tai käyttöoikeusongelmia, tämä vaihe epäonnistuu. Yleensä tämä vaihe päättää klusterirakenteen sujuvan asennuksen.
27. Kun yllä oleva vaihe on valmis, napsauta ‘Valmis’ suorittaaksesi asennuksen loppuun. Tämä on Cloudera Managerin hallintapaneeli CDH: n asennuksen jälkeen.
http://104.211.95.96:7180/cmf/home
Olemme suorittaneet Cloudera Managerin ja CDH: n asennuksen onnistuneesti. Cloudera Managerin hallintapaneelista löydät ennalta määritellyt kaaviot, joissa voit seurata klusterin prosessoria, levyn IO: ta jne. Voimme hallita koko klusteria tällä Cloudera Managerilla. Näemme kaikki hallinnolliset toimet tulevissa artikkeleissa.