Namenoden korkean käytettävyyden määrittäminen - Osa 5

Hadoop sisältää kaksi ydinkomponenttia, jotka ovat HDFS ja YARN. HDFS on tietojen tallentamiseen, YARN on tietojen käsittelyyn. HDFS on Hadoop Distributed File System, sen Master Service- ja Datanode-muodossa on Namenode. Orjapalveluna.

Namenode on Hadoopin kriittinen komponentti, joka tallentaa HDFS:ään tallennettujen tietojen metatiedot. Jos Namenode menee alas, koko klusteri ei ole käytettävissä, se on ainoa vikapiste (SPOF). Tuotantoympäristössä on siis Namenode High Availability, jotta vältetään tuotantokatkokset, jos yksi Namenode katkeaa useista syistä, kuten koneen kaatumisesta, suunnitelluista huoltotoimista jne.

Hadoop 2.x tarjoaa mahdollisuuden, jossa meillä voi olla kaksi Namenodea, joista toinen on Active Namenode ja toinen Standby Namenode<.

  • Aktiivinen nimisolmu – Se hallitsee kaikkia asiakastoimintoja.
  • Valmiustilassa oleva nimisolmu – se on tarpeeton aktiivisesta nimisolusta. Jos Active NN katoaa, Standby NN ottaa kaiken vastuun Active NN:stä.

Namenode High Availabilityn käyttöön ottaminen edellyttää Zookeeperin käyttöä, joka on pakollinen automaattisessa vikasietotilassa. ZKFC (Zookeeper Failover Controller) on Zookeeper -asiakasohjelma, jota käytetään Namenoden tilan ylläpitämiseen.

Vaatimukset

  • Parhaat käytännöt Hadoop-palvelimen käyttöönottoon CentOS/RHEL 7:ssä – Osa 1
  • Hadoopin ennakkovaatimusten määrittäminen ja suojauksen vahvistaminen – Osa 2
  • Cloudera Managerin asentaminen ja määrittäminen CentOS/RHEL 7:ssä – Osa 3
  • CDH:n asentaminen ja palvelusijoittelujen määrittäminen CentOS/RHEL 7:ssä – Osa 4

Tässä artikkelissa aiomme ottaa Namenode High Availabilityn käyttöön Cloudera Managerissa.

Vaihe 1: Zookeeperin asennus

1. Kirjaudu Cloudera Manageriin.

http://Your-IP:7180/cmf/home

2. Valitse Cluster (tecmint) -toimintokehotteesta "Lisää palvelu".

3. Valitse palvelu "Zookeeper".

4. Valitse palvelimet, joihin Zookeeper asennetaan.

5. Meillä on 3 eläintarhanhoitajaa, jotka muodostavat eläintarhanhoitajan koorumin. Valitse palvelimet alla mainitulla tavalla.

6. Määritä Zookeeper-ominaisuudet, tässä ovat oletusominaisuudet. Reaaliajassa sinulla on oltava erilliset hakemisto-/liitoskohdat Zookeeper-tietojen tallentamista varten. Osassa 1 olemme selostaneet kunkin palvelun tallennustilan määrityksiä. Jatka napsauttamalla jatka.

7. Asennus alkaa, kun Zookeeper käynnistyy asennuksen jälkeen. Voit tarkastella taustatoimintoja täältä.

8. Kun yllä oleva vaihe on suoritettu onnistuneesti, tilaksi tulee Valmis.

9. Zookeeper on nyt asennettu ja määritetty onnistuneesti. Napsauta Valmis.

10. Voit tarkastella Zookeeper -palvelua Cloudera Manager -hallintapaneelissa.

Vaihe 2: Ota Namenode High Availability käyttöön

11. Siirry kohtaan Cloudera Manager –> HDFS –> Toiminnot –> Ota korkea saatavuus käyttöön vahva>.

12. Kirjoita Nimipalvelun nimi muodossa "nameservice1" – Tämä on yhteinen nimiavaruus sekä aktiiviselle että valmiustilassa olevalle Namenodelle.

13. Valitse Toinen Namenode, jossa meillä on valmiustilassa Namenode.

14. Tässä valitsemme master2.linux-console.net valmiustilaan Namenode.

15. Valitse Journal-solmut. Nämä ovat pakollisia palveluita aktiivisen ja valmiustilan Namenoden synkronoinnissa.

16. Teemme Quorum Journalin sijoittamalla Journal-solmun kolmeen palvelimeen alla mainitulla tavalla. Valitse 3 palvelinta ja napsauta 'OK'.

17. Jatka napsauttamalla Jatka.

18. Anna Journal Node -hakemistopolku. Meidän on vain mainittava polku, kun asennat tämän hakemiston, palvelu luo automaattisesti itse. Mainitsemme nimellä '/jn'. Jatka napsauttamalla Jatka.

19. Se ottaa käyttöön Korkean käytettävyyden.

20. Kun kaikki taustaprosessit on suoritettu, saamme Valmis-tilan.

21. Lopuksi saamme ilmoituksen Korkea saatavuus on otettu käyttöön. Napsauta Valmis.

22. Vahvista aktiivinen ja valmiustilassa oleva nimisolmu siirtymällä kohtaan Cloudera Manager –> HDFS. > –> Esiintymät.

23. Täällä voit käyttää kahta Namenodia, joista toinen on Active-tilassa ja toinen valmiustilassa. ' tila.

Johtopäätös

Tässä artikkelissa olemme käyneet läpi vaiheittaiset prosessit ottaaksemme Namenode High Availabilityn käyttöön. On erittäin suositeltavaa, että Namenode High Availability on kaikissa klustereissa reaaliaikaisessa ympäristössä. Ilmoita epäilyksesi, jos kohtaat virheen tämän prosessin aikana. Näemme seuraavassa artikkelissa Resource Manager High Availability.