Parhaat käytännöt Hadoop-palvelimen käyttöönottoon CentOS/RHEL 7:ssä – Osa 1

Tässä artikkelisarjassa käsittelemme koko Cloudera Hadoop Cluster Building -rakennuksen Vendor- ja Industrial -suositelluilla parhailla käytännöillä.

OS-asennus ja OS-tason suorittaminen Edellytykset ovat ensimmäiset vaiheet Hadoop-klusterin rakentamiseen. Hadoop voi toimia erilaisilla Linux-alustalla: CentOS, RedHat, Ubuntu, Debian<, SUSE jne. Reaaliaikaisessa tuotannossa suurin osa Hadoop-klustereista on rakennettu RHEL/CentOS:n päälle. käyttää CentOS 7:ää esittelyyn tässä opetusohjelmasarjassa.

Organisaatiossa käyttöjärjestelmän asennus voidaan tehdä kickstartilla. Jos kyseessä on 3–4 solmun klusteri, manuaalinen asennus on mahdollista, mutta jos rakennamme suuren klusterin, jossa on yli 10 solmua, käyttöjärjestelmän asentaminen yksitellen on tylsää. Tässä skenaariossa Kickstart-menetelmä tulee kuvaan, voimme jatkaa massaasennukseen kickstartilla.

Hyvän suorituskyvyn saavuttaminen Hadoop-ympäristössä riippuu oikean laitteiston ja ohjelmiston toimittamisesta. Tuotannon Hadoop-klusterin rakentamiseen liittyy siis paljon laitteistoa ja ohjelmistoa koskevaa harkintaa.

Tässä artikkelissa käymme läpi erilaisia käyttöjärjestelmän asennusta koskevia vertailuarvoja ja joitain parhaita käytäntöjä Cloudera Hadoop Cluster Serverin käyttöönotossa CentOS/RHEL 7:ssä.

Tärkeää huomioitavaa ja parhaat käytännöt Hadoop-palvelimen käyttöönottamiseksi

Seuraavat ovat parhaat käytännöt Cloudera Hadoop Cluster Serverin käyttöönottoon CentOS/RHEL 7:ssä.

  • Hadoop-palvelimet eivät vaadi yrityksen standardipalvelimia klusterin rakentamiseen, se vaatii hyödykelaitteiston.
  • Tuotantoklusterissa suositellaan 8-12 tietolevyn käyttöä. Työtaakan luonteen mukaan meidän on päätettävä tästä. Jos klusteri on tarkoitettu paljon laskentaa vaativille sovelluksille, 4–6 asemaa on paras käytäntö I/O-ongelmien välttämiseksi.
  • Data-asemat tulee osioida esimerkiksi yksittäin – alkaen /data01 - /data10.
  • RAID-määritystä ei suositella työntekijäsolmuille, koska Hadoop itse tarjoaa datan vikasietoisuuden replikoimalla lohkot oletuksena kolmeen. Joten JBOD on paras työntekijäsolmuille.
  • Pääpalvelimille RAID 1 on paras käytäntö.
  • Oletustiedostojärjestelmä CentOS/RHEL 7.x:ssä on XFS. Hadoop tukee XFS:ää, ext3:a ja ext4:ää. Suositeltu tiedostojärjestelmä on ext3, koska sen suorituskyky on testattu.
  • Kaikilla palvelimilla tulee olla sama käyttöjärjestelmäversio, vähintään sama pieni versio.
  • Paras käytäntö on olla homogeeninen laitteisto (kaikilla työntekijäsolmuilla tulee olla samat laitteisto-ominaisuudet (RAM, levytila & Core jne.).
  • Klusterin työkuorman (Balanced Workload, Compute Intensive, I/O Intensive) ja koon, resurssien (RAM, CPU) suunnittelu palvelinkohtaisesti vaihtelee.

Etsi alla oleva esimerkki 24 Tt:n palvelinten levyosioinnista.

CentOS 7:n asentaminen Hadoop-palvelimen käyttöönottoa varten

Asiat, jotka sinun tulee tietää ennen CentOS 7 -palvelimen asentamista Hadoop-palvelimelle.

  • Minimiasennus riittää Hadoop-palvelimille (työntekijäsolmuille), joissakin tapauksissa GUI voidaan asentaa vain pääpalvelimiin tai hallintapalvelimiin, joissa voimme käyttää selaimia verkkokäyttöliittymille Hallintatyökalut.
  • Verkkojen, isäntänimen ja muiden käyttöjärjestelmään liittyvien asetusten määrittäminen voidaan tehdä käyttöjärjestelmän asennuksen jälkeen.
  • Palvelintoimittajilla on reaaliajassa oma konsolinsa esimerkiksi palvelimien vuorovaikutukseen ja hallintaan – Dellin palvelimilla on iDRAC, joka on palvelimiin upotettu laite. Tämän iDRAC-liittymän avulla voimme asentaa käyttöjärjestelmän, jossa on käyttöjärjestelmäkuva paikallisessa järjestelmässämme.

Tässä artikkelissa olemme asentaneet käyttöjärjestelmän (CentOS 7) VMware-virtuaalikoneeseen. Tässä meillä ei ole useita levyjä osioiden suorittamiseen. CentOS on samanlainen kuin RHEL (sama toiminnallisuus), joten näemme CentOS:n asennuksen vaiheet.

1. Aloita lataamalla CentOS 7.x ISO -näköistiedosto paikalliseen Windows-järjestelmääsi ja valitse se käynnistäessäsi virtuaalikoneen. Valitse Asenna CentOS 7 kuvan mukaisesti.

2. Valitse Kieli. Oletusarvo on englanti ja napsauta jatka.

3. Ohjelmiston valinta – Valitse Minimaalinen asennus ja napsauta Valmis.

4. Aseta root-salasana, niin kuin se pyytää meitä asettamaan.

5. Asennuskohde – Tämä on tärkeä askel olla varovainen. Meidän on valittava levy, jolle käyttöjärjestelmä on asennettava, käyttöjärjestelmälle on valittava oma levy. Napsauta Asennuskohde ja valitse levy, reaaliajassa siellä on useita levyjä, meidän on valittava mieluummin sda.

6. Muut tallennusasetukset – Valitse toinen vaihtoehto (määritän osioinnin) määrittääksesi käyttöjärjestelmään liittyvät osiot, kuten /var, / var/log, /home, /tmp, /opt, /swap.

7. Kun olet valmis, aloita asennus.

8. Kun asennus on valmis, käynnistä palvelin uudelleen.

9. Kirjaudu palvelimelle ja aseta isäntänimi.

hostnamectl status
hostnamectl set-hostname tecmint
hostnamectl status

Yhteenveto

Tässä artikkelissa olemme käyneet läpi käyttöjärjestelmän asennusvaiheet ja tiedostojärjestelmän osioinnin parhaat käytännöt. Nämä ovat kaikki yleisohjeita, työtaakan luonteen mukaan saatamme joutua keskittymään enemmän vivahteisiin saavuttaaksemme klusterin parhaan suorituskyvyn. Klusterisuunnittelu on taidetta Hadoop-järjestelmänvalvojalle. Sukellamme syvälle käyttöjärjestelmän tason ennakkovaatimuksiin ja turvallisuuden koventamiseen seuraavassa artikkelissa.