Parhaat käytännöt Hadoop-palvelimen käyttöönotossa CentOS/RHEL 7: ssä - osa 1
Tässä artikkelisarjassa käsittelemme koko Cloudera Hadoop Cluster Building -rakennuksen toimittajien ja teollisuuden suosittelemien parhaiden käytäntöjen kanssa.
Käyttöjärjestelmän asennus ja käyttöjärjestelmän tason suorittaminen Edellytykset ovat ensimmäiset vaiheet Hadoop-klusterin rakentamiseen. Hadoop voi toimia Linux-alustan eri makuilla: CentOS, RedHat, Ubuntu, Debian, SUSE jne., Reaaliaikaisessa tuotannossa suurin osa Hadoop-klustereista on rakennettu RHEL/CentOS: n päälle, käytämme CentOS 7: tä esittelyyn tässä opetusohjelmassa.
Organisaatiossa käyttöjärjestelmän asennus voidaan tehdä kickstartilla. Jos kyseessä on 3-4 solmuryhmä, manuaalinen asennus on mahdollista, mutta jos rakennamme suuren klusterin, jossa on yli 10 solmua, käyttöjärjestelmän asentaminen yksitellen on työlästä. Tässä skenaariossa kuvaan tulee Kickstart-menetelmä, voimme jatkaa massa-asennusta kickstartilla.
Hadoop-ympäristön hyvän suorituskyvyn saavuttaminen edellyttää oikean laitteiston ja ohjelmiston hankkimista. Joten tuotanto-Hadoop-klusterin rakentamiseen liittyy paljon harkintaa laitteistojen ja ohjelmistojen suhteen.
Tässä artikkelissa käymme läpi erilaisia käyttöjärjestelmän asennuksen vertailuarvoja ja joitain parhaita käytäntöjä Cloudera Hadoop Cluster Serverin käyttöönottamiseksi CentOS/RHEL 7: ssä.
Tärkeää huomioita ja parhaita käytäntöjä Hadoop-palvelimen käyttöönotossa
Seuraavassa on parhaita käytäntöjä Cloudera Hadoop Cluster Serverin käyttöönoton asettamiseksi CentOS/RHEL 7: een.
- Hadoop-palvelimet eivät vaadi yritysstandardipalvelimia klusterin rakentamiseen, vaan ne edellyttävät hyödykelaitteistoa.
- Tuotantoklusterissa suositellaan 8 - 12 tietolevyä. Työmäärän luonteen mukaan meidän on päätettävä tästä. Jos klusteri on tarkoitettu tietojenkäsittelyintensiivisille sovelluksille, 4–6 aseman käyttö on paras käytäntö I/O-ongelmien välttämiseksi.
- Data-asemat tulisi jakaa osiin erikseen, alkaen/data01 -/data10.
- RAID-kokoonpanoa ei suositella työntekijän solmuille, koska Hadoop itse tarjoaa vikasietoisuuden toistamalla lohkot oletusarvoisesti kolmeksi. Joten JBOD on paras työntekijöiden solmuille.
- Master-palvelimille RAID 1 on paras käytäntö.
- CentOS/RHEL 7.x: n oletustiedostojärjestelmä on XFS. Hadoop tukee XFS-, ext3- ja ext4-tiedostoja. Suositeltu tiedostojärjestelmä on ext3, koska sen suorituskyky on testattu.
- Kaikilla palvelimilla tulee olla sama käyttöjärjestelmäversio, ainakin sama pieni julkaisu.
- On suositeltavaa, että laitteisto on homogeeninen (kaikilla työntekijäsolmuilla tulisi olla samat laitteisto-ominaisuudet (RAM, levytila ja ydin).
- Klusterin työmäärän (tasapainotettu kuormitus, intensiivinen laskenta, I/O-intensiivisyys) ja koon mukaan resurssien (RAM, CPU) suunnittelu palvelinta kohden eroaa.
Etsi alla oleva esimerkki 24 Tt: n tallennustilan palvelinten levyn osioinnista.
CentOS 7: n asentaminen Hadoop-palvelimen käyttöönottoa varten
Asiat, jotka sinun on tiedettävä ennen CentOS 7 -palvelimen asentamista Hadoop Server -palvelimeen.
- Hadoop-palvelimille (työntekijäsolmuille) riittää vähäinen asennus, joissakin tapauksissa GUI voidaan asentaa vain pääpalvelimille tai hallintapalvelimille, joissa voimme käyttää selaimia hallintatyökalujen web-käyttöliittymiin.
- Verkkojen, isäntänimen ja muiden käyttöjärjestelmään liittyvien asetusten määrittäminen voidaan tehdä käyttöjärjestelmän asennuksen jälkeen.
- Reaaliajassa palveluntarjoajilla on oma konsoli esimerkiksi palvelinten vuorovaikutuksessa ja hallinnassa - Dell-palvelimilla on palvelimiin upotettu iDRAC, joka on laite. Tuon iDRAC-käyttöliittymän avulla voimme asentaa käyttöjärjestelmän, jolla on käyttöjärjestelmäkuva paikalliseen järjestelmäämme
Tässä artikkelissa olemme asentaneet käyttöjärjestelmän (CentOS 7) VMware-virtuaalikoneeseen. Täällä meillä ei ole useita levyjä osioiden suorittamiseen. CentOS on samanlainen kuin RHEL (sama toiminnallisuus), joten näemme vaiheet CentOSin asentamiseksi.
1. Aloita lataamalla CentOS 7.x ISO -kuva paikalliseen Windows-järjestelmään ja valitse se käynnistettäessä virtuaalikone. Valitse ‘Asenna CentOS 7’ kuvan osoittamalla tavalla.
2. Valitse kieli, oletuksena on englanti ja napsauta Jatka.
3. Ohjelmiston valinta - Valitse Minimaalinen asennus ja napsauta Valmis.
4. Aseta pääsalasana, koska se kehottaa meitä asettamaan.
5. Asennuskohde - Tämä on tärkeä askel olla varovainen. Meidän on valittava levy, johon käyttöjärjestelmä on asennettava, käyttöjärjestelmälle tulisi valita oma levy. Napsauta kohtaa ”Asennuskohde” ja valitse levy, koska reaaliajassa on useita levyjä, meidän on valittava mieluummin sda.
6. Muut tallennusvaihtoehdot - Valitse toinen vaihtoehto (määritän osioinnin) määrittääksesi käyttöjärjestelmään liittyvät osiot, kuten/var,/var/log,/home,/tmp,/opt,/swap.
7. Kun olet valmis, aloita asennus.
8. Kun asennus on valmis, käynnistä palvelin uudelleen.
9. Kirjaudu palvelimeen ja määritä isäntänimi.
# hostnamectl status # hostnamectl set-hostname tecmint # hostnamectl status
Tässä artikkelissa olemme käyneet läpi käyttöjärjestelmän asennusvaiheet ja parhaat käytännöt tiedostojärjestelmän osioinnissa. Nämä ovat kaikki yleisiä ohjeita, työmäärän luonteen mukaan meidän on ehkä keskityttävä enemmän vivahteisiin klusterin parhaan suorituskyvyn saavuttamiseksi. Klusterisuunnittelu on taidetta Hadoop-järjestelmänvalvojalle. Seuraavassa artikkelissa tutustut perusteellisesti käyttöjärjestelmän tason vaatimuksiin ja turvallisuuden kovettumiseen.