Hive & Garn Bliv elektrificeret af gnist

I denne Apache Spark & ​​big data-blog, lad os se, hvordan man bygger Spark til en bestemt Hadoop-version. Vi vil også lære at opbygge gnist til GARN og HIVE.

Lad os se på denne blog, hvordan man bygger Spark til en bestemt Hadoop-version.



Vi lærer også, hvordan man bygger gnist med HIVE og garn.



KM

hvordan man erklærer dynamisk array i java

I betragtning af at du har Hadoop, jdk, mvn og forudinstalleret og forudkonfigureret på dit system.



configure-Building-Yarn-and-Hive-on-Spark

Åben Mozilla-browser og download Gnist ved hjælp af nedenstående link.

https://edureka.wistia.com/medias/k14eamzaza/



Åben terminal.

Kommando: tar -xvf Downloads / spark-1.1.1.tgz

Kommando: ls

Åbn kataloget gnist-1.1.1.

Du kan åbne pom.xml fil. Denne fil giver dig oplysninger om alle afhængigheder du mangler.

Rediger det ikke for at undgå problemer.

Kommando: cd spark-1.1.1 /

Kommando: sudo gedit sbt / sbt-launch-lib.bash

Rediger filen som nedenstående snapshot, gem den og luk den.

Vi reducerer hukommelsen for at undgå problem med objektbunkeplads som nævnt i nedenstående øjebliksbillede.

Kør nu kommandoen nedenfor i terminalen for at oprette gnist til Hadoop 2.2.0 med HIVE og YARN.

Kommando: ./sbt/sbt -P garn -P bikube -Phadoop-2.2 -D hadoop.version = 2.2.0 -D skipTests montage

Bemærk: Min Hadoop-version er 2.2.0, du kan ændre den i henhold til din Hadoop-version.

Til andre Hadoop-versioner

# Apache Hadoop 2.0.5-alpha

-Dhadoop.version = 2.0.5-alfa

#Cloudera CDH 4.2.0

-Dhadoop.version = 2.0.0-cdh4.2.0

# Apache Hadoop 0.23.x

-Phadoop-0,23 -Dhadoop.version = 0,23,7

# Apache Hadoop 2.3.X

-Phadoop-2.3 -Dhadoop.version = 2.3.0

# Apache Hadoop 2.4.X

-Phadoop-2.4 -Dhadoop.version = 2.4.0

Det tager lidt tid at kompilere og emballere. Vent til den er færdig.

To krukker gnist-samling-1.1.1-hadoop2.2.0.jar og gnist-eksempler-1.1.1-hadoop2.2.0.jar bliver skabt.

Sti til gnist-samling-1.1.1-hadoop2.2.0.jar : /home/edureka/spark-1.1.1/assemble/target/scala-2.10/spark-assembly-1.1.1-hadoop2.2.0.jar

Sti til gnist-eksempler-1.1.1-hadoop2.2.0.jar: /home/edureka/spark-1.1.1/examples/target/scala-2.10/spark-examples-1.1.1-hadoop2.2.0.jar

Tillykke, du har med succes bygget Spark til Hive & Garn.

Har du et spørgsmål til os? Nævn dem i kommentarfeltet, så vender vi tilbage til dig.

Relaterede indlæg:

Apache Spark med Hadoop - Hvorfor betyder det noget?