Eksempler på bikube og garn på gnist

I denne blog kører vi eksempler på Hive og Garn på Spark. For det første skal du bygge Hive and Garn on Spark, og så kan du køre Hive and Garn-eksempler på Spark.



Vi har lært at gøre det Byg Hive og Garn på Spark . Lad os nu prøve eksempler på bikube og garn på gnist.



Learn-Spark-Now

Hive-eksempel på gnist

Vi kører et eksempel på Hive on Spark. Vi opretter en tabel, indlæser data i denne tabel og udfører en simpel forespørgsel. Når man arbejder med Hive, skal man konstruere en HiveContext som arver fra SQLContext .



Kommando: cd gnist-1.1.1

Kommando: ./bin/spark-shell



Opret en inputfil 'prøve' i dit hjemmekatalog som nedenstående snapshot (fane adskilt).

Kommando: val sqlContext = ny org.apache.spark.sql.hive.HiveContext (sc)

Kommando: sqlContext.sql (“OPRET TABEL HVIS IKKE EKSISTER test (navn STRING, rang INT) RÅFORMAT AFGRÆNSET FELTER AFSLUTTET AF‘ ‘LINJER AFSLUTTET AF‘
‘”)

Kommando: sqlContext.sql ('LOAD DATA LOCAL INPATH '/ home / edureka / sample' INTO TABLE test')

java system.exit (0)

Kommando: sqlContext.sql (“VÆLG * FRA test HVOR rang<5”).collect().foreach(println)

Garneksempel på gnist

Vi kører SparkPi-eksemplet på Garn. Vi kan distribuere Garn på gnist i to tilstande: klyngetilstand og klienttilstand. I garn-klyngetilstand kører Spark-driveren inde i en applikationsmasteproces, der styres af Garn i klyngen, og klienten kan gå væk, efter at applikationen er startet. I garn-klient-tilstand kører driveren i klientprocessen, og applikationsmasteren bruges kun til at anmode om ressourcer fra Garn.

Kommando: cd gnist-1.1.1

Kommando: SPARK_JAR =. / Forsamling / mål / scala-2.10 / gnist-samling-1.1.1-hadoop2.2.0.jar ./bin/spark-submit –mastergarn –deploy-mode-klynge –klasse org.apache.spark.examples. SparkPi –num-executors 1 –driverhukommelse 2g –executor-memory 1g –executor-cores 1 eksempler / target / scala-2.10 / gnist-eksempler-1.1.1-hadoop2.2.0.jar

Når du har udført ovenstående kommando, skal du vente et stykke tid, indtil du får det GODT besked.

Gennemse localhost: 8088 / klynge og klik på Spark-applikationen.

Java-programmer til Fibonacci-serier

Klik på logfiler .

Klik på stdout for at kontrollere output.

For at implementere Garn på Spark i klienttilstand skal du bare lave –Deploy-mode som 'klient'. Nu ved du hvordan man bygger Hive and Garn on Spark. Vi lavede også praktiske oplysninger om dem.

Har du et spørgsmål til os? Nævn dem i kommentarfeltet, så vender vi tilbage til dig.

Relaterede indlæg

Apache Spark med Hadoop - Hvorfor betyder det noget?

Hive & Garn Bliv elektrificeret af gnist