Apache Falcon: Ny datastyringsplatform til Hadoop-økosystemet

Apache Falcon er en ny datastyringsplatform til Hadoop-økosystemet, der forenkler indbygget foderbehandling og feedadministration på hadoop-klynger. Lær hvordan du konfigurerer det.



Apache Falcon er en ramme til styring af datas livscyklus i Hadoop-klynger. Det etablerer sammenhæng mellem forskellige data og behandlingselementer i et Hadoop-miljø og leverer også foderadministrationstjenester såsom foderretention, replikationer på tværs af klynger, arkivering osv.



Lad os først diskutere, hvordan du konfigurerer Apache Falcon. Kør nedenstående kommando for at downloade git-arkiv af Falcon:

Kommando: git klon https://git-wip-us.apache.org/repos/asf/falcon.git falk



git-command-apache-falcon

For at køre falk skal du først bygge den.

Kommando: cd falk



Kommando: eksporter MAVEN_OPTS = ”- Xmx1024m -XX: MaxPermSize = 256m -overvåg” && mvn ren installation -DskipTests

Kommando: mvn ren samling: samling -DskipTests -DskipITs

Når du har bygget falk, finder du en falkpakke inde i / falcon / distro / target / directory.

Kommandoerne til bygning af falk ser meget let ud, men du vil stå over for mange problemer, før du ser meddelelsen Build Success. Jeg stod over for mange problemer, mens jeg byggede den til Hadoop-2.2.0

Så for at springe over smerten ved at opbygge Falcon giver jeg dig en vellykket bygget falkpakke, som du kan downloade ved hjælp af nedenstående link.

https://edureka.wistia.com/medias/xw5cfzqmho/download?media_file_id=124642564

Pak filen ud for at få falcon-0.10-biblioteket.

Kommando: udpak falk-0.10-SNAPSHOT.zip

Sæt flacon-miljøvariabler i .bashrc-filen.

Kommando: sudo gedit .bashrc

Kommando: kilde .bashrc

Du kan gå til falcon-biblioteket og se filerne og mapperne inde i det.

Kommando: cd falcon-0.10-SNAPSHOT /

Kommando: ls

Du kan finde falke-scripts i bin-biblioteket.

Kør under kommandoen for at starte Falcon.

Kommando: ./bin/falcon-start

Du ser en ny dæmon FalconServer køre nu.

Kommando: jps

Kommando: ./bin/falcon admin-version

Åbn din browser, og gå til lokal vært: 15000 . Du kan se Falcon web-brugergrænseflade.

implementere min bunke i java

Har du et spørgsmål til os? Nævn dem i kommentarsektionen, så vender vi tilbage til dig.

Relaterede indlæg:

Boring ned på Apache Drill