bigdata:hadoop
Unterschiede
Hier werden die Unterschiede zwischen zwei Versionen angezeigt.
Beide Seiten der vorigen RevisionVorhergehende ÜberarbeitungNächste Überarbeitung | Vorhergehende ÜberarbeitungNächste ÜberarbeitungBeide Seiten der Revision | ||
bigdata:hadoop [2015/10/05 20:53] – [MapReduce] brueck | bigdata:hadoop [2015/10/05 21:02] – [Hadoop] brueck | ||
---|---|---|---|
Zeile 1: | Zeile 1: | ||
====== Hadoop ====== | ====== Hadoop ====== | ||
+ | {{ : | ||
**Hadoop** ist ein in Java geschriebenes und quelloffenes Framework für das Verarbeiten und Analysieren großer Datenmengen auf verteilten Systemen der Apache Software Foundation. Ursprünglich wurde es 2005 von Doug Cutting und Mike Cafarella bei Yahoo! entwickelt. | **Hadoop** ist ein in Java geschriebenes und quelloffenes Framework für das Verarbeiten und Analysieren großer Datenmengen auf verteilten Systemen der Apache Software Foundation. Ursprünglich wurde es 2005 von Doug Cutting und Mike Cafarella bei Yahoo! entwickelt. | ||
Zeile 6: | Zeile 7: | ||
In gewisser Weise übernimmt Hadoop für verteilte Systeme die Rolle des Betriebssystems auf Cluster-Ebene (die einzelnen Maschinen haben immer noch ihr eigenes) ([[bigdata: | In gewisser Weise übernimmt Hadoop für verteilte Systeme die Rolle des Betriebssystems auf Cluster-Ebene (die einzelnen Maschinen haben immer noch ihr eigenes) ([[bigdata: | ||
+ | |||
+ | (Grafik-Quelle: | ||
Zeile 73: | Zeile 76: | ||
- | ==== YARN ==== | + | ===== YARN ===== |
**YARN** steht für „**Y**et **A**nother **R**esource **N**egotiator“ („noch ein Ressourcen-Vermittler“) oder auch **MapReduce 2.0** (**MRv2**) und kam als wichtigste neue Komponente des Hadoop 2 Upgrades und übernimmt den Part des Ressourcen-Managements und Job-Schedulings und kommt so als Nachfolger des MapReduce-Frameworks daher. Es bildet eine neue Abstraktionsschicht, | **YARN** steht für „**Y**et **A**nother **R**esource **N**egotiator“ („noch ein Ressourcen-Vermittler“) oder auch **MapReduce 2.0** (**MRv2**) und kam als wichtigste neue Komponente des Hadoop 2 Upgrades und übernimmt den Part des Ressourcen-Managements und Job-Schedulings und kommt so als Nachfolger des MapReduce-Frameworks daher. Es bildet eine neue Abstraktionsschicht, | ||
{{ bigdata: | {{ bigdata: | ||
- | (Bild-Quelle: | + | (Bild-Quelle: |
- | === Architektur === | + | ==== Architektur |
Ein YARN-Cluster besteht aus folgenden Komponenten: | Ein YARN-Cluster besteht aus folgenden Komponenten: | ||
Zeile 91: | Zeile 94: | ||
* **Container** (pro Applikation): | * **Container** (pro Applikation): | ||
- | (Vgl. [[bigdata: | + | (Vgl. [[bigdata: |
{{ bigdata: | {{ bigdata: | ||
- | (Bild-Quelle: | + | (Bild-Quelle: |
- | Das Trennen des Ressourcenmanagements von MapReduce durch die YARN-Architektur, | + | Das Trennen des Ressourcenmanagements von MapReduce durch die YARN-Architektur, |
bigdata/hadoop.txt · Zuletzt geändert: 2016/06/27 23:12 von hohmann