Logo hu.boatexistence.com

Hogyan működnek a térképezők és reduktorok?

Tartalomjegyzék:

Hogyan működnek a térképezők és reduktorok?
Hogyan működnek a térképezők és reduktorok?

Videó: Hogyan működnek a térképezők és reduktorok?

Videó: Hogyan működnek a térképezők és reduktorok?
Videó: 9 Steps to Linking Workspaces in Global Mapper 2024, Lehet
Anonim

Egy leképező vagy leképezési feladat kimenete (kulcsérték párok) bemenet a reduktorba A reduktor több leképezési feladattól kapja a kulcs-érték párt. Ezután a reduktor ezeket a közbenső adatsorokat (köztes kulcs-érték pár) a sorok vagy kulcsérték-párok kisebb halmazává aggregálja, amely a végső kimenet.

Mit csinálnak a térképezők és reduktorok?

A Hadoop Mapper egy függvény vagy feladat, amely egy fájl összes bemeneti rekordjának feldolgozására szolgál, és a kimenetet generálja, amely bemenetként működik a Reducer számára A kimenetet új visszaadásával állítja elő kulcs-érték párok. … A leképező néhány kis adatblokkot is generál, miközben a bemeneti rekordokat kulcs-érték párként dolgozza fel.

Mi a különbség a térképező és a szűkítő között?

Mi a fő különbség a Mapper és a Reducer között? A Mapper feladat a feldolgozás első fázisa, amely minden egyes bemeneti rekordot(a RecordReaderből) feldolgoz, és egy közbenső kulcs-érték párt generál. A Reduce metódus minden kulcs/érték listapárhoz külön kerül meghívásra.

Hogyan számítja ki a leképezők és szűkítők számát?

Attól függ, hogy hány mag és mennyi memória van az egyes slave-eken. Általában egy leképezőnek 1-1,5 processzormagot kell szereznie Tehát ha 15 magja van, akkor csomópontonként 10 leképezőt futtathat. Tehát ha 100 adatcsomópontja van a Hadoop-fürtben, akkor 1000 leképezőt futtathat egy fürtben.

Hogyan működik a Mapper funkció?

A Mapper egy olyan függvény, amely feldolgozza a bemeneti adatokat A leképező feldolgozza az adatokat, és több kis adatdarabot hoz létre. A leképező függvény bemenete (kulcs, érték) párok formájában történik, még akkor is, ha a MapReduce program bemenete egy fájl vagy könyvtár (amely a HDFS-ben van tárolva).

Ajánlott: