Az akkumulátorok olyan változók, amelyeket csak asszociatív művelettel „adnak hozzá”, és ezért párhuzamosan hatékonyan támogathatók. Használhatók számlálók (mint a MapReduce-ban) vagy összegek megvalósítására. A Spark natívan támogatja a numerikus típusú akkumulátorokat, a programozók pedig új típusokat adhatnak hozzá.
Miért használunk akkumulátort?
A hidraulikus akkumulátorokat számos iparban használják energia tárolására; fenntartani a nyomást; csillapítsa a rezgéseket, lüktetéseket és ütéseket; és még sok más. Energiatárolás – Az akkumulátorok képesek energiát fogadni, tárolni és leadni nyomás alatti folyadék formájában, hogy javítsák a hidraulikus rendszer hatékonyságát.
Mi a különbség a sugárzás és az akkumulátor között a Sparkban?
A fő különbség a szórási változó és az akkumulátor között , hogy míg a szórási változó csak olvasható, az akkumulátort hozzá lehet adni. … Minden dolgozó csomópont csak a saját helyi gyűjtőértékéhez férhet hozzá, és csak az illesztőprogram férhet hozzá a globális értékhez.
Hogyan működik a Spark akkumulátor?
Az akkumulátorok olyan változók, amelyek a végrehajtók információinak összesítésére szolgálnak. Ez az információ vonatkozhat például adatokra vagy API-diagnosztikára, például hány rekord sérült, vagy hányszor hívták meg egy adott könyvtár API-t.
Miért nem használhatja a dolgozó az átalakítási műveletekhez a Spark akumulátorváltozóját?
Akkumulátor rossz kimenetet fog adni. Ha egy feladat lassan fut, akkor a Spark elindíthatja a feladat spekulatív másolatát egy másik csomóponton. Ítélet: Nem kezelték. Az akkumulátor rossz kimenetet ad.
