Var kommer mapparens mellanliggande data att lagras?

Var kommer mapparens mellanliggande data att lagras?
Var kommer mapparens mellanliggande data att lagras?
Anonim

Utdata från Mapper (mellanliggande data) lagras i det lokala filsystemet (inte HDFS) för varje individuell mappardatanod. Detta är vanligtvis en tillfällig katalog som kan ställas in i konfigurationen av Hadoop-administratören.

Var gör MapReduce mellanliggande data?

  • Mapparens utdata (mellanliggande data) lagras i det lokala filsystemet (NOT HDFS) för varje individuell mapparnod. …
  • jag tror att detta är parametern som måste ändras för att ändra den mellanliggande dataplatsen..
  • mapreduce.cluster.local.dir.
  • Hoppas detta hjälper.

Var lagras mapparens utdata?

9) Var lagras Mapper-utdata? Mellannyckelvärdesdata för mapparens utdata kommer att lagras på lok alt filsystem för mapparnoderna. Denna katalogplats är inställd i konfigurationsfilen av Hadoop Admin.

Vad är mellanliggande data i MapReduce?

Mellandatafiler genereras av kartan och reducerar uppgifter i en katalog (plats) på den lokala disken. … Utdatafiler genererade av kartuppgifterna som fungerar som indata för reduceringsuppgifterna. Tillfälliga filer genererade av reduceringsuppgifterna.

Var är utdata från mapper skriven i Hadoop?

I Hadoop är utdata från Mapper lagrat på lokal disk, eftersom det är mellanliggande utdata. Det finns inget behov av att lagra mellanliggande datapå HDFS eftersom: dataskrivning är kostsamt och involverar replikering vilket ytterligare ökar kostnaden och tiden.

Rekommenderad: