Håndtering av gnistminne

Dette minnebassenget administreres av Spark. Dette er ansvarlig for å lagre mellomliggende tilstand mens du utfører oppgave som joins eller lagrer kringkastingsvariablene. Alle bufrede/vedvarte data vil bli lagret i dette segmentet, spesielt i lagringsminnet til dette segmentet.

1. Hvordan fungerer gnistminne?
2. Kan gnist gå tom for minne?
3. Hvordan er hukommelsen delt i gnist?
4. Hvordan justerer jeg gnistminnet mitt?

Hvordan fungerer gnistminne?

Apache Spark er en klynge-databehandlingsplattform som gir et API for distribuert programmering som ligner på MapReduce-modellen, men er designet for å være rask for interaktive spørringer og iterative algoritmer. Den oppnår dette først og fremst ved å bufre data som kreves for beregning i minnet til nodene i klyngen.

Kan gnist gå tom for minne?

Tapt minne på førernivå

En driver i Spark er JVM der programmets hovedkontrollflyt går. Oftere enn ikke mislykkes driveren med en OutOfMemory -feil på grunn av feil bruk av Spark.

Hvordan er hukommelsen delt i gnist?

På Heap Memory

Som standard bruker Spark bare On-memory-haug. On-heap-minneområdet i Executor kan grovt deles inn i følgende fire blokker: Lagringsminne: Det brukes hovedsakelig til å lagre Spark-cachedata, for eksempel RDD-cache, Unroll-data og så videre.

Hvordan justerer jeg gnistminnet mitt?

Her er noen måter å gjøre dette på:

1. Hvis RAM -størrelsen er mindre enn 32 GB, bør JVM -flagget settes til –xx:+ UseCompressedOops. ...
2. Nested strukturer kan unngås ved å bruke flere små objekter samt tips.
3. I stedet for å bruke strenger for nøkler kan du bruke numeriske ID -er og oppregnede objekter.