Dei fleste kjeldene peikar mot at dalen må ha vore totalt avfolka også på slutten av mellomalderen - dvs. kring 1500. I lang tid vart det m.a. ikkje likna ut skatt frå nokon i dalen. (Sjå også:
Svartedauden la bygdene aude i Luster.)
Kring 1585 ser ein av skattelista at det er kome liv i dalen att: Då er det registrert 24 gardbrukarar eller "ryddebolsmenn" - dvs. nybrotsmenn som fekk tildelt jord frå Kongen. Slike fekk skattefritak. På denne tida hadde dei sett opp eit nytt kapell i dalen.
Dei første som flytta inn og på nytt folkesette den utdøydde dalen, kom nok mest frå Sogn. Men også folk frå Nordfjord og Gudbrandsdalen kom over bre og fjell og vart
"ryddebolsmenn" i Jostedalen.
Mest nordfjordingar øvst i dalen
Når ein kjem fram til tida kring 1600, viser det seg at innflyttarane frå Nordfjord er i fleirtal - særleg i dei øvste grendene i Jostedalen. Dette kan også ha skapt grunnlaget for den heilt spesielle Jostedals-dialekten - sjå:
Jostedals-dialekten slektar på Nordfjord-målet. Folk øvst i dalen ættar etter fleire historikarar sitt skjøn frå Nordfjord, medan dei lengre nede i dalen ættar for Sogn.
Ei skatteliste frå 1611 viser at det også då var flest innflyttarar frå Nordfjord i Jostedalen.
Frå 1790 og utover vandra det også folk inn i Jostedalen frå Ottadalen - særleg frå Bråtådalen i Skjåk.
Tøffe tider
At det ofte kunne vere stridt å overleve i dei øvste bygdene i dalen, vitnar ei historie frå 1300-talet om: Ei kone vart stemd for retten, skulda for å ha stole korn. Ho skulle dessutan ha blanda nepe i smøret som ho skulle yte til Kongen i landskyld!