Den israelske hæren (IDF) har foreløpig ikke kommentert hendelsen.
Ifølge Reuters ble skolen i Rafah truffet av en rakett fra et fly i inngangspartiet av bygningen.
Øyenvitner forteller til AP at angrepet skjedde da folk stod i matkø søndag morgen.
Flyktningleir
Det befant seg hundrevis av palestinere i området som hadde søkt tilflukt i provisoriske flyktningleire ved skolen.
FN-talsmann for palestinske flyktninger Chris Gunness sier det kan ha vært så mange som 3000 mennesker i og rundt skolen, ifølge AFP.
– Rakettangrep mot UNRWA-skolen i Rafah som huser nesten 3000 internt fordrevne palestinere. Foreløpige rapporter melder om mange døde og skadde, skriver Gunness på Twitter.
VIDEO: Robert Turner som er leder for FN-organisasjonen UNRWA i Gaza, er rystet over at en av deres bygninger utsettes for angrep for tredje gang på ti dager.
Hans kollega Robert Turner sier de ikke tror skolen ble truffet ved en feiltakelse.
– Vi gir daglig beskjed til IDF om hvor våre flyktningleire og anlegg befinner seg, sier Turner til ITV.
Angrepet skjer samme dag som Israel er i ferd med å trekke ut deler av bakkestyrkene fra Gazastripen.
En talsmann for den israelske hæren sier til AFP at offensiven fortsatt pågår og at noen mannskaper skal omplasseres.
Tidligere søndag ble 30 mennesker drept i flere angrep mot Gaza by.
– Israelsk angrep
Dette er tredje gang på 10 dager at FN-skoler i Gaza blir rammet av angrep.
I slutten av juli ble 16 personer drept i et annet angrep mot en FN-skole i Jabaliya på Gazastripen.
Både FN og USA har konkludert med at Israel stod bak angrepet den gang.
NRK har foreløpig ikke lykkes med å innhente en kommentar fra den israelske hæren, men på Twitter skriver IDF at Hamas har avfyrt 13 raketter mot Israel så langt i dag.
Siden krigen startet for snart en måned siden er mer enn 1700 palestinere drept, de fleste av dem sivile. På israelsk side er 70 mennesker drept, nesten alle soldater.
En palestinsk delegasjon ankom søndag Kairo hvor de skal i fredssamtaler med representanter fra USA og Egypt. Israel har ikke sendt forhandlere til møte, fordi de mener det er unødvendig siden de mener Hamas allerede har brutt flere tidligere inngåtte avtaler.
