Midt under morgenbønnen gikk to personer til angrep på synagogen med kniver og økser. De to antas å ha vært palestinere, og tok livet av fire personer.
Politi ble sendt til stedet, og de skjøt og drepte de to gjerningsmennene, ifølge radiostasjonen. Dermed er det totalt seks døde i morgenens hendelse.
Flere personer ble også såret i angrepet, blant annet to politimenn.
Oppsto panikk
– Vi anser dette som et terrorangrep, sier polititalsperson Micky Rosenfeld.
Et vitne forteller om kaotiske tilstander, og at det oppsto panikk da angrepet inntraff.
– Jeg hørte skyting og en person kom ut av synagogen, tildekket av blod. Han ropte: "Det er en massakre", sier vitnet til Israel radio.
– Heroisk handling
De to gjerningspersonene skal ha vært forkledd som ultraortodokse jøder.
Islamistbevegelsen Hamas omtaler angrepet som en heroisk handling, skriver nyhetsbyrået DPA.
Talsperson Muschir al-Masri sier angrepet er en naturlig reaksjon og hevn etter at en palestinsk bussjåfør ble funnet hengt inne i en buss mandag.
Varsler hevn
Israels statsminister Benjamin Netanyahu kom med en rask reaksjon etter angrepet.
Han sier Israel skal gjengjelde angrepet i synagogen med full styrke, ifølge nyhetsbyrået AP.
Netanyahu beskylder Hamas og Palestinas president Mahmoud Abbas for å ha oppfordret til den eskalerende volden i Jerusalem.
Dødeligste angrep på flere år
Det har de siste månedene vært økt spenning i den delte byen, med flere angrep, sammenstøt og kidnappinger.
Det er flere år siden så mange personer ble drept i ett og samme angrep i Jerusalem.
Mandag brøt det ut sammenstøt etter at en palestinsk bussjåfør ble funnet hengt inne i bussen sin. Israelsk politi mener det dreier seg om et selvmord, men kollegaen som fant ham, hevder liket bar preg av å ha blitt utsatt for vold.