Beskedet om avgången gavs i ett brev till parlamentets talman, där Mugabe skriver att han lämnar sin post, med omedelbar verkan, för att möjliggöra en smidig maktöverlämning.
Talmannen Jacob Mudenda läste upp brevet för en samlad session med parlamentets båda kammare, som hade samlats för att diskutera ett förslag om att avsätta den åldrige presidenten genom att ställa honom inför riksrätt. Ledamöterna brast ut i jubel och hurrarop efter beskedet.
Militären manar till lugn
Utanför parlament hade flera tusen människor samlats för att kräva Mugabes avgång. När nyheten spreds hördes jubel från folksamlingen och på Harares gator tutade bilarna.
- Jag är så lycklig över att Mugabe är borta. 37 år under en diktatur är inte ett skämt, sade 18-åriga Tinashe Chakanetsa till AFP.
Arméchefen Constantino Chiwenga, som placerade Mugabe i husarrest i förra veckan, uppmanade till "maximal återhållsamhet" och att lag och ordning ska råda fullt ut.
"Inga illusioner"
- Folket har inga illusioner. De tror inte att det är nu som de får frihet. Under protesterna i helgen spreds en talande metafor: "Vi har varit fångar i ett fängelse och förs över till ett nytt, men njuter av lite frisk luft och frihet under tiden", säger Henning Melber vid Nordiska Afrikainstitutet till TT.
Henning Melber satt i en bokaffär i Kapstaden för en uppläsning av en zimbabwisk författares nya roman när beskedet kom.
- En suck av lättnad och upprymdhet gick i genom hela rummet. Det fanns en oro att Mugabe hade förlorat allt grepp om verkligheten och inte insåg vad som hände, säger Melber.
Ny ledare snart
Allt är nu upplagt för att den tidigare vicepresidenten Emmerson Mnangagwa ska ta över presidentposten. Regeringspartiet Zanu-PF:s rättslige talesman Patrick Chinamasa säger till Reuters att Mnangagwa kommer att avlägga presidenteden under onsdagen eller torsdagen.
Mnangagwa, som ännu inte återvänt till Zimbabwe, uppmanade tidigare under dagen Mugabe att avgå.
"Zimbabwes folk har pratat med en röst och det är min vädjan till president Mugabe att han bör ta hand om denna uppmaning från Zimbabwes folk att avgå så att landet kan gå vidare och bevara arvet efter honom", sade han i ett uttalande.
Bjöds in av Mugabe
Mnangagwa sade att han fört samtal med president Robert Mugabe och bjudits in att återvända till landet, men att han inte tänkte göra det förrän han känner sig säker.
Enligt Reuters sade Emmerson Mnangagwa att han flydde landet efter att ha hört talas om planer på att han skulle "elimineras".
Sparkandet av Mnangagwa blev startskottet på den politiska krisen som blev slutet för Mugabe. Själv säger han att han vill ena alla i Zimbabwe under "en ny era" och att han ser fram emot att få återvända till Zimbabwe och hjälpa till med att återuppbygga landets ekonomi.
TT-AP
Född den 21 februari 1924. Gift med Grace Mugabe, som är 41 år yngre.
Ledare för Zanu (Zimbabwes afrikanska nationella union) under frihetskampen i dåvarande Rhodesia. När Zimbabwe bildades 1980 blev han premiärminister, i samband med grundlagsändringar 1987 övergick han till presidentämbetet.
Efter att tidigt under sitt styre ha setts som frihetshjälte och en afrikansk framgångssaga blev Mugabe alltmer kontroversiell. Han ses som ansvarig för etnisk rensning i Matabeleland på 1980-talet, och har i val efter val kritiserats för valfusk, brott mot mänskliga rättigheter med mera.
Under 2000-talet har Zimbabwe drabbats av ekonomisk kollaps och ett ökande politiskt förtryck. Själv hävdar Mugabe att han försvarar Zimbabwe mot britterna som vill återkolonisera landet.