U lind në Durrës, i biri i aktorit dhe poetit Hekuran Zhiti. Pas përfundimit të studimeve në Institutin e Lartë Pedagogjik në Shkodër filloi punën si mësues në qytetin e Kukësit, duke demonstruar një interes në fillim në vjersha, disa nga të cilat u botuan në revistat letrare.
Në 1973 përgatiti për përmbledhje, "Rapsodia e jetës së trëndafilave". Ishte koha e Plenumit të 4-t të KQ të Partisë së Punës në të cilin Enver Hoxha filloi një fushatë të egër kundër të rinjve që pëlqenin kulturën perëndimore. Babai i Zhitit kishte pasur më parë një konflikt me autoritetet dhe poeti i ri papritmas u bë një nga viktimat politike të diktaturës për të frikësur intelektualët shqiptarë. Dorëshkrimi i përmbledhjes së tij të përmendur më sipër, që kishte qenë dorëzuar për botim në shtëpinë botuese Naim Frashëri, u konsiderua si një krijim me gabime të rënda ideologjike dhe që nxinte realitetin socialist. Ai u arrestua më datë 8 nëntor, 1979 në Kukës. Mbasi u dënua në një gjyq qesharak në prill të vitit 1980 me trembëdhjetë vjet burg, u dërgua në burgun e Tiranës dhe më vonë transferohet në burgun famëkeq të Spaçit dhe Qafë-Barit.
Ai u lirua nga burgu në fillim të vitit 1987 dhe u "lejua" nga pushteti komunist për të punuar në një fabrikë të prodhimit të tullave në Lushnjë. Mbas rënies së diktaturës komuniste në vitin 1991, arriti të shkojë në Itali ku punoi në Milano deri në 1992. Përmes një burse studimi nga Fondacioni Heinrich Boll, Zhiti shkoi në Gjermani në vitin 1993 dhe vitin e ardhshëm shkoi në Shtetet e Bashkuara të Amerikës.
Pas kthimit të tij në Shqipëri, ai punoi si gazetar dhe u emërua kreu i ndërmarrjes botuese e cila kishte planifikuar të botonte librin e tij të parë. Ai ka qenë i punësuar më vonë nga shërbimet administrative të parlamentit të ri shqiptar dhe në 1996 u zgjodh vetë në parlament. Mbas Realiteteve të zymta të politikës shqiptare, ai u tërhoq nga politika. Në vitin 1997 ai u emërua atashe kulturor në ambasadën shqiptare në Romë, ku ai qëndroi deri në vitin 1999.
Është autor i disa veprave letrare dhe librave me kujtime nga burgu.