不過，劉賀確實不怎么讓人省心。據說，他在進京的路上，就做出了一系列奇奇怪怪、令人難以理解的舉動：到濟陽，就尋求鳴叫聲很長的雞；經過弘農，又讓一名身材高大的仆人搶來路邊美貌女子，把她們放進裝載衣物的車輛中。

圖為西漢?；韬顒①R墓出土的五銖錢。劉占昆 攝

　　按理說，劉賀繼承了劉弗陵的皇位，又值大喪期間，起碼表面上應該有哀痛之色。但在前往京城登基的途中，龔遂告訴他奔喪望見國都就要哭，“這已是長安的東郭門。”劉賀卻借口喉嚨痛，表示不能哭。

　　看見他如此不著調，霍光留了個心眼，在形式上沒有“告廟”，即沒到漢高祖劉邦的廟前宣告劉賀正式登基。這本是必須有的程序，但劉賀一直到被廢都沒有履行過。

　　元平元年六月，劉賀繼承帝位，尊上官氏為皇太后。他也并沒有把自己當一個傀儡皇帝，而是真的發(fā)號施令起來。

　　在27天的時間里，劉賀的使者往來不斷，下命令給各官署征調并索取物資，共一千一百二十次。文學光祿大夫夏侯勝、侍中傅嘉等多次規(guī)勸無果，劉賀倒派人按簿冊責問夏侯勝，又把傅嘉捆起來關進監(jiān)獄。

　　史料記載，霍光擔心劉賀的所作所為會危及朝政，于是和群臣商議，稟告上官氏，最終以皇太后的名義宣布廢掉劉賀，歷數其做過的1127件荒唐事，將劉賀逐出未央宮。

　　“劉賀確實有時處事不合規(guī)矩，但從他發(fā)布的詔令來看，并沒有特別的荒唐。”辛德勇認為，導致劉賀被廢的原因主要是他想真的當皇帝、處理政務，但卻沒有看清時局，威脅到霍光的權力。

　　就這樣，劉賀又回到了不久前他發(fā)跡的地方——昌邑國，慢慢地待遇也不如從前。被趕回來后，他的日子過得很不如意。漢宣帝曾十分忌憚劉賀的存在，特意派張敞看著他的行為舉止。

　　那時的劉賀，住在從前的宮殿里，臉色很黑，雖然身材高大，但卻得了風濕病，行走不太方便。張敞曾去觀察劉賀的情況，幾番交談后認為他還是處事稀里糊涂的一個人，天性喜好敗亂傷亡，看不到一點仁義。

　　元康三年(前63年)三月，漢宣帝下詔封劉賀為?；韬睿骋厮那?。就此，劉賀前往封國豫章。