三年后,萧望之以考试甲等的成绩被派去看守花园的门,过去曾和他一起参荐的人有的当了大官,其作威作福的样子,一般人看了很羡慕,萧望之却毫无所动。一次,王仲翁揶揄地说:“你不是不肯碌碌无为呢?为什么却当了什么事也做不出的看门官呢?”萧望之淡淡地回答说:“我们是各遂其志啊!”
萧望之就是这么个人!
宣帝即位后,因器重萧望之的才能而想重用他,但因有霍光及其家族在,一直未能如愿,后霍光死,其家因数次谋反而被族诛,更证明了当初萧望之的话是正确的。此时,萧望之又因上奏章抨击一家大臣专权而闻名朝野,于是,汉宣帝就重用了他。
汉元帝即位后,萧望之满以为自己的这位学生要大展宏图了,可没想到宦官专起权来,于是他愤然上书说:“管理朝廷的机要是个十分重要的职务,本该由贤明的人来担任,可如今元帝在宫廷里享乐,把这一职务交给了太监,这不是我们汉朝的制度。况且古人讲:‘受过刑的人是不宜在君主的身边的。’现在应当改变这一情况了。”石显看到了这一奏章,当然把萧望之视为仇人。他从此挖空心思地陷害萧望之。