三年后，萧望之以考试甲等的成绩被派去看守花园的门，过去曾和他一起参荐的人有的当了大官，其作威作福的样子，一般人看了很羡慕，萧望之却毫无所动。一次，王仲翁揶揄地说：“你不是不肯碌碌无为呢？为什么却当了什么事也做不出的看门官呢？”萧望之淡淡地回答说：“我们是各遂其志啊！”
萧望之就是这么个人！
宣帝即位后，因器重萧望之的才能而想重用他，但因有霍光及其家族在，一直未能如愿，后霍光死，其家因数次谋反而被族诛，更证明了当初萧望之的话是正确的。此时，萧望之又因上奏章抨击一家大臣专权而闻名朝野，于是，汉宣帝就重用了他。
汉元帝即位后，萧望之满以为自己的这位学生要大展宏图了，可没想到宦官专起权来，于是他愤然上书说：“管理朝廷的机要是个十分重要的职务，本该由贤明的人来担任，可如今元帝在宫廷里享乐，把这一职务交给了太监，这不是我们汉朝的制度。况且古人讲：‘受过刑的人是不宜在君主的身边的。’现在应当改变这一情况了。”石显看到了这一奏章，当然把萧望之视为仇人。他从此挖空心思地陷害萧望之。