謝公在東山，朝命屢降而不動。後出為桓宣武司馬，將發新亭，朝士鹹出瞻送。高靈時為中丞，亦往相祖。先時，多少飲酒，因倚如醉，戲曰：“卿屢違朝旨，高臥東山，諸人每相與言：‘安石不肯出，將如蒼生何？’今亦蒼生將如卿何？”謝笑而不答。

　　王江州夫人語謝遏曰：“汝何以都不復進，為是塵務經心，天分有限。”

　　謝公作宣武司馬，屬門生數十人於田曹中郎趙悅子。悅子以告宣武，宣武雲：“且為用半。”趙俄而悉用之，曰：“昔安石在東山，縉紳敦逼，恐不豫人事；況今自鄉選，反違之邪？”