桓宣武既廢太宰父子，仍上表曰：“應割近情，以存遠計。若除太宰父子，可無後憂。”簡文手答表曰：“所不忍言，況過於言？”宣武又重表，辭轉苦切。簡文更答曰：“若晉室靈長，明公便宜奉行此詔。如大運去矣，請避賢路！”桓公讀詔，手戰流汗，於此乃止。太宰父子，遠徙新安。

　　林道人詣謝公，東陽時始總角，新病起，體未堪勞。與林公講論，遂至相苦。母王夫人在壁後聽之，再遣信令還，而太傅留之。王夫人因自出雲：“新婦少遭家難，壹生所寄，唯在此兒。”因流涕抱兒以歸。謝公語同坐曰：“家嫂辭情慷慨，致可傳述，恨不使朝士見。”

　　顧長康畫謝幼輿在巖石妙。人問其所以？顧曰：“謝雲：‘壹丘壹壑，自謂過之。’此子宜置丘壑中。”