桓宣武既廢太宰父子，仍上表曰：“應割近情，以存遠計。若除太宰父子，可無後憂。”簡文手答表曰：“所不忍言，況過於言？”宣武又重表，辭轉苦切。簡文更答曰：“若晉室靈長，明公便宜奉行此詔。如大運去矣，請避賢路！”桓公讀詔，手戰流汗，於此乃止。太宰父子，遠徙新安。

　　謝幼輿謂周侯曰：“卿類社樹，遠望之，峨峨拂青天；就而視之，其根則群狐所托，下聚混而已！”答曰：“枝條拂青天，不以為高；群狐亂其下，不以為濁；聚混之穢，卿之所保，何足自稱？”

　　周伯仁道桓茂倫：“嵚崎歷落可笑人。”或雲謝幼輿言。