原則、委託者と受益者の同意があれば、受託者を辞任する事ができます。

やむを得ない事由があれば、その同意を得ずに、裁判所の許可を得て辞任する事ができますが、やむを得ない事由がある事を疎明（法律用語で証明まではいかないが、一応確からしいという推測を得られる程度の事実を証明する事。）しなくてはありません。

なお、委託者と受益者の合意があれば、受託者の意思関係なく、解任させる事が可能です。

何れにせよ家族信託においては、辞任も解任も委託者や受益者の当初の信託行為における希望や意思とはかけ離れたものであると予想されますし、そういった事態を避けられるように信託設計すべきかと思われます。