买房人违约买房人由于无法贷到款,目前…

买房人违约买房人由于无法贷到款,目前需要撤消合同.我是卖方,我此前为此支付了中介费,提前还款给银行的借款利息,房子提前退租的租金等一系列直接损失大概有5万多.我本来想让他支付5万我的损失就算了,但是他却需要我退还定金还要我支付利息并解除合同.合理吗?