根据我国现行法律规定及司法实践，房屋交易中介费实际上是房屋中介作为居间交易服务的提供者所收取的居间费用。该费用是否应当予以退还，需要结合中介服务协议、中介是否提供具体的服务及服务工作量大小、违约的具体原因等综合确定。如果因房屋中介的原因导致违约，或者中介实际并没有提供相应的服务，且没有发生中介服务协议约定的不予退还的情形，则应当予以退还。

法律依据：

《合同法》：第一百零七条

当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。

第一百零八条当事人一方明确表示或者以自己的行为表明不履行合同义务的，对方可以在履行期限届满之前要求其承担违约责任。