自己不能强制要求对方搬离，到时候会激发矛盾，自己可以到法院起诉由法院来进行判决，当然还可以要求对方赔偿自己。

【法律依据】

《中华人民共和国合同法》

第一百一十二条：当事人一方不履行合同义务或者履行合同义务不符合约定的，在履行义务或者采取补救措施后，对方还有其他损失的，应当赔偿损失。

第一百一十三条：当事人一方不履行合同义务或者履行合同义务不符合约定，给对方造成损失的，损失赔偿额应当相当于因违约所造成的损失，包括合同履行后可以获得的利益，但不得超过违反合同一方订立合同时预见到或者应当预见到的因违反合同可能造成的损失。