取保候审结束的时候，凭解除取保候审的通知或者有关法律文书到银行领取退还的保证金。

被取保候审的犯罪嫌疑人、被告人违反前款规定，已交纳保证金的，没收保证金，并且区别情形，责令犯罪嫌疑人、被告人具结悔过，重新交纳保证金、提出保证人或者监视居住、予以逮捕。犯罪嫌疑人、被告人在取保候审期间未违反前款规定的，取保候审结束的时候，应当退还保证金。

决定退还保证金的，应当经过严格审核后，报县以上公安机关负责人批准，签发《退还保证金决定书》。

公安机关决定退还犯罪嫌疑人的保证金后，应当在解除对犯罪嫌疑人取保候审的同时，通知指定的银行将保证金如数退还给犯罪嫌疑人，并责令犯罪嫌疑人在《退还保证金决定书》上签字或者盖章。

因此，如果被取保候审人在取保候审期间没有违反法律的相关规定，取保候审的保证金都是应当退还的