如果男方有外遇，要追究其赔偿责任，就要收集男方有外遇的证据。无过错方也可以根据《婚姻法》第46条的规定提出赔偿要求。

根据《婚姻法》第四十六条的规定，下列四种情形之一导致离婚的，无过错方有权请求对方给予精神损害赔偿：

(一)重婚的;

(二)有配偶者与他人同居的;

(三)实施家庭暴力的;

(四)虐待、遗弃家庭成员的。