违章建筑缴纳罚金后依然是违章建筑，因此是不可以保留的。

【法律依据】

根据《城乡规划法》第六十五条，在乡、村庄规划区内未依法取得乡村建设规划许可证或者未按照乡村建设规划许可证的规定进行建设的，由乡、镇人民政府责令停止建设、限期改正；逾期不改正的，可以拆除。