如果是并不会造成公共利益、他人利益受损或情节比较严重的违章建筑可以不用拆除，只需交上罚款即可。当然这也要根据相关部门、政府的判定情况来看。

根据《中华人民共和国城乡规划法》第四十五条规定，县级以上地方人民政府城乡规划主管部门按照国务院规定对建设工程是否符合规划条件予以核实。未经核实或者经核实不符合规划条件的，建设单位不得组织竣工验收。