根据《人口与计划生育法》第十八条规定，国家提倡一对夫妻生育两个子女。符合法律、法规规定条件的，可以要求安排再生育子女。因此，双方的子女属于非婚生子女的，属于不符合法定条件生育子女的情形，因此，需要缴纳社会抚养费。

【法律依据】

《人口与计划生育法》第四十一条规定，不符合本法第十八条规定生育子女的公民，应当依法缴纳社会抚养费。未在规定的期限内足额缴纳应当缴纳的社会抚养费的，自欠缴之日起，按照国家有关规定加收滞纳金；仍不缴纳的，由作出征收决定的计划生育行政部门依法向人民法院申请强制执行。