根据法律规定，我国实行的是结婚自由和离婚自由的原则。只要当事人愿意，且符合法律的相关规定，就可以结婚；而对于夫妻离婚，法律设定的限制则更加少，只要能证明夫妻感情确已破裂，就可以判决离婚。实际上，法律并没有对与犯人离婚做任何限制。因为，如果仅仅因为对方是犯人，就限制另一方与犯人离婚，这将严重损害犯人的配偶的婚姻自由权。因此，配偶是可以与服刑人员离婚的。

【法律依据】

《民法典》第一千零七十六条规定，夫妻双方自愿离婚的，应当签订书面离婚协议，并亲自到婚姻登记机关申请离婚登记。离婚协议应当载明双方自愿离婚的意思表示和对子女抚养、财产以及债务处理等事项协商一致的意见。