可以向法院起诉请求变更监护关系，要回孩子的监护权。

【法律依据】

《民法总则》第31条，对监护人的确定有争议的，由被监护人住所地的居民委员会、村民委员会或者民政部门指定监护人，有关当事人对指定不服的，可以向人民法院申请指定监护人；有关当事人也可以直接向人民法院申请指定监护人。