我是一個新落戶的，經人介紹撫養一個殘疾人王某，10年了，新房子蓋好了。如今王某的侄子想要撫養王某，在我不知道的情況下與王某的妹妹私下簽訂撫養協議。現在王某的侄子與妹妹要我解除撫養權利，并歸還王某的舊房子。在法律上，我應該怎么辦？