Могут ли родственники забрать у меня ребенка?

Здравствуйте! Я сожительствую с отцом моего ребенка (он признал отцовство), он работает, я в декретном отпуске, ребенку 1,5 года, и прописан он в доме со мной (дом не приватизирован, живет там еще мой брат с женой). Может ли он или его "влиятельная" мама забрать у меня ребенка, если я от него уйду. Спасибо.