Хочу общаться с дочкой моего молодого человека

У меня такая проблема. Мой молодой человек женат. Правда, ушел от жены полтора года назад (ко мне), просто развестись вроде как времени нет. Но с женой осталась его дочка - 2,5 года. Он ходит с ребенком гулять, а меня с собой брать отказывается. Когда дочка была совсем маленькая, я гуляла с ним и дитем, потом видела дочку полгода назад, играли с ней, я ей нравлюсь. Но любимый сейчас мотивирует свой отказ тем, что дочка уже слишком большая, чтоб все понимать, но слишком маленькая, чтоб не рассказать маме. Его жена знает, что он со мной. Но он все равно чего-то боится... А мне его ребенок очень нравится, мне хочется с ней гулять, играть, хочется, чтоб она ко мне привыкла с детства, и в будущем получились нормальные отношения. Подскажите, пожалуйста, - кто из нас прав: я или мой молодой человек?