Вижу, что любит, но не решаюсь разбить чужую семью

Я встречаюсь с женатым мужчиной. Любим друг друга. Признался недавно, что думал о разводе, о браке со мной, хочет детей (в браке детей нет, потому что он не может, а жена не хочет приемного ребенка), но останавливает страх перед тем, что он через пару лет охладеет ко мне, так же как сейчас к жене, и пострадают дети. Я пыталась два раза прекратить отношения без всяких условий, просто потому что мне очень тяжело осознавать, что мы не можем быть вместе. Но он не отпускает. Выдерживал только неделю, а потом снова начинались звонки, встречи. Я не знаю, что делать. Вижу, что любит. Сам признавался, что очень счастлив со мной. И таким, каким вижу его я, не видел никто раньше. Я понимаю, что разбиваю чужую семью, и не знаю, как быть дальше.