Боюсь разорвать отношения с женатым любовником

Здравствуйте. Я три года встречаюсь с женатым мужчиной. Он уходил от жены ко мне, но года назад вернулся в семью. Хотя со мной отношения продолжает поддерживать. Мы видимся раз в неделю, говорит, что я лучшее в его жизни, без меня не может, и что жена ему неприятна, и отношений у них уже давно нет. Я верила, но понимала, что это лишь слова. А сейчас знаю, что надо прекратить эти отношения, но не могу, я очень его люблю. Я боюсь остаться одна.