O que fazer?

Bom meu relacionamento sempre foi saudável até onde consigo ver mas ele é muito influenciável, nós nos conhecemos em fevereiro de 2018, estávamos indo bem até que em abril ele diz que queria um tempo porque "a mãe e a irmã" diziam que ele era novo demais para se prender a alguém. Ok!

Em junho ele veio até mim e pediu para conversar, falou que queria tentar, que havia entendido que a mãe e a irmã querem ele para elas e tal, seguimos, aceite, engoli meu orgulho e a partir daí iniciamos um namoro sério em 04/07/2018, sempre com ele me dizendo que a família dele não queria me conhecer, que não tava nem aí, a irmã me chamando de baleia porque sou obesa e uma série de insultos que sempre me magoaram mas por amor relevava, enquanto isso na minha família ele foi recebido com amor, tratado como um filho, virou o xodó da família. Desde janeiro de 2019 eu havia combinado com minha mãe do meu irmão vir morar com.igo já que moro sozinha em São Paulo, ele sempre esteve a par da situação mas quando foi em setembro ele se convidou a vir morar comigo e eu aceitei já que a família dele dificultava nosso relacionamento. Em novembro procurei uma casa de dois quartos, confortável para termos privacidade, mas mesmo assim ele estava insatisfeito e em fevereiro decidiu sair de casa e voltar para a casa dos pais, virou a cabeça passou a demonstrar repulsa da minha família,sempre tem algo para criticar algum deles, mas o relacionamento seguiu mesmo eu magoada decidi tentar para não dizer que larguei de mão como ele fez. De lá para cá nos vemos uma vez na semana por duas horas, não tem cinema, virgem, um filme em casa, nada ele vem aqui temos relacao e ele vai embora para a casa dos pais dele, fala mal do meu irmão mesmo eu tentando cortar isso, quer culpar todo mundo de uma escolha que ele fez.
Mas eu vejo que é um padrão que a família dele segue, a mãe não se relaciona bem com ninguém, o pai muito menos, a irmã com 40 anos é solteirona e se arruma alguém é tratada como virgem. Ele decidiu que iria reformar uma casa para a gente morar que é da mãe dele, vive se reclamando da falta de privacidade e liberdade, já chamei para voltar para casa mas ele diz que não mora com meu irmão, sendo que até onde sei meu irmão nunca fez nada para ele! Ele fala coisas horríveis sobre meu irmão e minha família que são egoístas, que são falsos e tudo, depois de 2 anos e 3 meses conheci os pais dele e a irmã,que ficaram me julgando o tempo todo e pareciam me avaliar. Eu tenho começado a perceber traços de relacionamento abusivo mas tenho receio de estar julgando errado, parece que não tenho voz ativa e a uns dez dias ele disse uma coisa que me magoou muito. Até então eu realmente estava pensando em ir morar nesta casa com ele e dar todo o apoio que meu irmão precisar e que eu poder oferecer para ele morar sozinho, mas depois disso meu coração se quebrou parece que perdi o encanto. O que vocês me aconselham?