Está mal ir a la casa de mi novio?

Llevo poco mas de 1 año con mi novio, y siempre voy yo a su casa, ya que él no se siente a gusto en la mia porque dice que no puede fumar marihuana ni hacer otras cosas porque siempre hay alguien en mi casa. Mis abuelitos y mi mamá que son las personas con quien vivo me dicen que está mal que yo vaya a su casa siempre y él no quiera venir a visitarme... Antes él pagaba taxi para que yo llegara a su casa pero ahora ya no quiere ni pagar el taxi que porque gasta mucho, yo he escuchado a su mamá decirle que me da mucho dinero para taxi, pero él gana bien y por hacerle caso a la mamá me dice que yo soy una cazafortunas. Yo jamás le he pedido nada, yo misma podría pagar mis taxis pero se me hace injusto que todavía de que yo soy la que va hasta su casa a visitarlo como si él fuera la novia todavia quiere que yo pague los taxis. Me dice que yo nunca tengo dinero, pero la verdad si tengo y solo le engaño que no para obligarlo a que pague él. No se que hacer, no es una relación que me de algun beneficio. Lo amo pero me trata como si él me diera tanto cuando ni al caso.