Se puede pagar dos veces el IVA por un solo local?

Alquilé un local que convertí en bar, y a los años con el consentimiento del propietario realquilé a otro señor, este señor me pagaba a mi y yo al propietario, la misma cantidad. Al pasar por mi cuenta el importe, he de pagar yo el IVA y a su vez el propietario del local también lo ha de pagar?. ¿no existe duplicidad de pago?

Gracias.

Jose A.