No se he declarado el alquiler de local comercial ni el propietario ni inquilino

Buenas tardes,

Soy inquilino de un local comercial desde hace 4 años y ni el propietario, ni yo, hemos declarado el alquiler durante este tiempo.

Ahora he traspasado el negocio y voy a liquidar varias mensualidades que tenia pendientes con el propietario.Me puede reclamar el propietario los pagos a Hacienda que no he hecho durante estos años atrás??Esa parte no declarada, tengo que pagársela al propietario o a HAcienda?