Me gustaría saber si tengo que devolver el IVA deducido de un bien si realizo una desafectación

Hola, realicé la compra de una vivienda para destinarla a una actividad económica, me deduje el IVA de dicha compra, me gustaría saber si tengo que devolver a Hacienda el IVA deducido si dejo la actividad y la vivienda pasa a ser parte de mi patrimonio personal.

Gracias

Un saludo