Como justificar que un inmueble está afecto a actividades econ.?

Tengo un pequeño olivar con una casita/almacen dentro del pueblo (calificado como bien urbano). Yo lo declaré como bien afecto a actividades económicas (recogida aceitunas), ya que es una casa vieja donde guardo herramientas y utensilios para la recogida de las aceitunas.

Ahora Hacienda me dice que tiene que declararse como imputación de rentas inmobiliarias y aunque el olivar es pequeño, al hacerlo así me sale unos 500€ más en la declaración.

Mi pregunta es, ¿Cómo puedo justificarles que ese bien inmueble es solo para la actividad económica? Para que os hagáis una idea, la casa no tiene ni agua potable.