Vender un terreno para comprar primera vivienda

Buenos días.
Hace unos años heredé un terreno en el cual nunca construí. Actualmente me quiero comprar mi primera vivienda y necesito vender el terreno para poder hacerlo. Mi pregunta es. ¿Es posible no tener que pagar los impuestos, ya que el beneficio de la venta, es para comprar la vivienda habitual?. Tengo entendido que si vendes una vivienda habitual para comprar otra, no es necesario pagara los impuestos de la venta ya que vas a reinvertir, pero si es un terreno lo que vendes, no sé si se puede hacer.
Muchas gracias