El padre de mi hijo amenaza con quitármelo

Hola, estoy casada y tenemos un niño de 4 años, en Junio iré de vacaciones a Colombia y su padre no me lo deja llevar. Tengo los billetes de ida y vuelta porque viajo con mi otra hija, pero el padre de mi hijo me esta amenazando con que me va a quitar al niño, él nunca se ha preocupado por el niño, no me da ni siquiera para la comida, ni para ropa, ni para el colegio, ni para nada, siempre lo he mantenido yo a mi hijo, y mi pregunta es:
¿Qué puedo hacer antes de marchar?, porque tengo miedo que me demande como abandono.
¿Tengo qué ir a la policía y exponer mi caso o poner una demanda qué debo hacer?.
Gracias y por favor espero pronta respuesta.