Para separarme, tengo un hijo de 4 meses y el es extranjero

Ya no nos llevamos nada bien, y se emborracha todos los fines de semana por ahí, yo me quedo sola en casa siempre con el bebé. El es colombiano y no estamos casados. Quiero volver a casa de mi madre. Me dice que me vaya cuando quiera pero que el niño se queda y que no me lo voy a llevar. Que derechos tengo? Qué puedo hacer? Estoy desesperada.