Nececito su ayuda

Tengo un bebe de 2 años ok no estoy casada solo vivo en union libre desde hace 7 años pero el es el padre de mi hijo .....el y yo estamos pasando por momentos dificiles y quiero dejarlo y irme con mi hijo pero el me dice que no va a dejar que me lo lleve que me lo va a quitar que puedo hacer si decido llevarme a mi hijo el podria hacer algo en mi contra para quitarmelo?