El padre de mi hijo quiere la custodia

Tengo 25 años, un niño con autismo de casi 4 años, y el padre de mi hijo tiene 31 años.
Dejé la relación por motivos que no vienen al caso (Ni malos tratos, ni terceras personas)
Vivo con el, porque no quiere que me lleve al niño a casa de ninguna amiga (No conoce a ninguna por que no es muy social el) tampoco contaba con la familia, pero creo que al final me voy a ir con mi madre a vivir, ella tiene un trabajo estable y un piso que ya esta pagado.
El nunca ha sido de preocuparse del niño, de médicos, psicólogos, nunca lo ha llevado al parque, a la playa, nada, su relación es en casa, un par de horas al día como mucho, ya que el es de dormir siestas largas..
Hace dos días me coge y me dice que por que doy por echo que me voy a llevar al niño, que el a lo mejor pide la custodia del niño.
La situación es: Del niño me he ocupado yo siempre, puedo vivir con mi madre que tiene trabajo y piso pagado, y yo estoy buscando trabajo.
El tiene trabajo, y su padre (Que fuma porros) también, su madre (enganchada a fármacos, tranquimazin) nunca ha trabajado, los dos tienen el VIH y están enganchados a las tragaperras.
Se que con el no estará bien, mi hijo tiene una discapacidad que el padre debido a lo nervioso que es no tolera muy bien.
Yo el acuerdo que quería con el padre es que el viera al niño siempre que quisiera, que se lo llevara siempre que quisiera, y que en vez de darme a mi dinero, se ocupara de pagar la escuela del niño que son 100 euros al mes (Es un colegio de discapacitados y cuesta ese dinero)
Que pasos tengo que seguir?
Que posibilidad tiene de quitarme al niño?
Gracias!!