Me acabo de separar de padre de mi hijo y cada vez que se lo dejo me lo devuelve enfermo

Me he separado del padre de mi hijo no tenemos un convenio firmado y yo se lo dejo cada 15 días un fin de semana el cuando le da la gana viene y le abro la puerta.. Ahora cada vez que se lo lleva me lo devuelve enfermo no respeta sus horarios ni nada y además me insulta etc el a no tener un trabajo fijo ( trabaja en negro) no tiene domicilio propio vive en una habitación de alquiler no tiene condiciones de llevarse la niño... ¿si se lo niego ya que el no me ayuda con nada que me puede pasar? O que debo de hacer porque lo paso mal ni me informa en los días que lo tiene como esta