Dar de baja a una persona empadronada en mi vivienda

¿Quisiera saber cómo puedo dar de baja a una persona que tengo empadronada en mi vivienda?... Y si esta persona se marcha pero no se empadronada en ningún sitio porque "No quiere"... ¿qué puedo hacer yo?... ¿Tendría qué denunciarla?...