Limpieza de piedra

Tengo una chimenea en un salón forrada de piedra rustica,esta sin devastar ni pulir,es muy permeable,puedes decirme como limpiarla de restos de obra y pintura?,la he limpiado con agua y jabón (con cepillo de plástico) y se quedan adheridas pintitas en los hoyitos que hace la piedra y no soy capaz de quitarlas,en el extremo superior y hasta el techo,unos 10 cms. Hay un amasijo,que supongo de yeso que tampoco se como quitar.

Muchas gracias