Me pueden quitar la pensión de invalidez permanente total por epilepsia

Me dieron la invalidez permanente total por dos ataques epilépticos que me dieron, uno de ellos conduciendo,hace dos años, era transportista autónomo,yo no la quería porque la pensión es muy pequeña,pero me dijeron que con esta enfermad no podía seguir en mi profesión,tuve que vender mi camión y ahora pienso que como no me han vuelto a repetir mas ataques (aunque estoy tomando medicación desde entonces) puedan quitarme esta pensión y entonces no tendría ni trabajo ni pensión.Tengo 52 años por si sirve de algo mi edad por favor contéstenme