Derecho a la intimidad

Hola, soy una persona que vive en un pueblo desde hace 12 años, llevan tiempo las personas que aquí residen hablando por detrás calumnias sobre mi, pero creo que ya ha llegado a mayores y quisiera saber si puedo hacer algo frente a esto, no sé quien es pero me han comentado que el rumor ha nacido desde una asociación. ¿Debo denunciar? O advertir o uff, no sé que hacer, me podrías ayudar, GRACIAS.