¿Pueden mis vecinos tomar acciones legales en este asunto? Acusación falsa de rotura de un elemento

Os pongo en situación. Hace años (bastantes) tuve una fuerte discusión de la que salí de un portazo y muy nervioso para dar una vuelta. En la escalera, un vecino me escuchó (tampoco me dijo nada), pero sé que se enteró. Desde entonces es muy seco conmigo (cosa que me da igual, sinceramente).

Por otro lado (y sin tener nada que ver), alguien rompió una puertecita blanca que cierra unos contadores en la escalera a la altura de mi rellano. En su día la vi aboyada y abierta. Al paso de un tiempo alguien la cerró de nuevo, pero quedó con la forma aboyada (abre y cierra bien de todos modos).

La cosa es que hoy, me encuentro este vecino en la escalera (creo que es el nuevo presidente o vice) y me acusa de que yo rompí esa puerta de una leche el día de aquella discusión, cosa que es falsa. Para más inri y con todo el descaro, me dice que me vió (¿cómo? Si no lo hice, en fin). Ahora están pintando escalera y arreglando cosas y me ha dicho que cuando vayan a ver el cambio de esa puertecita (que repito, abre y cierra bien, sólo está algo aboyada), hablará conmigo, a pesar de reiterarle que yo no tengo nada que ver con ese desperfecto.

En ningún momento me ha dicho directamente que vayan a tomar acciones, pero por su manera de hablar me parece quiere hacerme pagar la sustitución de esa puertecita.

¿Qué puedo hacer? ¿Pueden hacer algo para forzarme a pagar si yo no lo hice y no tienen pruebas (a pesar de que dijo que me vio, cosa que es totalmente imposible)?

¿Debería ir a hablar con el administrador?