Propietario de columbario

buenas tardes. Hace 8 años compré un columbario del cual obviamente soy propietario único, hay varios fallecidos nuestros y quedamos 2 hermanos, a éste le dejé una llave para que cuando quiera poner algo dentro que lo haga sin tener que pedirme las llaves a mí, me ha hecho tanto daño que he roto todo tipo de relación con él, le he pedido la llave y se niega a dármela ¿ que puedo hacer? Si habré el columbario¿ que puedo hacer y que le pasará a él si es que puedo denunciarlo? Gracias