Reclamación cargo tarjeta de crédito

Hace un par de meses hice una reserva en un hotel para un sábado en un fin de semana.
¿Me solicitaron por email el numero y la fecha de caducidad de la tarjeta de crédito para cargarme 50? Como reserva.
¿Cómo es normal se lo facilite, semanas más tarde por motivos personales no pude asistir a la reserva que había echo y cual fue mi sorpresa al ver que me habían hecho un cargo por valor de 340? ¿A parte de los 50? De reserva.
Contacte con ellos y me dijeron que era la política de cancelación que tenían, me cargaban el total de la estancia (1 día) hubiese estado o no.
Les reclame diciendo que habían utilizado mi tarjeta de crédito sin autorización pero no atendieron a mis demandas, en el banco me dijeron que esperase a que el cargo fuese efectivo en mi cuenta para proceder a reclamar a visa.
Cuando me hicieron el cargo y después de varias gestiones de reclamación al banco me devolvieron el cargo.
Ahora uno dos meses después me mandan un email del banco diciendo que el hotel no ha aceptado al reclamación y vuelvo a ver el cargo en el banco.
He reclamado que han utitlizado de manera fraudulenta mi tarjeta ya que en ningún momento yo he autorizado dicho cargo.
Les he solicitado que me expliquen como es posible que alguien me haga un cargo sin autorización, ya que no hay mi firma ni esta realizado a través de ninguna página ni nada pero parece que no hay manera.
A mi entender no pueden hacerme un cargo sin que este firmado por mi o este hecho a través de alguna pag de internet de esas seguras o haya algo que demuestre mi autorización.
El que el hotel me reclame a mi el dinero ya es otro tema, pero no creo que sea legal que me hagan un cargo si yo no lo acepto y me lo tenga que comer por narices.
¿Es así? Mañana volveré al banco a reclamar, ¿puedo renunciar de alga mi una manera a aceptar el cargo si no esta mi firma? ¿Qué debería de hacer?