Jubilación por convenio bilatetal anticipada

He solicitado la jubilación por convenio bilateral, al cumplir 65 años, al entregar la documentación me informan que tenía que haberlo hecho a los 61 porque cumplía con los requisitos ya que cobraba la ayuda para mayores de 55, cotizando 11 años en España y 23 en Venezuela, ¿por lo tanto que tengo que reintegrar 4 años de subsidio...? Al llegar la información de Venezuela, pueden hacer esto cuando siempre me informaron que tenía que i jubilarme los 65, si ellos van 4 años para atrás me pagan mi lo que me hubiese tocado para esos años, o la penalización es solo para mi, a devolver 20.000€