Pagos indebidos por la administración publica

Se me concedió el salario social básico con todos sus atrasos correspondientes y pasado un mes se me comunica que se me extingue teniendo aparte que devolver los casi 6.000 euros que me había recibido en concepto de atrasos.
Yo para la solicitud presente todo debidamente y el error por habérmelo concedido fue exclusivamente de la administración. Mi pregunta es la siguiente: ¿Tengo alguna posibilidad con un recurso potestativo o contencioso?
¿Y en el supuesto de que recurriera debería pagar algún tipo de costas si perdiera?
Muchas gracias de antemano.
Saludos.