¿Se puede perder todo el paro cotizado por culpa de una excedencia? Gracias

No avisé con tiempo para aceptar el retorno a una excedencia por que tengo otro trabajo, pero me han comentado en la oficina de empleo que igual pierdo todo lo acumulado que tengo, que equivale para unos dos años de paro. Es posible eso? Gracias