Contrato de lunes a domingo 40 horas

Mi contrato es de 40 horas semanales de lunes a domingo y en realidad trabajo 37 horas semanales de lunes a sábado ya que descanso día y medio como dice mi convenio (domingo y lunes por la mañana) por eso no llego a las 40 horas y mi jefe me reclama que le debo tres horas semanales y cuando en la semana hay un festivo hago una hora más (38 horas) y un domingo trabajo 7 horas más con lo cual son 44 horas mi duda es si al final del año llegaría a las 1785 horas que debería hacer o le debería horas a la empresa.