Muy preocupada con mi hijo de 6 años

Paso a plantearle el problema que nos está empezando a preocupar bastante a mi marido y a mí:
Tengo un hijo de 6 años, en1º de Primaria, es un niño muy inteligente(aunque sea lo típico que decimos todos los padres...), a su edad, cuando la mayoría de los niños están aprendiendo a sumar y restar, él ya lo hace estupendamente con llevadas e incluso se sabe las tablas, sus notas han sido todas sobresaliente, y la maestra nos dice que es muy inteligente, muy despierto, correcto y educado.
Hasta aquí todo estupendo... El problema viene con el tema del deporte: lleva 2 temporadas jugando en el equipo local, como empezó con 5 años, y siendo de los más pequeños del equipo, el entrenador siempre nos decía que a esa edad todo deporte tiene una finalidad lúdica, no competitiva... Lo cual me parece ideal. Este año, el contenido es el mismo, es decir, el deporte como actividad lúdica, sin ánimo de competitividad..., pero no es así, su equipo está formado por niños desde 6 a 8 años, la diferencia es abismal, máxime si le añadimos que mi hijo es verdaderamente patoso, distraído y payaso cuando hay que jugar un partido, pues ya están haciendo pequeñas competiciones para ir iniciando a los niños en el deporte en sí. Lo malo viene ahora: él se está dando cuenta de lo malo que es, pues se lo dicen los niños, no le pasan el balón, está en el eqquipo "b"... Y lo mismo le sucede en el colegio, a la hora del recreo, la inmensa mayoría de niños de su edad juegan al fútbol, él hace por integrarse, pero siempre lo ponen o de portero o de defensa, al ladito del portero porque le dicen que es muy malo...
Todo esto me da la impresión que le está minando la autoestima, lo que en un principio hemos hecho(apuntarlo a un deporte en equipo), con la mejor intención respecto a su timidez, se está convirtiendo en un daño moral para él. Hemos pensado en apuntarlo a Judo, pero le coincide la hora con la de baloncesto y él quiere seguir yendo, (en ningún momento le hemos dicho a él que se tiene que quitar porque es muy malo)... Incluso otros entrenadores me dicen que es muy pequeño, que no le de importancia..., pero sí se la damos..., yo sé como es mi hijo y le duele mucho todo esto, incluso si hablamos un poco más profundmente con él para sonsacarle qué ha hecho en el recreo, en el baloncesto... Al final termina llorando porque dice que los niños le dicen que es muy malo, que no le pasan el balón aunque él lo pide, que le pitaron mano y no era...
En fin, no sé si me he explicado bien, pero espero que me entienda y que me aporte alguna solución.