Voy a centrarme en lo que dice la Wikipedia.
Hay dos versiones de la ley de los grandes números una fuerte y una débil aunque es difícil distinguirlas. Y lo que vienen a decir es que cuando se toma una muestra grande de variables iguales e independientes, el promedio de la muestra tiende al promedio de la variable.
Y el teorema central del límite dice que la media de la suma de muchas variables aleatorias (n) iguales e independientes con media mu y desviación sigma tiende a una variable normal con media mu y desviación sigma/sqrt(n).
Es mucho más completo el teorema central del límite, no solo nos informa de que la media tiende a mu sino que nos dice como es la distribución de probabilidad de la variable promedio resultante.
Y eso es todo sin meternos en detalles más precisos.