Mi Lima limón se le caen sus frutos

Tengo un árbol pequeño de Lima limón en maceta. Llega a salirle las flores y a su vez los pequeños frutos pero no crecen más de dos centímetro y se caen todos. ¿Por qué será?