Porque se caen las naranjas verdes

Tengo un naranjo en un macetón, cuando tiene las naranjas unos 3 o4 cm se le pone el culo amarillo y se caen, lo riego casi todos los días. El naranjo tiene unos 3 o 4 años.