Linde de finca urbana por desnivel del terreno de + - 3 metros

Mi casa por la parte trasera tiene un terreno en el cual uno de sus limites con el terreno colindante es un  desnivel del terreno de unos 3 metros de altura, mi pregunta es la tierra que por motivos de la erosión por lluvia, viento etc cae a la parte contigua la puede retirar el vecino, pues mi parcela se ira haciendo mas pequeña y la suya más grande.

Gracias anticipadas por la contestación.