Problemas con colindante finca rustica

El colindante de mi finca tiene ganado y este se pasa a mi finca porque la pared de piedra se ha caído (o la ha tirado el ganado), yo no estoy allí, de modo que me llama para decirme que debo levantar la pared porque se pasa su ganado a mi finca y que sea de piedra que es como esta. ¿Me puede obligar a levantar la pared que supongo sea medianera?, ¿Y lo puede hacer el y pasarme la cuenta luego a mi?, ¿Sirve solo el aviso por teléfono o deberá notificar por escrito?. Yo le he contestado que ponga estaca de madera para que no se pase el ganado y ya esta, pero no es lo que el quiere hacer. Quiere aburrirme para que se lo venda al precio de catastro.

Muchas gracias por su respuesta.