Gato castrado agresivo con gatos vecinos

Mi gato tiene 2 años, lo castré de grande despues de venir lastimado de una pelea pero sigue saliendo y peleando con otros gatos, al punto que ha logrado que el gato de mi vecina se fuera de la casa y el pobre animal aparece de madrugada supongo que para volver a su casa pero éste hace que otra vez se vaya. ¿Qué puedo hacer? Hoy no lo dejé salir pero aveces llora tanto para salir que termino cediendo. Tengo miedo que este asunto traiga problemas con la vecina