¿Me puedo quitar los apellidos paternos?

Tengo 37 años y desde hace 20 años no tengo ningún tipo de relación con mi padre. Desde los tres años hasta los 17 me vio 21 veces se podía pasar hasta 10 meses sin venir a verme. Me hizo firmar unos papeles a renunciar a su herencia para que mi madre y yo pudiéramos vender el piso en el que vivíamos el cual ni pago ni me paso la pensión. Desde aquello no lo he vuelto a ver y me gustaría poder quitarme sus apellidos. Porque no le considero como padre y nunca se ha preocupado por mi.