Vale, pero como ya te decía en otro problema, sería un buen problema de productos notables si nos preguntaran el valor de x^2 + xy + y^2. Asi es un sistema de dos ecuaciones y una evaluación posterior.
Calcular: X^2+Y^2
siendo:
x^3 -y^3 =89
x-y=5
Sustituimos x en la segunda
x = y+5
Y la llevamos a la primera
(y+5)^3-y^3 = 89
aplicamos la formula del binomio de Newton
y^3 + 3(y^2)·5 + 3y·25 +125 - y^3 = 89
15y^2+75y + 125 = 89
15y^2 + 75y + 36 = 0
5y^2 + 25y + 12 = 0
Resolvemos
$$\begin{align}&y=\frac{-25 \pm \sqrt{625-240}}{10}=\\ &\\ &\frac{-25 \pm \sqrt{385}}{10}\end{align}$$
La verdad es que queda un resultado bastante feo de operar pero vamos a intentarlo
$$x=5+y =5+ \frac{-25 \pm \sqrt{385}}{10}=\frac{25 \pm \sqrt{385}}{10}$$
pero parece que se arregla un poco.
Antes de hacer las operaciones con esas expresiones tan complicadas vamos a hacer en abstracto lo siguiente
$$\begin{align}&(a+b)^2+(-a+b)^2 = a^2+b^2+2ab +a^2+b^2-2ab= 2(a^2+b^2)\\ &\\ &X^2+Y^2=\left (\frac{25}{10} \pm \frac{\sqrt{385}}{10}\right)^2+\left (\frac{25}{10} \pm \frac{\sqrt{385}}{10}\right)^2=\\ &\\ &\\ &2 \left[ \left( \frac{25}{10} \right )^2+\left( \frac{\sqrt{385}}{10}\right)^2 \right]= \\ &\\ &\\ &2 \left( \frac{625}{100}+\frac{385}{100}\right)=2 \left(\frac{1010}{100} \right)=\frac{202}{10}=\frac{101}{5}\end{align}$$
Y eso es todo.