No, voy a empezar de nuevo. No me acordaba que cuando hay dos ecuaciones de ligadura lo que se hace normalmente es usar dos multiplicadores de Lagrange.
Entonces la función a estudiar es
f(x,y,z) = x^2 + y^2 + z^2
con las ecuaciones de ligadura
g(x,y,z) = x^2+4y^2+4z^2-4 = 0
h(x,y,z) = x-4y-z=0
Formamos la función auxiliar
F(x,y,z,t,s) = x^2+y^2+z^2 + t(x^2+4y^2+4z^2-4) + s(x-4y-z)
donde t y s son dos multiplicadores de Lagrange.
Y calculamos las parciales respecto x,y,z y las igualamos a 0
Fx(x,y,z,t,s) = 2x + 2tx + s = 0
Fy(x,y,z,t,s) = 2y + 8ty - 4s = 0
Fz(x,y,z,t,s) = 2z + 8tz - s = 0
Tenemos estas 5 ecuaciones para hallar los puntos (x,y,z) que las cumplen
1) 2x + 2tx + s = 0
2) 2y + 8ty - 4s = 0
3) 2z + 8tz - s = 0
4) x^2 + 4y^2 + 4z^2 - 4 = 0
5) x - 4y - z = 0
Sustituimos s en la 1
s = -2x-2tx
lo llevamos la segunda
2y + 8ty + 8x + 8tx =0
despejamos t en esta
t = (-2y - 8x)/(8y+8x)
llevamos esta valor de t y el de s a la tercera
2z + (-2y-8x)z /(y+x) + 2x + 2tx =0
2z + (-2y-8x)z /(y+x) + 2x + (-2y-8x)x/(4y+4x) = 0
8yz +8xz - 8yz - 32xz + 8xy + 8x^2 - 2xy -8x^2 = 0
-24xz + 6xy =0
x(y-4z)=0
Si x=0 de las ecuaciones 4 y 5 tendremos
y^2+z^2-1=0
4y+z = 0 ==> z = -4y
y^2 +16y^2 = 1
y = +- sqrt(1/17)
z = -+ 4sqrt(1/17)
los puntos críticos son
(0, 4sqrt(1/17), -sqrt(1/17))
(0, -4sqrt(1/17), sqrt(1/17))
Si (y-4z) = 0
y = 4z
las ecuaciones 4 y 5 quedarán
x^2 + 64z^2 + 4z^2 - 4 = 0 ==> x^2 + 68z^2 = 4
x - 16z - z = 0 ==> x = 17z
289z^2 + 68z^2 = 4
357z^2 = 4
z = +- 2/sqrt(357)
y = +- 8/sqrt(357)
x = +- 34/sqrt(357)
Los puntos críticos son
(34/sqrt(357), 8/sqrt(357), 2/sqrt(357))
(-34/sqrt(357),- 8/sqrt(357), -2/sqrt(357))
Esta claro que los 2 puntos de cada pareja que hemos hallado están a igual distancia del origen, veamos qué pareja está mas cerca y cuál más lejos
En la primera pareja que hallamos la distancia al cuadrado es (4^2+1)/17 = 1
En esta segunda la distancia al cuadrado es (34^2+64+4)/357 = 1224/357 que es mayor
Luego los puntos más cercanos son
(0, 4sqrt(1/17), -sqrt(1/17))
(0, -4sqrt(1/17), sqrt(1/17))
y los más lejanos
(34/sqrt(357), 8/sqrt(357), 2/sqrt(357))
(-34/sqrt(357),- 8/sqrt(357), -2/sqrt(357))
Si quieres puedes racionalizar denominadores e incluso simplificar el 34 con la raíz de 357, pero eso hazlo tú si quieres.