Hay que calcular la ecuación del giro. Te habrán enseñado que el giro respecto a un eje que pasa por el origen es una aplicación lineal. Y por lo tanto se puede representar por una matriz que tendrá como columnas las imágenes de una base.
Por supuesto que tomamos la base más sencilla, la canónica
El punto (1,0,0) gira en sentido contrario al reloj, es el giro natural que habrás estudiado en trigonometría y la rotación lleva ese punto a este otro del primer cuadrante.
(1,0,0) --> (cos Pi/4, sen Pi/4, 0)
El punto (0,1,0) lo lleva al segundo cuadrante
(0,1,0) --> (-sen Pi/4, cos Pi/4, 0)
Y el punto (0,0,1) lo deja en el mismo sitio
(0,0,1) --> (0,0,1)
llamare s =sqrt(2)/2 que es tanto el seno como el coseno de Pi/4=45º
La primera columna será (s,s,1), la segunda (-s,s,1) y la tercera (0,0,1)
$$\begin{pmatrix}
s&-s&0\\
s&s&0\\
0&0&1
\end{pmatrix}=
\begin{pmatrix}
\sqrt 2/2&-\sqrt 2/2&0\\
\sqrt 2/2&\sqrt 2/2&0\\
0&0&1
\end{pmatrix}=$$
Y una vez tenemos la matriz de giro respecto a una base loq ue se hace es multiplicar la matriz por la coordenadas del punto respecto a esa base y se obtienen las nuevas coordenadas del punto, siempre respecto a esa base.
$$\begin{pmatrix}
\sqrt 2/2&-\sqrt 2/2&0\\
\sqrt 2/2&\sqrt 2/2&0\\
0&0&1
\end{pmatrix}\times
\begin{pmatrix}
-1\\
2\\
5
\end{pmatrix}=
\\
\begin{pmatrix}
- \sqrt 2/2-2 \sqrt 2/2\\
- \sqrt 2/2 + 2 \sqrt 2/2\\
5
\end{pmatrix}=
\begin{pmatrix}
-3 \sqrt 2/2\\
+\sqrt 2/2\\
5
\end{pmatrix}$$
Y para el punto (1, 6, -3) se hace lo mismo. Te dejo que lo hagas tú que el trabajar con el editor de ecuaciones lleva mucho trabajo para algo tan sencillo de hacer a mano.