Esta página es muy mala para escribir matrices, pero intentaré resolverlo...
$$\begin{align}&3x +...+ \lambda z = 1\\&x - y - z = -1\\&\mu x + y + z = 0\\&\text{(en la segunda hago f2 = 3f2 - f1 y en la tercera hago f3 = f3- }\mu f2)\\&3x +0y+ \lambda z = 1\\&0x - 3y - (3+ \lambda)z = -4\\&0 x + (1+ \mu)y + (1+\mu)z = 0\\&\text{(divido la fila 2 por -3, para que el pivot quede en 1)}\\&3x +0y+ \lambda z = 1\\&0x + y + (1+ \frac{\lambda}{3})z = \frac{4}{3}\\&0 x + (1+ \mu)y + (1+\mu)z = 0\\&\text{(hago f3=f3 - (1+}\mu)f2)\\&3x +0y+ \lambda z = 1\\&0x + y + (1+ \frac{\lambda}{3})z = \frac{4}{3}\\&0 x + 0y + (1+\mu)(\frac{-\lambda}{3})z = -\frac{4}{3}-\frac{4 \mu}{3}\\&\\&\\&\\&\end{align}$$a) Para esto veamos la fila 3 y que pasa cuando la parte izquierda es cero:
$$\begin{align}&Fila\ 3: \\&(1 + \mu)(\frac{-\lambda}{3})= -\frac{4}{3}(1 + \mu)\\&\text{Para que la parte izquierda sea cero, debe pasar que:}\\&(1 + \mu)(\frac{-\lambda}{3}) =0 \to \text{Al ser un producto, alguno de los factores debe ser cero}\\&1+ \mu = 0 \to \mu = -1\\&\frac{-\lambda}{3} = 0 \to \lambda = 0\\&Si\ \mu = -1, tenemos \ que:\\&(1 + (-1))(\frac{-\lambda}{3})= -\frac{4}{3}(1 + (-1))\\&0 = 0 \text{ (VALE!, pero el sistema queda compatible indeterminado)}\\&Si \ \lambda = 0\\&(1 + \mu)(\frac{0}{3})= -\frac{4}{3}(1 + \mu)\\&0 = -\frac{4}{3}(1 + \mu)\\&\text{Que si }\mu \ne -1 \text{será distinto de cero y quedará un sistema incompatible}\end{align}$$b) Para esto debe haber alguna otra condición, porque ya vimos que si
mu = -1: el sistema es compatible indeterminado
Lambda = 0: el sistema es incompatible (siempre que mu sea distinto de -1)
Para cualquier otro caso el sistema es compatible determinado, por lo cual quedan infinitos valores posibles y el sistema no puede ser resuelto, solo podría quedar en función de mu, lambda