Al ser un sistema homogéneo, seguro será compatible. Lo que queda por ver es si el sistema será compatible determinado (unica solución (0,0,0) o indeterminado (infinitas soluciones).
Te piden resolver, así que vamos a intentar triangular la matriz y ver que condición queda para mu y lambda
Te dejo la imagen de la triangulación (L: lambda, M: mu)

Del paso 2 se ve que tenemos la condición
-L (1+M) = 0 para que el sistema sea compatible indeterminado.
Si tenemos un producto igualado a cero, alguno de los factores debe ser cero, por lo tanto se deduce que si
L = 0 ó M = -1, el sistema es compatible indeterminado (infinitas soluciones) y en cualquier otro caso el sistema es compatible determinado (solución única 0)
Salu2