Hay que poner el símbolo ^ delante de los exponentes, Si no, no hay forma de distinguirlos de los factores normales. Supongo que has querido decir esto
x^2 + y^2 + 2kx + 4ky = - k^2 - 12k - 16
La ecuación de una circunferencia es
(x - a)^2 + (x-b)^2 = r^2
Vamos a intentar poner la ecuación que nos dan de esa forma, el proceso se llama completar cuadrados. Consiste en poner los términos con x^2 y x como el cuadrado de un binomio menos algo. Y lo mismo con los términos de y^2 y y.
x^2 + 2kx = (x +k)^2 - k^2
y^2 + 4ky = (y+2k)^2 - 4k^2
sustituyendo estos valores la ecuación quedaría
(x+k)^2 - k^2 + (y+2k)^2 - 4k^2 = -k^2 -12k -16
(x+k)^2 + (y+2k)^2 = 4k^2 -12k - 16
La parte derecha es el cuadrado del radio, luego debe ser positiva, esa es la única condición necesaria para que eso sea la ecuación de una circunferencia.
4k^2 - 12k - 16 > 0
simplificando
k^2 - 3k - 4 > 0
Esto es una parábola con forma de U por ser positivo el coeficiente de k^2. Y las parábolas de este tipo son positivas a los extremos de las raíces o en todo R si no hay raíces reales.
$$\begin{align}&k=\frac{3\pm \sqrt{9+16}}{2}=\\ &\\ &\frac{3\pm 5}{2}= -1\; y\;4\\ &\\ &\\ &\text{Y la solución es}\\ &\\ &k \in (-\infty,-1)\cup(4,\infty)\end{align}$$
Se contesta un solo ejercicio por pregunta ya que contestar 2 o más en la misma pregunta no hace obtener más puntos. Luego si quieres que conteste el otro finaliza esta pregunta puntuando el máximo y luego me mandas el otro en una pregunta nueva.