Dada la función calcular

No es que salga bien o salga mal. Si sale 0/0 sale eso y la función no está definida.

Sin embargo, puede tener límite porque el límite es lo que pasa en un entorno del punto pero sin tener en cuenta el punto.

Cuando un polinomio tiene valor 0 en un punto r se cumple

p(r) = 0 si y solo si p(x) = (x-r)q(x)

Con q(x) polinomio un grado menor que p(x)

Luego si el numerador y el denominador valen 0 en x=4 pueden descomponerse en sendos productos con el factor (x-4) y al simplificar (x-4) es fácil que ya no quede el 0/0

La descomposición se hace por la regla de Ruffini

     1  -6   5  12
4        4  -8 -12
     -------------
     1  -2  -3  |0

x^3 - 6x^2 + 5x + 12 = (x-4)(x^2 - 2x - 3)

     1  -3  -6   8
4        4   4  -8  
     -------------
     1   1  -2  |0

x^3 - 3x^2 - 6x + 8 = (x-4)(x^2 + x - 2)

Y con esto tenemos

$$\begin{align}&\lim_{x \to 4}\frac{x^3 - 6x^2 + 5x + 12}{x^3 - 3x^2 - 6x + 8 } = \\ &\\ &\\ &\\ &\lim_{x \to 4}\frac{(x-4)(x^2 - 2x - 3)}{(x-4)(x^2 + x - 2)}=\\ &\\ &\\ &\lim_{x \to 4}\frac{x^2 - 2x - 3}{x^2 + x - 2}=\\ &\\ &\\ &\frac{16-8-3}{16+4-2}=\frac{5}{18}\end{align}$$

Luego ya sabemos que el límite en x=4 es 5/18.

Y ahora depende lo que quieras hacer porque no has formulado una pregunta concreta.

Si quieres que la función sea continua puedes dejarla tal como está para todos los puntos distintos de 4 y decir que en 4 vale 5/18.

O hay otra solución que es definir la función como:

f(x) = (x^2 - 2x - 3) / (x^2 + x - 2)

Y eso es todo.