F(x)=x^2-7x+6 si x es menor o igual a 3

Para que la derivada exista en un punto debe tener el mismo valor la derivada por la derecha que por la izquierda. Creo que te has confundido en el enunciado, debía ser

ax+b si x>3

La derivada por la izquierda es

fi'(x) = 2x- 7

que en el punto x=3 es

fi'(3)= 2·3 -7 = -1

Y la derivada por la derecha es

fd'(x) = a

luego en x=3 es

fd'(3) = a

Y como deben ser iguales es

a = -1

Esto nos ha resuelto solo una incógnita, nos ha dado como debe ser la pendiente de la función derecha. Pero para que exista derivada también debe ser continua la función, vamos a hacer que lo sea y con eso calcularemos a

El valor de la función en x=3 por la izquierda es

fi(3)=3^2 - 7·3 + 6 = 9 - 21 + 6 = -6

Y por la derecha es

fd(3)=3a+b

a ya lo habíamos calculado, era -1

3(-1)+b = -3+b

Luego igualando

-3+b = -6

b = -3

Luego la respuesta es

a = -1

b = -3

Y eso es todo.