En estos casos lo que te recomiendo es que empieces haciendo un gráfico de la función, para intentar interpretar lo que te están pidiendo.

Vemos que el rectángulo de área máxima (no importa cual sea) será simétrico respecto al eje Y, por lo tanto vamos a enfocarnos en resolver un rectángulo para la función desde el punto (0,0) hasta el punto (x_0, f(x_0))
Ahora nos queda ver quienes son (x_0, f(x_0)) para que ese área sea máxima.
Sabemos que x_0 va a estar entre 0 y Raiz(27), si x_0 está cerca del 0, el rectángulo tendrá poca base, pero mucha altura, mientras que si x_0 está cerca de Raiz(27) ocurrirá lo opuesto, la idea es ver cuando esos productos (área del rectángulo) es máxima).
Como dije, el área del rectángulo va a ser el producto de x por la función, o sea
A = Area = x * f(x) = x * (27-x^2) = 27x - x^3
Como queremos que sea máxima, vamos a derivarla e igualarla a 0, para ver que nos da
A'(x) = 27 - 3x^2
A'(x) = 0 = 27 - 3x^2
x = +/-3 (nos quedamos con el valor positivo, ya que es el que está dentro de nuestro intervalo)
Queda ver si es máximo (podría ser mínimo)
A''(x) = -6x
para x=3, A''(x) = -18, como es negativo, tenemos un máximo.
O sea que el rectángulo tendrá los siguientes vértices (ahora si incluyo los negativos)
(-3,0), (3,0), (-3, f(-3)), (3, f(3))
Como f(3) = 18 = f(-3), el área del rectángulo será
A = BxH = 6 * 18 = 108

Salu2