Hay que hacer algunas sustituciones:
$$\begin{align}&x=\frac{z+\overline z}{2}\\ &\\ &y=\frac{i(\overline z - z)}{2}\\ &\\ &f(x,y) = -3x-2xy+i(x^2-3y-y^2)=\\ &\\ &-3 ·\frac{z+\overline z}{2}- 2·\frac{z+\overline z}{2}\frac{i(\overline z - z)}{2}+\\ &\\ &i\left[\left(\frac{z+\overline z}{2} \right)^2-3·\frac{i(\overline z - z)}{2}-\left(\frac{i(\overline z - z)}{2} \right)^2 \right]=\\ &\\ &\\ &\frac{-3z-3 \overline z+iz^2-i(\overline z)^2}{2}+\\ &\\ &\frac{iz^2+i(\overline z)^2+2iz \overline z+6 \overline z-6z+i (\overline z)^2+iz^2-2iz \overline z}{4}=\\ &\\ &\\ &\frac{-6z-6 \overline z+2iz^2-2i(\overline z)^2+iz^2+i(\overline z)^2+2iz \overline z+6 \overline z-6z+i (\overline z)^2+iz^2-2iz \overline z}{4}=\\ &\\ &\frac{-12z+4iz^2}{4}=-3z-iz^2\end{align}$$
Y eso es todo.