Hay que sustituir x e y por unas funciones de z y el conjugado de z
$$\begin{align}&x=\frac 12(z+\overline z)\quad\quad \\ &\\ &y=\frac{1}{2i}(z-\overline z)=\frac i2(\overline z-z)\\ &\\ &\\ &f(x,y)=(-3x-2xy)+i(x^2-3y-y^2)=\\ &\\ &\\ &-\frac 32(z+\overline z)-\frac 12(z+\overline z)i(\overline z -z)+\\ &\\ &i\left(\frac 14(z+\overline z)^2-\frac 32i(\overline z-z)-\frac 14i^2(\overline z-z)^2 \right)=\\ &\\ &\\ &\frac{-3z-3\overline z+iz^2-i\overline z^2}{2}+\\ &\frac i4\left(z^2+\overline z^2+2z \overline z-6i\overline z+6iz+\overline z^2+z^2-2z\overline z \right)=\\ &\\ &\\ &\frac{-3z-3\overline z+iz^2-i\overline z^2}{2}+\frac i4(2z^2+2\overline z^2-6i\overline z+6iz)=\\ &\\ &\\ &\frac{-6z-6\overline z+2iz^2-2i\overline z^2+2iz^2+2i\overline z^2+6\overline z-6z}{4}=\\ &\\ &\\ &\frac{-12z+4iz^2}{4}=\\ &\\ &-3z+iz^2\end{align}$$
Y eso es todo.