Es simplemente hacer las derivadas y comprobarlo.
$$\begin{align}&f(x)=ae^{2x}cosx+be^{2x}senx\\ &\\ &f´(x)= 2ae^{2x}cosx-ae^{2x}senx+2be^{2x}senx+be^{2x}cosx=\\ &\\ &e^{2x}[(2a+b)cosx+(2b-a)senx]\\ &\\ &\\ &\\ &f´´(x) = 2e^{2x}[(2a+b)cosx+(2b-a)senx]+\\ &e^{2x}[(-2a-b)senx +(2b-a)cosx] =\\ &\\ &\\ &e^{2x}[(4a+2b+2b-a)cosx+(4b-2a-2a-b)senx] =\\ &\\ &e^{2x}[(3a+4b)cosx+(3b-4a)senx)]\\ &\\ &f´´(x)-4f´(x)+f(x) =\\ &\\ &e^{2x}[cosx(3a+4b-8a+4b+a)+senx(3b-4a-8b+4a+b)]\\ &\\ &e^{2x}(-4acosx-4bsenx)\end{align}$$
Pues el enunciado está mal, para que sea cero aun hay que sumarle 4f(x), tendría que ser
f ''(x) - 4f '(x) + 5f(x) = 0
Para que fuese verdadero.
Y eso es todo.