¿Cómo resolver este ejercicio de transformaciones lineales?

¿Cómo hacer el ejercicio 12 de tranformaciones lineales? ¿Qué es la expresión matricial de la rotación de angulo?