He estado buena cantidad de tiempo intentando entenderlo. Creía que el operador era
F(p(t)) = p'(t)p(t)
Y no entendía nada.
Vale, creo que quieres decir que el operador es
F(p(t)) = p'(t)
Debías haber puesto algún signo de separación o salto de línea en el enunciado.
El operador derivada sabemos que es lineal ya que la derivada de la suma de dos funciones es la suma de las derivadas y la derivada de una constante por una función es la constante por la derivada de la función
La base canónica de P2 es {1, t, t^2}
La imagen de la base por el operador derivada es
F(1) = 0
F(t) = 1
F(t^2) = 2t
y la base canónica de P(1) es {1,t}
Luego las coordenadas de la imagen de la base canónica de P2 en función de la base canónica de P1 es
F(1) = (0,0)
F(t) = (1,0)
F(t^2) = (0,2)
Y la matriz del operador respecto de esas bases son las coordenadas puestas por columnas
$$\begin{pmatrix}
0&1&0\\
0&0&2
\end{pmatrix}$$
-----------------------------
Y para la matriz de las otras bases primero calculamos la imagen de la base
f1 = { t+1; t^2+t; t^2+2t+1}
F(t+1) = 1
F(t^2+t) = 2t + 1
F(t^2+2t+1) = 2t + 2
Y ahora hay que hallar las coordenadas de esas imágenes en la segunda base f2 = {t+1; t}
a(t+1) + bt = 1
(a+b)t + a = 1
esta igualdad polinomial son dos ecuaciones
a+b=0
a=1
luego
b=-1
y las coordenadas de 1 son (1,-1)
Ahora para la imagen del segundo elemento de la base de P2
(a+b)t + a = 2t+1
a+b=2
a=1
luego
b=1
y las coordenadas de 2t+1 son (1,1)
y finalmente para la imagen del tercer elemento de la base
(a+b)t + a = 2t+2
a+b=2
a=2
luego b=0
y las coordenadas son (2,0)
Y ya solo queda poner estas coordenadas por columnas para obtener la matriz
$$\begin{pmatrix}
1&1&2\\
-1&1&0
\end{pmatrix}$$
Y eso es todo.