Cadenas de Markov (proceso estocástico)

Estoy resolviendo aproximadamente 20 problemas referentes al tema de Cadenas de Markov pero hay dos que me parecen sencillos pero no sé si de tanto estudiar estoy bloqueado y no doy con las soluciones. Aunque, les soy sincero, conseguí las respuestas, deseo tener en claro los procedimientos, ya que a la hora de los exámenes necesitaría conocer el cómo para poder dar resoluciones. Agradezco la atención, saludos. Los problemas a continuación:

1. Warehouzer posee un bosque renovable para plantar pinos. Los árboles caen dentro de una de cuatro categorías según su edad: bebés (0 – 5 años); jóvenes (5 – 10 años); maduros (11 – 15 años), y viejo (más de 15 años). 10% de los árboles bebés y jóvenes se mueren antes de llegar al siguiente grupo de edad. Por lo que se refiere a los árboles maduros y viejos, 50% se talan y solo 5% se mueren. Debido a la naturaleza de renovación de la operación, todos los árboles talados y muertos son reemplazados con árboles nuevos (bebés) al final del siguiente ciclo de cinco años.

• Exprese la dinámica del bosque como una cadena de Markov. (Esto no es necesario)
• Si el bosque puede contener un total de 500.000 árboles, determine la composición a largo plazo del bosque.
• Si un árbol nuevo se planta a un costo de $1 por árbol y uno talado tiene un valor de $20 en el mercado, determine el ingreso anual promedio derivado de la operación del bosque.

2. Una tienda vende un artículo especial cuya demanda diaria puede ser descrita por la siguiente función de densidad de probabilidad:

La tienda está comparando dos políticas de colocar pedidos: (1) Pedir hasta 3 unidades cada 3 días si el nivel de las existencias es menor que 2; de lo contrario no pedir. (2) Pedir 3 unidades cada 3 días si el nivel del inventario es cero; de lo contrario, no pedir. El costo fijo por ordenar por envío es de $300, y el costo de retener las unidades excedentes por unidad por día es de $3. Se espera una entrega inmediata.

• ¿Cuál política debe adoptar la tienda para minimizar el costo diario esperado total de pedir y retener?
• Para las dos políticas, compare el promedio de días entre agotamientos sucesivos del inventario.