Programa

Matlab lo hace perobueno se puede programar pues sustitución regresiva:
Para una triangular superior:
x(n)=b(n)/a(n,n)
x(n-1)=(b(n-1)-a(n,n)*x(n))/a(n-1,n-1);
........
x(2)=(b(2)-x(3)*a(2,3)-x(4)*a(2,4)-..-
-a(2,n)*x(n))/a(2,2)
x(1)=(b(1)-x(2)*a(1,2)-x(3)*a(2,3)-x(4)*a(2,4)-..-a(2,n)*x(n))/(a(1,1))
Para una triangular inferior al revés.
x(1)=b(1)/a(1,1)
x(2)=(b(2)-x(2)*a(2,1))/a(2,2)
.....
x(n)=(b(n)-a(n,1)*x(1)-...-
-a(n,n-1)*x(n-1))/a(n,n)
Tienes que hacer dos buclesunoquevaya variando i para x(i)y a(i, j) y otro que vaya variando j.