El criterio de la integral dice que si la función es continua, positiva y decreciente entonces la seria converge si y solo si la integral converge. En realidad no hacen falta tantas condiciones, pero vamos a dejarlo porque es así como aparece en todos los libros.
Continua y positiva no ofrecen dudas.
Para ver que es decreciente calculamos la derivada. No la voy a hacer simplemente apunto que el resultado es este numerador
1 - 4x(1+x^2)arctgx
Y un denominador positivo
Para x =1 su arctg es pi/4
1- 8·pi/4 = 1 -2pi < 0
Y para x>1 con más motivo es negativa porque el arcotangente crece hasta pi/2 y los factores 4x(1+x^2) también son mayores. Al ser la derivada negativa la función es decreciente
Luego cumple las condiciones del criterio y vamos a hacer la integral
$$\begin{align}&\int_1^{\infty}\frac{\sqrt{arctgx}}{1+x^2}dx =\\ &\\ &t = arctgx\quad dt = \frac{dx}{1+x^2}\\ &\\ &x=1\implies t=\frac{\pi}{4}\\ &\\ &x=\infty \implies t=\frac{\pi}{2}\\ &\\ &=\int_{\pi/4}^{\pi/2}\sqrt t dt =\left. \frac 23t^{3/2} \right|_{\pi/4}^{\pi/2} =\\ &\\ &\\ &\frac 23 \left(\frac{\pi}{2} \right)^{3/2}- \frac 23 \left(\frac{\pi}{4} \right)^{3/2}\end{align}$$
Que es una cantidad finita. Luego la integral converge y la serie también.
Y eso es todo.