¿Cómo consigo que se abra la ventana de dialogo al entrar en un chat con el internet explorer?

Pues la verdad es que lo más probable sea verdaderamente un problema de la máquina virtual de java, ya que necesitas este código para conseguir visualizar y realizar las funciones que te ofrece el chat por web.
Puede ser dos cosas, o bien que no tengas instalado el java necesasrio o bien que el que tengas esté dañado o no actualizado.
Generalmente, cuando visitas este tipo de páginas te salta una ventanita que te dice si deseas instalarlo. Prueba ha hacerlo y si te salta la ventanita leela bien para ver si lo que te ofrece a instalar es el java. Si es así instálalo, reinicia el ordenador y prueba si te funciona. Si no te salta la ventana lo que puedes hacer es actualizar el explorer a través de windows update. No se que explorer tienes si el 5, el 6... si es la última versión, el uptate está en la barra de herramientas. Haz click en él y cuando se te abra revisa todas las actualizaciones e instala todas las que te interesen, sobre todo las de java que ya verás que son bastantes.
En fin, espero que logres solucionar el problema;cualquier aclaración no dudes en preguntar.
Muchas suerte

En el Internet Explorer, ve a Herramientas -> Opciones de Internet -> Opciones Avanzadas -> busca donde dice Java VM -> Palomea la opción "Complilador Java JIT habilitado" -> reinicia la máquina.
Si ésto no resuelve el problema:
Baja el Plug-in de java desde :http://java.sun.com/getjava/
E instálalo.
Es recomendable tener la última versión de tu navegador.

Puede que se trate de que tu plugin es demasiado antiguo para la versión del chat que han programado.
Por ejemplo... si tu plugin es compatible con Java 1.2, y el chat se ha hecho para Java 1.3, es normal que puedan existir problemas de compatibilidad, y de ahí que no te cargue bien el programa.
Para solucionar esto, accede a la web de Windows Update (http://windowsupdate.microsoft.com) y deja que la página mire qué componentes debes actualizar. En la lista verás que el plugin de Java necesita actualización, y podrás actualizar.

Quizás te hace falta la maquina virtual java. Puedes descargarla desde aquí:
http://java.sun.com/getjava/es/
Suerte
Ice

Eso es porque no tienes instalada la maquina virtual Java en tu ordenador.
Solo tienes que descárgartela e instalarla y listo.