¿Por qué mi Internet Explorer tiene un retraso de 5 segundos al iniciarse o abrir una nueva ventana?

Si lo que tarda es en arrancar, y no en mostrarte la página seleccionada una vez que ha arrancado, se me ocurre que el problema no es de configuración del navegador.
Lo más probable es que sea de la configuración de tu antivirus. Si tu página de inicio (home) ejecuta algún tipo de código no html convencional (javastripts y similares) tu antivirus examinará cada código antes de dejarlo ejecutarse (y si tienes el Norton, Seguro que es eso).
Para solucionar el problema, intenta tener lo más vacío posible los archivos temporales de internet y también puedes eliminar en la configuración de tu antivirus la revisión de código para Internet Explorer.
Si me dices que antivirus tienes tal vez pueda ayudarte en como hacerlo.
Por lo demás y dado que tienes todo actualizado, solo podrías tener problemas con tu consola de java, pero esto te afectaría a que tardaran en mostrarse ciertas páginas y no a que tardara la aplciación en abrirse.
Una última cosa. Puede que tengas demasiados archivos temporales (No de internet sino del sistema). Elimina todos los ficheros que encuentres dentro de la ruta:
C:\Documents and setings\Usuario (nombre de tu usuario)\Local Settings (o configuración local, según el idioma)\TEMP\
Si esto no soluciona este problema, seguro que solucionará otros (si tienes lentitud con otras aplicaciones y demás).

Mi página de inicio siempre ha sido la de Google así que creo que deberíamos descartar esa razón y además por que también me sucede cuando abro una ventana nueva, ¿es decir cuando a un link le doy click con el derecho del mouse y le doy en? ¿Abrir en una nueva ventana?.
Con respecto a los archivos temporales de Internet ya lo había pensado y para descartar hice lo que me recomendaste aunque lo creí poco probable ya que tengo una memoria RAM de 512, y no me soluciono el problema.
Tengo el Norton Internet Security 2005, y ya que me lo dijiste voy a buscar si hay alguna configuración que me permita desactivar la revisión del código de Internet Explorer (déjame ver si la consigo y si la sabes por favor házmela saber a ver si es esa la razón).
Y ya que mencionaste algo sobre la consola de Java quizás sea conveniente mencionarte que cuando me estaba dedicando a borrar los archivos temporales de Internet para descartar esa posibilidad cuando le di a Herramientas>Opciones de Internet>General y le di a el Botón "Configuración" en la Sección de Archivos Temporales de Internet, me salio otro cuadro donde le di a un botón que me decía "Ver Objetos..." se me abrió la carpeta "C:\WINDOWS\Downloaded Program Files" donde me aparecen una serie de programas en lista y me parece extraño ya que hay dos que en la columna "Archivo de Programa" dicen "Java Runtime Enviroment 1.3.1_11" y que en la columna "Estado" dicen "Dañado", ¿tendrá eso algo que ver con mi problema y de todas maneras así no tenga que ver por que esos archivos me aparecen como dañados?
De antemano muchísimas gracias por la atención que me prestas y me extendí un poco por que creo conveniente que sepas todo lo posible sobre mi caso para que puedas darme una mejor recomendación.

Y una cosa que se me olvido decirte; el retraso se da antes de que el navegador comience a buscar la página o sea es cuando se inicia la aplicación (antes de que aparezca la ventana), de hecho, después de que se inicia la búsqueda de páginas Web escribiendo las direcciones en la barra de dirección es rapidísima y con eso no tengo problema.

Java runtime enviroment es la consola de java de sun. Si esta está dañada puede que el chequeo de estado del navegador detecte el problema y se produzcan retrasos de arranque.
Esta consola la puedes desinstalar desde agregar o quitar programas de Windows. Eliminla (ya que está dañada) y vuelve a instalarla (puedes descargártela directamente desde www.sun.es) además me parece que la versión que tienes instalada es antigua, por lo que matamos dos pájaros de un tiro.
Es importante que la elimines antes de reinstalarla, para quitar todos los ficheros dañados antes de poner los correctos (si alguno estuviera en uso, no los sobreescribiría).
Respecto a tu antivirus, sé que hay una opción en análisis de Web que pone exclusiones. Ahí puedes añadir los ficheros con extensión .jar y .aspx de momento para que no te chequee las páginas y código de estas con esta extensión. También, si utilizas Emule o similar, excluye el análisis de ficheros .Part (temporales de descarga) para que no se analicen cada vez que se sube una parte de algo que te estés descargando (esto puede provocar retrasos generales en el equipo entero).
Me inclino a pensar que el problema está en uno de estos dos factores. Descarto la configuración del propio navegador ya que, una vez que arranca, funciona con normalidad.