Confusión sentimental

Buenos días,
La verdad es que tengo tanto lío en la cabeza que voy preguntando a diferentes personas para ver qué opiniones tienen sobre lo que me está pasando. A ver si me puedes ayudar.
Llevo casada 5 años y mi relación matrimonial se podría decir que es perfecta. Mi marido y yo nos llevamos muy bien, nos respetamos, tenemos mucha confianza y nuestra vida es armoniosa. El problema es que yo ya no noto la pasión que debería notar por una pareja, no sé si me explico. Lo quiero muchísimo y no deseo hacerle ningún daño, pero este tipo de amor es más paterno-filial o de gran amistad que de pareja. El caso es que yo este año he tenido como una "crisis", llámalo como quieras, que me ha hecho ver que ya tengo 32 años y que es ahora cuando he de decidir si quiero cambiar cosas en mi vida o no, como si la juventud se me fuera a escapar... No sé si me explico. Y es entonces cuando he visto que quizás preferiría estar sola y disfrutar más de la vida que con una perfecta relación pero sin chispa de nada.
El caso es que conocí a otra persona, con la que me río un montón, y estoy siendo infiel a mi marido (debo aclarar que con mi marido mantengo escasas relaciones sexuales, ya que él es muy retraído y ha pasado por episodios de disfunción eréctil de carácter psicológico, negándose a recibir ayuda profesional, con lo que el problema va y viene, y esto ha afectado nuestra relación sexual, que no es ni regular ni espontánea. Él tiene 44 años). La cosa es que me apetece irme de viaje con esta persona, salir con ella... Pero no irme a vivir con ella, no sé si me explico.
Mi sentimiento de culpabilidad es tan grande que finalmente, ya que mi marido no entendía de ninguna de las maneras esa necesidad que le explicaba yo de que quería estar sola, le confesé que había conocido a otra persona (supongo que la cagué, pero no veía otra manera de que entendiera que deberíamos separarnos una temporada). Y se lo ha tomado fatal, dice que si yo me voy su vida se queda sin ilusiones, que está convencido de que tenemos que estar juntos y de que yo soy la mujer de su vida. Tan mal lo veo que no sé que hacer. ¿Hasta qué punto lo mío es un capricho inmadura? ¿Debo sacrificar mis ganas de hacer lo que yo quiera para que mi marido sea feliz? Yo si lo veo tan mal pienso que no vale la pena arriesgar nada, pero luego pienso que por qué no puedo intentar estar sola y tener otras relaciones, si es lo que me apetece.
Este tema me genera mucha tensión y no sé cómo actuar, a veces me planteo si no tendré un trastorno mental. ¿Cómo lo ves? Ayúdame por favor. La cosa es que cada vez estoy más preocupada y últimamente me cuesta mucho trabajo levantarme por la mañana para ir a trabajar, me tengo que forzar porque si no me quedaría en la cama todo el día.
Muchas gracias