¿Creo que me abusaron de niño?

Yo desde niño siempre fui imperativo y tenia conductas de Trastorno Obsesivo Compulsivo. Desde pequeño me gustaban los hombres y mujeres pero conforme fui creciendo y entrando a la pubertad, me sentía sucio y desnudo, no quería que nadie se fijara en mi y cuando yo le gustaba a alguien me sentía incomodo, de alguna manera no quiera crecer.

A mis 19 años sigo igual, inseguro y con miedo, como si los demás fueran a descubrir algo de mi que me da pena pero no se que es, no es mi problema con la orientación, me he vuelto mas nervioso, ansioso y a veces hiponcdiraco, me gusta estar solo pero de repente me dan cuadros de depresión, no me gustaba hace años que la gente me tocara o abrazara mucho.

En fin, desde hace como unos 3 años nada mas tenia el pensamiento errante de que algo me había pasado en la casa de mi abuela, de una habitación de su casa donde estaba yo de bebe como a la edad de dos o tres años, porque tengo recuerdos perfectos de esa edad.

El problema es que comence a pensar en que había un hombre un día conmigo, que llevaba una camisa azul y no puedo ver su cara pero siento que me toco y me hizo cosas.

Luego recorde que a mi no me gustaba dormir solo de pequeño, le tenia miedo a algo y cuando yo me quedaba a dormir en casa de mi abuela me gustaba poner peluches alrededor de la cama por miedo a que llegara "El Lobo", según yo era un lobo como en la caperucita pero ahora que me puse a pensar tal vez de alguna manera por relacionaba con ese hombre.
Actualizar: La verdad no estoy seguro, pero a veces tengo la sensación de que si fui abusado a muy corta edad, es un recuerdo o pensamiento errante y puede mi mente lo este creando. Investigue un poco y dicen que esos recuerdos son reprimidos pero con el tiempo comienzan a surgir.

Quiero ir con un psicólogo pero me da miedo decir "Creo que todos mis miedos y paranoias se deben a que tal vez me abusaron cuando era un infante" porque es algo muy grave y no quiero equivocarme pero últimamente me siento así.