Me gustaría empezar a practicar karate o taekondo con 39 años

Naturalmente que no es demasiado tarde. Mis padres comenzaron con 45 años y fueron los que engancharon a mí.
Lo importante es que encuentres al profesor que te de lo que estas buscando. Piensa que a las clases van personas de distintas edades y condiciones, y cada uno va buscando una cosa diferente en la práctica;lo cual no es muy difícil, pues el Karate contempla muchas facetas.
Básicamente el Karate y el Taekwondo contemplan la enseñanza de un Arte similar, de hecho a éste último se le conocía (por lo menos hasta su inclusión en lo JJOO) como Karate coreano.
La diferencia está, creo yo, en la intensidad con que se enseñan unas u otras facetas del Arte; me explico: lo más fácil es que te encuentres en clases enfocadas a la competición deportiva, lo cual está muy bien pero, dada tu edad, me imagino que buscarás otro tipo de alicientes en la actividad que recién quieres comenzar.
Espero haberte ayudado y sigo a tu disposición para cualquier aclaración.
(Yo tengo 42 años y sigo entrenando, por si mi ejemplo te sirve).