¿Cómo enviar datos en hexadecimal VB?

Hola
Tengo una duda/problema. Necesito enviar datos por el puerto serie en código hexadecimal. La cuestión es que los datos los obtengo como cadenas de texto que proceso y almaceno en un arreglo, y esas cadenas de texto ya son los "valores" en hexadecimal que necesito enviar, pero están en modo string. Por ejemplo, en este ejemplo del código:
Dim datos() As String
Dim mBuffer() As Byte
datos = Split(TextDatos.Text, " ")
tamBuffer = datos.Length - 1
mBuffer = New Byte(tamBuffer) {}
Dim n As Integer = 0
For Each dato In datos
mBuffer(n) = "&H" & dato
n += 1
Next
'datos' esta recibiendo la cadena de entrada de TextDatos.Text, que es la que contiene mis datos separados por un espacio en blanco. Ejemplo: "1B 8A 12 67". Con eso hago que datos(0)="1B", datos(1)="8A", datos(2)="12" y datos(3)="67"
Esos datos ya son el valor en hexadecimal que necesito enviar por el puerto serie, y los meto en mBuffer uno por uno para después darle salida con
SerialPort1.Write(mBuffer, 0, mBuffer.Length)
Mi dua es si estoy en lo correcto al hacer 'mBuffer(n) = "&H" & dato', ya que 'dato' sería el string (por decir, el "1B") pero si lo saco así tal cual pues me va dar el código ASCII en la salida por el puerto y no quiero eso, yo quiero recibir ese mismo valor ("1B") que es el hexadecimal, y por eso es que estoy concatenando con un "&H" al inicio´para que la salida sea un hexadecimal.
Es correcto de esta manera?

de antemano gracias.