Problema Archivo de Texto en VB

Hola que tal, espero me puedas ayudar con lo siguiente:
Tengo un formulario con 2 textbox uno llamado TextNombre y otro TextCodigo en los cuales cada que corro el programa introduzco un código numérico en TextCodigo y al dar Enter lo almacena en un archivo de texto y en TextNombre busca el código introducido en un archivo de texto con datos y si lo encuentra despliega el nombre ahí, ahora el problema que tengo es que necesito crear un botón para que me borre la ultima linea que se agregó al archivo desde TextCodigo.
Te muestro el Código de lo que tengo:
 Private Sub TextCodigo_KeyUp(KeyCode As Integer, Shift As Integer)
Dim Texto As String
Dim YourVariable As String
Dim conta As Integer
  'conta = 0
'Dim oAList As Object
 ' Set oAList = CreateObject("System.Collections.ArrayList")
  If KeyCode = 13 Then
  Texto = TextCodigo.Text
  'oAList.Add Texto
  'oAList.Add Texto
  'oAList.RemoveLast
  Open "C:\PaseListaNegocios\" & Principal.Eventos.Text & ".txt" For Append As #1
  Print #1, Texto
  Open "C:\PaseListaNegocios\Registro.txt" For Input As #2
  While Not EOF(2)
  Input #2, YourVariable
  If StringStartsWith(YourVariable, Texto, vbTextCompare) = True Then
  Input #2, YourVariable
  TextNombre.Text = YourVariable
  Contador = Contador + 1
  Label4.Caption = Contador
  End If
  Wend
  Close #2
  Close #1
  TextCodigo.Text = ""
  End If
End Sub
Hay algunos comentario ahí de lo que intenté hacer pero no me salió obvio esas partes comentadas no van ahí van en un botón.
Espero me puedas orientar para ver que puedo hacer.
Saludos y gracias.