Items de distintos colores en un listbox (VB NET)

Quisiera tener un listbox con los elementos de distintos colores.
Estos items se irán añadiendo en distintos momentos.
El problema que me aparece es que rediseña el listbox por completo en cada adición poniendo todos los items del mismo color.
En el formulario tengo dos Texbox (1 y 2) ( En el segundo veo como se van insertando los items en el 1) y un Button para hacer las inserciones.
Gracias.
El código que tengo es el que sigue.
Public Class Form2
Dim color As Brush
Dim Colores(5) As Brush
Dim myBrush As Brush = color
Dim i As Integer
Private Sub listBox1_DrawItem(ByVal sender As System.Object, ByVal e As System.Windows.Forms.DrawItemEventArgs) Handles ListBox1.DrawItem
If e.Index < 0 Then Exit Sub
e.DrawBackground()
myBrush = color
e.Graphics.DrawString(ListBox1.Items.Item(e.Index), e.Font, myBrush, New RectangleF(e. Bounds.X, e.Bounds.Y, e.Bounds.Width, e.Bounds.Height))
' compruebo como va rediseñando constantemente listbox1
ListBox2.Items.Add(ListBox1.Items(e.Index).ToString)
e.DrawFocusRectangle()
End Sub
Private Sub Button1_Click(ByVal sender As System.Object, ByVal e As System.EventArgs) Handles Button1.Click
i = i + 1
color = Colores(i)
ListBox1.Items.Add("Nuevo Valor" & i)
If i = 5 Then Button1.Enabled = False
End Sub
Private Sub Form2_Load(ByVal sender As System.Object, ByVal e As System.EventArgs) Handles MyBase.Load
Colores(0) = Brushes.Brown
Colores(1) = Brushes.Red
Colores(2) = Brushes.Blue
Colores(3) = Brushes.Green
Colores(4) = Brushes.Yellow
Colores(5) = Brushes.Chocolate
i = -1
End Sub
End Class