Si manejaste el formato condicional, puedes hacerlo de 2 formas.
La primera opción es que pongas en todas las celdas de la columna "A" una lista de validación. Selecciona de la ficha Dato / Herramienta de datos / Validación de datos. Permitir : Número Entero

La segunda opción es con macro, en los eventos de la hoja. La segunda opción es con macro, en los eventos de la hoja.
Private Sub Worksheet_Change(ByVal Target As Range)
'Por.Dante Amor
If Not Intersect(Target, Range("A:A")) Is Nothing Then
Select Case Target
Case 1, 2, 3
Case Else
MsgBox "Valor incorrecto"
Application.EnableEvents = False
Target = ""
Application.EnableEvents = True
Target.Select
End Select
End If
End Sub
Te recomiendo la validación de datos.