Necesito copiar todos los libros en una carpeta a una hoja de un archivo

¿Todos los archivos deberán estar en una sola hoja?

La información de cada archivo deberá pegarse hacia abajo, es decir, leo el primer CSV lo pongo en la hoja, ¿leo el segundo CSV y pongo la información debajo del primer CSV?

Prueba la siguiente macro, pon la macro en un archivo de excel, guarda el archivo de excel en la misma carpeta en donde tienes tus archivos CSV

Sub cargar_archivos_csv()
'por.dam
Application.ScreenUpdating = False
archivo = Dir("*.csv")
Sheets.Add
Set l1 = ActiveWorkbook.ActiveSheet
Do While archivo <> ""
    uf = l1.Range("A1").SpecialCells(xlLastCell).Row + 1
    Workbooks.Open Filename:=archivo
    ActiveSheet.UsedRange.Copy l1.Cells(uf, "A") 'Range("a1").CurrentRegion.Copy
    ActiveWorkbook.Close
    archivo = Dir()
Loop
Application.ScreenUpdating = True
MsgBox "Carga de archivos csv terminada", vbInformation
End Sub

Saludos.Dante Amor
Si es lo que necesitas.