¿Cómo convertir valores de una celda en sucesivas filas?

Habitualmente trabajo con Access, pero desde una oficina me han pasado un archivo de Excel donde en cada fila de una hoja se indican en la primera columna el número de caja y en la celda siguiente (segunda columna) todos los números de expediente que esta contiene, separados entre sí por comas.

Mi pregunta es, antes de importar a Access ¿es posible de alguna forma conseguir que cada número de expediente de esta segunda columna se convierta en una fila? He estado probando algunas posibilidades, pero no he conseguido resolverlo.