Mejorar rendimiento ampliando la swap

No, a no ser que tengas muy poca swap o que el consumo de tu linux tire mucho de swap, lo que no es lo normal.
La partición de swap debe tener más o menos el mismo tamaño que la memoria de tu maquina. Hay gente que le pone el doble, esto del tamaño es discutible, pero vamos, más de eso seria excesivo y menos de la mitad de la memoria igual es poco.
Lo dicho, deja la swap igual que la memoria de tu maquina.
Aun así, tampoco vas a experimentar cambios a no ser que tuvieras muy poquita swap en tu linux.