Para eliminar todos los ficheros sin versionar debemos ejecutar:
git clean -n
Si no nos deja podemos forzar la eliminación haciendo:
git clean -f
Si queremos eliminar también los directorios sin versionar debemos añadir el flag d:
git clean -nd
git clean -fd