Então, a solução foi deixar fazendo durante a noite (e o dia também).
Mas como eu quero mover todos os arquivos, exceto uma pasta, não tinha condições de mover um por um. E mover todos, e depois mover a tal pasta de volta iria tomar muito tempo. Então, como mover todos arquivos exceto um?
find ~/Linux/Old -maxdepth 1 -mindepth 1 -not -name Tux.png -print0 | xargs -0 mv -t ~/Linux/New
Onde /Linux/Old é o diretório atual, /Linux/New é o destino, Tux.png é o arquivo ou pasta. Se o seu comando mv precisa do sudo, é só coloca-lo antes do mv.
Esta movendo agora, amanha devo saber se funcionou, e ai atualizo o post.
