Pregunta Manera más rápida de reflejar un sitio FTP


Actualmente estoy usando wget -m para reflejar un FTP remoto pero la velocidad apesta, ¿cuáles son las buenas alternativas (comando) para que podamos descargar en paralelo para aumentar la velocidad?


6
2017-11-21 07:43


origen


¿Tienes algún control sobre el FTP remoto? O ofrece rsync? Eso sería mucho más eficiente dependiendo del conjunto de datos que desea reflejar. - gertvdijk


Respuestas:


Echa un vistazo a lftp. Es un cliente ftp bastante poderoso que tiene una opción para descargas paralelas:

'espejo' puede descargar varios archivos en paralelo (opción paralela)   y un solo archivo con 'pget' (opción --use-pget-n).

Está disponible en el repositorio estándar de Debian, por lo que debería tenerlo también en ubuntu sin usar binarios de terceros o compilarlo desde la fuente.


8
2017-11-21 08:01





Como lo mencionó pQd lftp es una gran herramienta para eso y está incluida en "todas" las distribuciones.

lftp -u user,pwd -e "mirror --parallel=3 --verbose /$REMOTE_DIR /$LOCAL_DIR" $REMOTE_HOST

Puedes ejecutarlo varias veces con time y diferentes valores de --parallel Para encontrar el mejor valor.


12
2017-11-22 00:03



Vale la pena agregar aquí que mirror -R reflejará el directorio local en el servidor ftp. - LondonRob