Pregunta Transfiere 10 TB de archivos desde el centro de datos de EE. UU. Al Reino Unido


Estoy migrando mi servidor de EE. UU. Al Reino Unido de un centro de datos a otro. Mi anfitrión dijo que debería ser capaz de alcanzar 11 megabytes por segundo.

El sistema operativo es Windows Server 2008 en ambos extremos.

El tamaño promedio de mi archivo es de alrededor de 100 MB y los datos se dividen en cinco unidades de 2 TB.

¿Cuál sería la forma recomendada de transferir estos archivos?

  • FTP
  • SMB
  • Rsync / Robocopy
  • ¿Otro?

No me preocupa demasiado la seguridad, ya que estos son archivos públicos de todos modos, pero solo quiero una solución que pueda aumentar la velocidad de transferencia de 11 MB / s para minimizar el tiempo total de transferencia.


91
2017-10-03 20:03


origen


11 MB / s o 11 Mb / s? - wim
transfiere los datos a la tarjeta perforada binaria y usa una paloma mensajera :) - enterzero
Usted debe proporcionar detalles. ¿Cuántas palomas mensajeras crees que llevaría? Muestra tu trabajo. - Evik James
@Evik europeo o africano? - wim
Además, Wolfram Alpha es la forma más conveniente de realizar el cálculo, "10 TB a 11MB / s". wolframalpha.com/input/?i=10+TB+at+11MB%2Fs - pufferfish


Respuestas:


Envíe discos duros a través del océano.

Con 11 Mbps con uso completo, está mirando a 90 días para transferir 10 TB.


11 Mbps = 1.375 MBps = 116.015 GB / día.

10240 GB / 116.015 GB / día = ~ 88.3 días.


171
2017-10-03 20:14



+1 para Sneakernet. Además, se le olvidó la sobrecarga de TCP / IP. Es más como ~ 100 días en circunstancias ideales. - Chris S
Un hombre sabio dijo una vez: "Nunca subestimes el ancho de banda de una camioneta llena de cintas que se precipitan por la carretera". Esta ecuación es muy cierta y no se altera sustancialmente al cambiar la furgoneta de una embarcación. (bpfh.net/sysadmin/never-underestimate-bandwidth.html) - Rob Moir
Es mejor enviar cintas, o discos blueray, en lugar de unidades. Si va con unidades, asegúrese de que los originales se mantengan seguros y estén disponibles por si acaso. Yo mismo iría a por las unidades (a menos que tuviera unidades Ultrium 4) porque 10 TB = 410 discos blueray de una sola capa. - Allen
Me di cuenta de que escribí 11Mbps, sin embargo, lo que realmente quise decir fue de 11MB / s. Supongo que esto hace una gran diferencia, mis cálculos tienen aproximadamente de 11 a 14 días aproximadamente ... ¿es correcto? - Paul Hinett
Todavía cree que enviar a un hombre a su cargo con la copia de seguridad de 10TB mientras el disco oficial aún funciona, entonces una vez que se realiza la configuración, puede almorzar un rsync para actualizar el nuevo servidor para cualquier cambio. Tendrías tu máquina en funcionamiento en aproximadamente un día. - Loïc Faure-Lacroix


Diría que rsync, a 11 MB / s verá 10-14 días e incluso si se interrumpe, rsync comenzará fácilmente donde se detuvo la última vez.

A 11 Mbps enviaba los discos duros como se sugirió anteriormente :)


25
2017-10-03 22:00



Su estimación difiere muy significativamente de lo que otros han publicado (y no sé quién es el correcto). ¿Puede aportar su metodología para llegar a esas cifras? - John Gardeniers
La diferencia se debe a que el OP equivale a 11 Mbps cuando en realidad se refería a 11 MBps, que es 8 veces más rápido. Por cierto, reiniciar un rsync de 10 TB en el caso de una interrupción probablemente tomará un tiempo, ¿no es así? ¿Horas, o más? - Frank Farmer
@FrankFarmer: no me preocuparía el reinicio de rsync; Guardo una copia externa de ~ 20TB a través de una línea inalámbrica de 30Mbps, y el reinicio está en el rango de segundos. la copia inicial tomó un par de semanas, pero la actualización nocturna es generalmente un par de horas. - Javier
@FrankFarmer - rsync parece escalar muy bien. Tengo un ~ 2TB sobre una línea ADSL1 rural que se inicializó con sneakernet, pero toma ~ 5 minutos para sincronizar todas las noches si nada ha cambiado. - Flexo
El tiempo de reinicio de rsync se escala con el número de archivos (principalmente de stat tiempo, en mi experiencia), no con datos totales. No esperaría una espera significativa (varios minutos como máximo). Aunque mi experiencia con rsync llega a menos de 5TB. - derobert


Rsync por supuesto.

Al menos puede continuar en cualquier momento después de un descanso, y no hay dolor.


14
2017-10-03 20:07



3+ meses para copiar al 100% de utilización. Lo siento, pero esa es una manera terrible de transferir tantos datos. - Chris S
Tengo que estar de acuerdo con @ChrisS, usando rsync Sólo para copiar archivos grandes no es eficiente. Para mis cosas terminé usando tar terminado netcat o ssh para la transferencia inicial. Es mucho más rápido y comienza a transferirse de inmediato, mientras que rsync escaneará todos los archivos primero, lo que lleva tiempo. Si esto se interrumpe todavía puede utilizar rsync después. De hecho, hago esto algunas veces después tar De todos modos para asegurar que todos los permisos, archivos de socket, etc. sean correctos. - Martin Scharrer
Después de que la OP corrija que tiene una conexión de ~ 100 Mb, no 11 Mb, rsync tiene mucho más sentido. +1 para los primeros en mencionarlo. - Chris S


Nunca subestimes el ancho de banda de una camioneta llena de cintas

- Trad.

En su caso, discos o cintas enviadas por mensajería, pero el principio sigue siendo válido. Si no le preocupa la latencia, será mucho más barato que el ancho de banda de la red para transferir 10 TB de datos en un período de tiempo razonable.


11
2017-10-04 11:32



Jeff Atwood publicó los números en una de sus antiguas publicaciones de Coding Horror. codinghorror.com/blog/2007/02/the-economics-of-bandwidth.html - tardate


Deberías usar rsync. Va a comprimir los datos y desduplicar antes de enviar También puede reanudar transferencias parciales, lo cual es muy importante para cualquier transferencia grande.

Es probable que no transfiera 10 TB; si se trata de registros y texto, y así podría estar por debajo de 1 TB; Quizás muy por debajo de 1 TB.

Hay herramientas que hacen un mejor trabajo de compresión que rsync y probablemente encuentren más coincidencias. Usted podría usar lrzip, etc.

Hay tipos específicos de datos que no se comprimen bien y no contienen duplicados literales, por ejemplo, videos y otros medios. En esos casos, FTP y rsync están haciendo el mismo esfuerzo.


9
2017-10-04 08:02



RSync deduplica datos? Creo que solo hace esto a nivel de archivo, lo que significa que la deduplicación es en gran medida inútil en este caso. - devicenull


Sé que esto ya está aceptado, pero ¿ha considerado llevar sus discos a un centro de datos / proveedor / host donde pueda obtener más ancho de banda? Probablemente le costará algo de dinero, pero copiar 10240Gb en discos de respaldo y enviarlos también costará tiempo y dinero (2 veces más dinero).

También estarás seguro de que tus discos no se rompen en el transporte.


5
2017-10-04 07:13



¿En qué se diferencia esta respuesta de la respuesta aceptada? - Chris S
@Chris Esta respuesta sugiere transportar los discos a una tubería más grande en el mismo continente. - Alex Jasmin


11 Mbps? Esta es una gran limitación que tienes aquí. En tu situación yo simplemente:

  • Clonar los datos
  • Comprimirlo
  • Alquile servidores en ambos extremos con al menos 10 veces más ancho de banda (en los mismos centros de datos o en su extremo en un centro de datos cerca de usted).
  • Transferir los archivos
  • Aplicar los datos al nuevo servidor.

Si realmente no tiene una solución para aumentar el ancho de banda ... Entonces, enviar un disco físico será mucho más rápido.

Desde mi dolorosa experiencia, los discos duros tienden a romperse en el correo ... Las unidades flash USB son una solución mucho mejor para transferencias de datos frecuentes. En su caso, requeriría algunos de ellos :) Por lo tanto, envíe 2 copias de sus datos en varios discos duros.

Teniendo en cuenta la cantidad de datos que tiene, también puede enviar unidades desde una matriz RAID 5 o RAID 6 si tiene el mismo hardware / software en el otro lado para conectar sus unidades. Pero en ese caso, recuerde marcar el orden de sus unidades. y sus números de serie para que cuando se reconfiguren no se confundan.


4
2017-10-04 00:15



lo siento, el 11Mbps fue un error, es 11MB / s ... lo mencioné en uno de los comentarios anteriores. - Paul Hinett


Si bien tengo que estar de acuerdo con la respuesta "enviarlo usando discos duros" en este caso, aquí hay una solución de copia que utilizo cuando tengo que copiar grandes cantidades de archivos por primera vez:

Mientras rsync es bueno mantener dos almacenamientos de datos sincronizados, introduce una sobrecarga innecesaria para la transferencia inicial. Pensé que la forma más rápida es tar que se canaliza netcat. En el sitio del receptor también puede utilizar netcat en escucha modo que canaliza los datos entrantes a una extracción tar. El beneficio es que tar comienza a enviar inmediatamente y netcat lo envía como una transmisión TCP simple sin sobrecarga de protocolo de nivel superior. Esto debería ser tan rápido como sea posible. Sin embargo, no es posible simplemente reiniciar una transferencia interrumpida en la última posición.

También es fácilmente posible comprimir los datos para la transferencia utilizando el derecho tar Opciones o añadir una herramienta de compresión en las tuberías. Tenga en cuenta que netcat envía la fecha sin cifrar. En los casos en que esto no sea una opción, un cifrado ssh la conexión se puede utilizar en su lugar (tar <options> | ssh <target> -c 'tar -x <options>').

Si todos los datos son transferidos rsync se puede usar para asegurar que todos los archivos que se actualizaron entretanto estén sincronizados. Tambien IIRC tar no crea sockets que de lo contrario se perderán, pero de todos modos no se usan realmente para los datos del centro de datos.


3
2017-10-04 07:36



El inconveniente es que no es tolerante a las interrupciones. - Joel Coel