Pregunta ¿Por qué Enterprise Storage es tan caro?


Esto es un Pregunta canónica sobre el costo del almacenamiento empresarial.
  Vea también la siguiente pregunta:

Respecto a cuestiones generales como:

  • ¿Por qué tengo que pagar 50 dólares al mes por gigabyte extra de almacenamiento?
  • Nuestro servidor de archivos siempre se está quedando sin espacio, ¿por qué nuestro administrador de sistemas no lanza una unidad de 1 TB extra allí?
  • ¿Por qué es tan caro el equipo SAN?

Las respuestas aquí intentarán proporcionar una mejor comprensión de cómo funciona el almacenamiento de nivel empresarial y qué influye en el precio. Si puede ampliar la Pregunta o proporcionar información sobre la Respuesta, publique.


106


origen


Cierre todas las preguntas de "¿Por qué el almacenamiento es tan caro?" Y señálelas aquí. - Mark Henderson♦
Esto no pretende ser un foro publicitario para todos los que han encontrado proveedores baratos, se trata de describir los costos "ocultos" en el almacenamiento de nivel empresarial. - Mark Henderson♦
Referencia obligatoria de BOFH ("¡Necesito más espacio!"): bofh.ntk.net/BOFH/0000/bastard01.php - Massimo
Jim Salter ha publicado un desglose de esto, ofreciendo la publicación del blog. Depresora calculadora de almacenamiento. La línea de fondo allí: usted necesita para la provisión En cualquier lugar entre 10 y 25 veces la cantidad de almacenamiento visible para el usuario final deseado, dependiendo de suposiciones y requerimientos. - α CVn


Respuestas:


  1. Las capacidades del disco duro del servidor son minúsculas en comparación con las capacidades del disco duro de escritorio. Los tamaños de 450 y 600 GB no son infrecuentes para ver en servidores nuevos, y puede comprar muchas unidades de escritorio SATA de 4TB por el precio de uno Disco duro SAS (servidor) de 600GB.

  2. Su disco duro SATA en su PC de escritorio en casa es como un auto de Ford, GM, Mercedes o cualquier otro fabricante de automóviles para personas de todos los días (gran capacidad V8 o V12, 5 o 6 litros). Debido a que deben ser manejados por personas que no tienen una licencia de carrera, o que entienden cómo funciona un motor de combinación interno, tienen tolerancias muy grandes. Tienen limitadores de revoluciones, están diseñados para funcionar con cualquier tipo de aceite de cierta clasificación, tienen intervalos de servicio con una diferencia de 10.000 km, pero si pierde un intervalo de servicio por unas pocas semanas, no explotará en su cara. No se incendian cuando conduces largas distancias.

    La unidad SAS en un servidor es más parecida a un motor de Fórmula 1. Son realmente pequeños (2,4 litros) pero tienen una potencia de salida inmensa debido a sus pequeñas tolerancias. Se aceleran y, a menudo, no tienen limitador de revoluciones (lo que significa que sufren daños graves si se conducen incorrectamente), y si pierde un intervalo de servicio (que es de unos pocos horas) explotan.

    Básicamente estás comparando tiza y queso. Los números y un desglose completo se tratan en el Informe técnico de Intel. Discos duros de clase empresarial versus clase de escritorio

  3. Vamos a hablar de algunos números difíciles aquí. Digamos que solicita 1MB de datos adicionales (un buen número redondo). ¿Cuántos datos es eso? De Verdad? Bueno, su 1MB de datos se irá a una matriz RAID. Digamos que están siendo seguros y convirtiéndolos en RAID1. Su 1 MB de datos se refleja, por lo que en realidad son 2 MB de datos.

    Digamos que sus datos están dentro de una SAN. En caso de que falle un nodo SAN, sus datos se sincronizan a nivel de byte con un segundo nodo SAN. Entonces está duplicado, y sus 2MB de datos ahora son 4MB.

    ¿Espera que su proveedor mantenga copias de seguridad en el sitio, de modo que sus datos puedan ser restaurados en caso de una emergencia que no sea de desastre? Cualquier proveedor decente le proporcionará al menos 1 copia de seguridad en el sitio, tal vez más. Digamos que toman instantáneas una vez a la semana durante tres semanas en el sitio. Eso es un extra de 3 MB de datos, por lo que ahora está hasta 7 MB.

    Si hay un desastre crítico, es mejor que su proveedor tenga una copia fuera del sitio en algún lugar. Incluso si es un mes de edad, debería existir. Así que ahora estás hasta 8MB.

    Si se trata de un proveedor realmente de alto nivel, es posible que incluso tengan un sitio de recuperación de desastres que esté sincronizado en vivo. Estos discos también serán RAIDADOS, por lo que es un extra de 2MB, y por lo tanto usted tiene hasta 10MB de datos.

    Vas a tener que transferir esos datos eventualmente. ¿Qué? Transferirlo? Sí, la transferencia de datos cuesta dinero. Le cuesta dinero cuando lo descarga, lo accede a través de Internet, e incluso cuesta dinero para respaldarlo (alguien tiene que sacar esas cintas de la oficina, y podría ser que su 1 MB de datos signifique que tienen que comprar un extra). Conjunto de cintas y transferirlas a algún lugar).

  4. Cuando falla la unidad doméstica SATA, puede llamar al soporte técnico y convencerlos de que su unidad está muerta. Luego envíe su unidad al fabricante (en su propio centavo la mayoría de las veces). Espera una semana Obtenga una unidad de reemplazo de nuevo y tenga que volver a instalarla (es casi seguro que no es intercambiable en caliente o ya está en un trineo de unidades).

    Cuando la unidad de disco SAS falla, llamas al soporte técnico. Casi nunca cuestionan su opinión de que la unidad necesita un reemplazo inmediato y lanzan una nueva unidad; por lo general, la nueva unidad se entrega ese mismo día, de lo contrario, el día siguiente también es muy común. Por lo general, el fabricante enviará a un representante para que realmente instale la unidad si no sabe cómo hacerlo (muy útil si planea tomarse unas vacaciones y necesita cosas para seguir trabajando mientras usted está ausente).

  5. Las unidades empresariales tienen tolerancias ajustadas, consulte el número 2 más arriba, y tienden a durar unas 10 veces más que las unidades de grado del consumidor (MTBF). Las unidades empresariales casi siempre admiten detección avanzada de errores y fallas, que según un informe de Google funciona el 40% de las veces, pero eso es algo que cualquiera preferiría que una computadora muera repentinamente.

    Cuando tiene una sola unidad en la computadora de su hogar, sus probabilidades estadísticas de falla son simplemente las de la unidad. Las unidades solían estar clasificadas en MTBF (donde las unidades SAS aún disfrutan de un 50% más de clasificación o más), ahora es más común ver las tasas de error. Una unidad SAS típica tiene entre 10 y 1,000 veces menos probabilidades de tener un error irrecuperable (siendo 100 veces el más común que encontré recientemente). (tasas de error de acuerdo con la documentación del fabricante suministrada por Seagate, Western Digital y Hitachi; no se prevén sesgos; se exime expresamente la indemnización).

    Las tasas de error son particularmente importantes, no cuando se ejecuta un error irrecuperable en una unidad, sino cuando falla otra unidad de la misma matriz y no confía en que todas las unidades de una matriz sean legibles para recuperar el disco defectuoso.

  6. SAS es un derivado de SCSI, que es un protocolo de almacenamiento. SATA se basa en ATA, que a su vez se basa en el bus ISA (el bus de 8/16 bits en computadoras de la era de los dinosaurios). El protocolo de almacenamiento SCSI tiene comandos más extensos para optimizar la manera en que los datos se transfieren de las unidades a los controladores y viceversa. Este aumento en la eficiencia haría que una unidad SAS igual de otro modo sea intrínsecamente más rápida, especialmente en cargas de trabajo extremas, que una unidad SATA; También aumenta el costo.

  7. Hay menos unidades de disco SAS producidas, las economías de escala dictan que serán más caras si todo lo demás es igual.

  8. Las unidades SAS normalmente vienen en velocidades de rotación de 10k o 15k; mientras que SATA normalmente viene en 5.4k o 7.2k. Las unidades SAS, particularmente el tamaño de 2.5 "que se está volviendo cada vez más popular, tienen tiempos de búsqueda más rápidos. Las dos combinadas aumentan dramáticamente las IOps que una unidad puede realizar, por lo general una unidad SAS es ~ 3 veces más rápida. Cuando varios usuarios exigen datos dispares, las IOps La capacidad de la unidad / matriz se convierte en un indicador de rendimiento crítico.

  9. Las unidades en un centro de datos suelen estar encendidas todo el tiempo. Los estudios han encontrado que la falla de la unidad está influenciada por la cantidad de ciclos de calefacción / refrigeración que atraviesa (desde la ejecución contra apagado). Mantenerlos funcionando todo el tiempo generalmente aumenta la vida útil del disco. La consecuencia de esto es que los accionamientos consumen electricidad. Esta electricidad debe ser suministrada por algo (en el caso de un CD grande, solo las unidades pueden requerir más energía que un pequeño vecindario de casas). También necesitan disipar ese calor en algún lugar, lo que requiere sistemas de refrigeración (que a su vez requieren más energía para funcionar).

  10. Infraestructura y gastos de personal. Esos discos están en unidades NAS o SAN de gama alta. Esas unidades son caras, incluso sin las unidades costosas en ellas. Requieren personal costoso para desplegarlos y mantenerlos. Los edificios en los que se encuentran esas unidades NAS y SAN son costosos de operar (vea el punto sobre enfriamiento, más arriba, pero hay muchas más cosas que están sucediendo allí). El software de respaldo generalmente no es gratis (ni las licencias para cosas como la duplicación) y el personal para implementar y mantener las copias de seguridad también suele ser caro. El costo de alquilar la entrega y almacenamiento de cintas fuera del sitio es solo una más de las muchas cosas que comienzan a acumularse cuando se necesita más almacenamiento.

Teniendo en cuenta que la capacidad de sus unidades de disco puede ser 1/10 del tamaño de una unidad de escritorio, y cinco veces el precio, su 1MB de datos en realidad es de 10, y todas las demás diferencias, no hay forma de que pueda obtener ningún significado conclusiones entre el precio de su almacenamiento de escritorio y el precio de almacenamiento de nivel empresarial.


115



En estos días, las unidades SAS / SATA 7.2K de 2-4 TB se utilizan para el almacenamiento masivo, por lo que parte de esto ya no se aplica universalmente. - Mircea Chirea
Las unidades @MirceaChirea 2-4TB utilizadas en el almacenamiento empresarial son NL o ML SAS y son diferentes a los discos SATA 2-4TB. El precio por GB sigue siendo muy diferente entre las dos plataformas. - MDMarra
@MDMarra, la mayoría no son mucho más diferentes que sus variantes de escritorio: aparte de SAS, tienen una mejor garantía y están confinadas en la confiabilidad. - Mircea Chirea
Se especifican para uso 24x7 donde más Las unidades SATA no lo son. También fallan con gracia y no lo harán cuelgue toda su matriz RAID. Solo los discos SATA que admiten TLER fallarán correctamente y evitarán esto. Tampoco hay discos SATA de doble puerto, mientras que el SAS de doble puerto es común y permitirá la conmutación por error transparente de los controladores. Nuevamente, si tiene un presupuesto reducido, SATA puede ser su única opción, pero hay diferencias importantes que las empresas se preocupan entre NL-SAS y SATA. - MDMarra
Backblaze dicho en su blog que las unidades empresariales no eran menos propensas a fallar que las unidades de consumo - Bert


No estoy agregando esto a la respuesta principal de CW principalmente porque es una diferencia de opinión. Siéntase libre de fusionar / editar esto si lo desea.

Con frecuencia, la razón por la que el almacenamiento "a nivel empresarial" es tan costoso podría ser que el solicitante no comprenda el requisito, pero a veces también el administrador del sistema no entiende el requisito, no puede comunicar el requisito a alguien con autoridad de compras o simplemente lo está obteniendo. ignorado por dicha autoridad.

Arreglos de almacenamiento de alto rendimiento, de alta disponibilidad y bajo mantenimiento, disponibles en el mercado. costoso. Parte del trabajo de un diseñador de sistemas es saber dónde son apropiados y dónde es apropiado un diseño diferente.

No creo que los costos relativos de los diferentes tipos de unidades de disco sean realmente relevantes para ninguna de las preguntas de ejemplo.

¿Por qué tengo que pagar 50 dólares al mes?   ¿Por gigabyte extra de almacenamiento?

Esto está claramente dirigido a un proveedor de servicios de algún tipo. Las dos posibles respuestas a mi mente son:

  1. Tiene 5 horas de disponibilidad, soporte 24/7, en Manhattan / Londres / Hong Kong. Las bandejas giratorias son solo una pequeña parte de la pila por la que estás pagando.

  2. Estás pagando demasiado. Negociar, cambiar de proveedor, o traerlo a casa.

Nuestro servidor de archivos siempre se está quedando sin espacio, ¿por qué nuestro administrador de sistemas no lanza una unidad de 1 TB extra allí?

Es casi seguro que este es un mal diseño (y probablemente por razones políticas). Los datos en ese servidor de archivos caen en algún lugar de este espectro:

  • Vale la pena almacenar los datos en una configuración de alto rendimiento, alta disponibilidad y alto costo. El tiempo de inactividad causado por quedarse sin espacio afecta su alta disponibilidad y es un error de diseño o planificación.

  • Los datos no son importantes o el rendimiento lento o el tiempo de inactividad más largo son aceptables. Discos baratos y soluciones de copia de seguridad baratas son aceptables. El tiempo de inactividad regular debido a la falta de espacio en el disco todavía parece ser una compensación extraña, ya que la mayor parte de su costo en este caso probablemente será su tiempo de administrador de sistemas y, a la larga, pasarán más tiempo solucionando problemas con el disco bajo espacio.

Tenga en cuenta que dije que esto es un espectro, y que la mayoría de los requisitos están en algún lugar entre los dos.


31



Vale la pena señalar que lo que está desde el punto de vista del usuario "quedándose sin espacio" puede estar "llenando su cuota" desde el punto de vista del administrador de sistemas. - Richard Gadsden


El costo de producir cualquier artículo está directamente relacionado con el volumen de unidades que se venderá en un ciclo de retroalimentación.

En el caso de un disco duro convencional, con vidrio oxidado y electrónica giratoria, existe una gran variación en el costo de los componentes mecánicos y electrónicos; sin embargo, han surgido 2 bandas claras de precio / calidad: empresa y productos básicos.

Sin embargo, la reducción en el volumen de ventas de una unidad empresarial tiene un alto costo en lo que obtiene por su dinero, algo que cuesta siete veces más siete veces no será mejor.

Las unidades empresariales (para una capacidad dada) son ligeramente más rápidas que las unidades de productos básicos, por ejemplo. comparando las unidades Seagate Barracuda SATA (mercancía) y Cheetah SAS (empresa):

model            Barracuda            Cheetah
capacity(Gb)     500                  450
sustained data   125                  168
   rate (Mb/s)
cache(Mb)        16                   64
annual failure   <1%                  0.44%
   rate
Price GBP        42                   275
Price USD        67                   440

Pero en un contexto empresarial, ningún administrador de sistemas sano almacenaría datos importantes en una sola unidad; el uso de múltiples unidades proporciona mayor confiabilidad y ancho de banda, y reduce la latencia de manera efectiva; cuatro de las unidades Barracuda configuradas como RAID10, serán mucho más rápidas que la única unidad Cheetah, con mucho menos riesgo de pérdida de datos en alrededor del 60% del precio.

Ciertamente, obtendrá una mejor garantía con la unidad Enterprise, y el proveedor generalmente podrá obtener una para usted el mismo día, pero probablemente podrá obtener una unidad de producto de un proveedor local más rápido que su proveedor. Mensajero fuera del disco de reemplazo. Por otro lado, es más probable que el disco de la empresa sea un reemplazo exacto de la unidad fallida.

¿Tal vez usted obtiene mucha más confiabilidad de los discos de la empresa? Mientras que las personas que fabrican y venden las unidades de disco a menudo dicen que este es el caso (Seagate es bastante tímido al respecto en su sitio web, pero incluso los números confusos que publican muestran que es menos que un factor de 2). Estudios independientes sugieren que hay ninguna diferencia significativa.

El conjunto de comandos SCSI tiene algunas ventajas técnicas sobre el conjunto de comandos ATA, especialmente en términos de permitir que el sistema operativo sepa exactamente qué está comprometido con el disco. Sin embargo, esto solo hace una diferencia efectiva en cuanto al rendimiento y la confiabilidad de un sistema de archivos. implementado en un solo disco.

Si su proveedor de servicios opera una SAN Fibre Channel, el costo por Gigabyte de almacenamiento será al menos 8 veces más alto que comprar un disco en la ferretería más cercana. Pero hay otros enfoques lo que puede reducir el costo significativamente.

Tenga en cuenta que esto nunca será más barato que comprar un disco comercial, ya que también está pagando por redundancia, energía, aire acondicionado y soporte, pero estos costos deben ser pequeños en relación con el costo de la provisión de almacenamiento.


6





Estoy de acuerdo con las otras publicaciones sobre la calidad de lo que ofrece una empresa de alojamiento. Sin embargo, recientemente renovamos nuestro contrato de alojamiento, buscamos y nadie era competitivo en cuanto al espacio de almacenamiento, ni los precios eran más bajos que nuestro contrato anterior de 3 años. Las unidades SAS han estado cayendo en precio, la estantería de discos / arrays / SANs / FC / switches ha estado cayendo, todo ha bajado de precio. ¿Pero no el almacenamiento en disco?

Un colega con mucha más experiencia señaló las tácticas. La CPU, la memoria, el precio de ancho de banda fue deslumbrante! ¡Registrate aquí! Regístrese ahora e ignore el problema de espacio en disco! No necesitarás mucho espacio en el disco. ¡Mira la CPU y la memoria!

Una vez que se comprometa con su contrato, ellos realmente lo tienen, y hacen sus ingresos en el espacio del disco. Sí, es RAID-5 y alto rendimiento, etc. pero las copias de seguridad cuestan más, la replicación externa cuesta más.

Para las empresas de hosting es un modelo de negocio. La mayoría de las empresas hacen algo similar con sus precios: reduzca este precio aquí, pero auméntelo allí para recuperar sus ingresos en otro lugar. Tienen que pagar su renta y salarios también.

Para servidores internos tienes diferentes problemas. No puede simplemente ingresar a una sala de servidores con la caja de Fedex que tiene su nuevo disco duro de 3Tb. Si ha planificado la expansión, es más fácil, pero es posible que los servidores / racks / arrays ya estén en su capacidad en términos de ranuras, E / S, tarjetas de controlador, alimentación.

Es como mirar debajo de una roca, te sorprenderás de lo que puedas encontrar.


5



El costo de los discos podría estar disminuyendo, pero la mano de obra está aumentando. CapEx no es la parte más grande de TCO. - Chris S


También es importante tener en cuenta que el almacenamiento 'local' puede costar más de lo que cree.

Como parte de un ejercicio para buscar trasladar algunos de nuestros datos 'archivados' a la nube, recientemente completé un ejercicio de fijación de precios que compara el costo del espacio disponible en el disco (en lugar de sin formato) en nuestra SAN más reciente con el costo de almacenamiento en el servicio de datos en la nube de Amazon.

Solo teniendo en cuenta el precio pagado por la SAN, incluidos los discos, asumiendo una vida útil de 5 años para el hardware SAN, y no los costos 'generales' de la gestión de nuestra sala de servidores, nuestro precio de 150 GB de almacenamiento local es de $ 31.88 por mes frente a los $ 28.41 de Amazon (suponiendo una tasa de tráfico mensual del 20% arriba y abajo).

Ahora no estoy dispuesto a apurarme y trasladar todo nuestro almacenamiento a la nube porque hay otros beneficios en tener almacenamiento local, pero creo que este tipo de ejercicio de fijación de precios es útil: Si crees que el almacenamiento en la nube es costoso, ¿cuánto cuestas? De Verdad pagando por su almacenamiento local?


5





Mi opinión sobre esta pregunta es IO simple ... un archivo que se encuentra en un disco duro de un solo producto básico sin redada y probablemente sin intercambio en caliente, y normalmente es accedido por una persona y probablemente nunca se haya respaldado. Este es un método barato y fácil de IO ...

En nuestro negocio, he usado uno de los métodos más caros de raid (raid 10) que requiere un mínimo de 4 unidades; usamos 6 ... esto nos da tasas altas de IO y tolerancia a fallas.

Esta configuración me ha ahorrado mucho dinero, y este resultado ha significado un mayor rendimiento y menos tiempo de inactividad para los usuarios finales. Para IO simple, solo hay una persona que defrauda y es probable que haya poco valor financiero relacionado con el tiempo de inactividad.

También tenemos un servidor iSCSI dedicado que se utiliza para la virtualización de Xen y que también está configurado para raid 10 ...

Cuanto más se requiera el uso y la copia de seguridad de E / S, más costoso será su implementación ... si el requerimiento de su empresa aceptará la pérdida de datos, velocidades muy lentas y no redundancia, entonces se puede hacer almacenamiento de clase empresarial en el ¡¡¡barato!!! Sólo prepárate para ser despedido ...


4