Pregunta Obtenga un volumen de ebs de AWS EC2 para realizar más de 20,000 IOPS


La compañía para la que trabajo actualmente está pasando por una migración de AWS, y para el 99% de los servicios, su hardware básico hace el trabajo bien.

A excepción de la base de datos de producción, actualmente nos ubicamos en 60,000 IOPS solo para cumplir con las solicitudes, y se espera que haya mucha más acción este año.

Hemos analizado el uso de SSD de empresa en EC2, pero el límite de IOPS es de 20,000, lo que es bastante terrible, considerando que puedo obtener un SSD de 240GB que funciona a 80,000 IOPS por aproximadamente € 200. http://www.techradar.com/reviews/pc-mac/pc-components/storage/disk-drives-hdd-ssd/intel-ssd-520-series-240gb-1060850/review

¿Alguna idea es cómo puedo superar este límite? ¿Es posible un clúster / RAID de volúmenes ebs?

Gracias, Ben


5
2018-03-01 14:44


origen


¿Has mirado RDS con almacenamiento aprovisionado? "Usted especifica la cantidad de almacenamiento que desea asignar y luego especifica la cantidad de IOPS dedicadas que desea". - jscott
Hola, seguro que tengo, el límite para una base de datos de SQL Server es de 20,000 IOPS: Rango de IOPS Provisional Rango de Rango de Almacenamiento de IOPS a Almacenamiento (GB) Relación MySQL 1000 - 30,000 IOPS 100 GB - 6 TB 3: 1 - 10: 1 SQL Server Express y Web 1000 - 20,000 IOPS 100 GB - 4 TB 3: 1 - 10: 1 SQL Server Standard y Enterprise 1000 - 20,000 IOPS 200 GB - 4 TB 3: 1 - 10: 1 - Ben Coughlan


Respuestas:


RAID de volúmenes de EBS es ciertamente posible. Amazon incluso tiene documentación sobre ello: http://docs.aws.amazon.com/AWSEC2/latest/WindowsGuide/raid-config.html

Se presentan al sistema operativo como dispositivos simples, por lo que puede utilizar el software RAID del sistema operativo en ellos. He hecho esto con Linux 'mdadm' software-RAID sin dificultad.

Asegúrese de que el tipo de instancia que elija pueda manejar la alta E / S y la red, y por supuesto considere los modos de falla.


4
2018-03-01 15:11



Leyenda, gracias! - Ben Coughlan


Que tales tasas de IO en un solo volumen de EBS simplemente no son posibles, al menos no ahora. Como se mencionó, los volúmenes RAID de EBS deben ajustarse a sus necesidades, tanto GP2 como PIOPS, pero aún se aplicará un límite superior por instancia de 65K IOPS.

http://docs.aws.amazon.com/AWSEC2/latest/UserGuide/EBSVolumeTypes.html

Si necesita tasas de IO aún más altas, solo las instancias con el almacén de instancias de SSD le otorgarán ese poder. Hablando sobre el límite SUPERIOR para este caso de uso, Amazon acaba de lanzar la nueva familia I3, con instancias que ofrecen hasta ocho unidades de disco SSD NVMe de 1.9 TB de alto rendimiento, que le otorgan una asombrosa cantidad de 3.3 millones de IOPS y 16 GB / s de ancho de banda de disco.

Desafortunadamente para su caso de uso, el almacenamiento de instancias puede ser demasiado riesgoso para una carga de trabajo transaccional de SQL, pero si IO es un problema crítico para el desarrollo de su negocio, tal vez debería considerar anular ese riesgo al implementar políticas extensas de respaldo y recuperación de desastres, al menos hasta que Puede permitirse una evolución arquitectónica que se amplíe mejor.


2
2018-03-08 20:30



Sin embargo, gracias, realmente, 80,000 IPOS para el almacenamiento de ETL es una locura. Pondré mejor indexación y despliegue de particiones basadas en el tiempo para ver cuántos IOPS realmente necesitamos. - Ben Coughlan