Pregunta Sistema de archivos distribuido rápidamente para grandes cantidades de datos con metadatos en la base de datos [cerrado]


Mi proyecto utiliza varias máquinas de procesamiento y una máquina de almacenamiento. Actualmente el almacenamiento está organizado con una carpeta compartida de archivos MSSQL. Cada archivo en el almacenamiento tiene algunos metadatos en la base de datos.

Las máquinas procesadoras ejecutan tareas para las que necesitaban archivos del almacenamiento y sus metadatos. Después de completar la tarea, la máquina de procesamiento vuelve a almacenar los datos resultantes. A partir de ahí, es tomada por otra máquina de procesamiento, que también genera algún archivo y lo vuelve a almacenar. Y etc.

Todo estaba bien, pero a medida que aumenta el número de máquinas de procesamiento, me encontré con un cuello de botella debido al rendimiento del disco duro de la máquina de almacenamiento.

Así que quiero máquinas de procesamiento para poner archivos en FS distribuido. para levantar la carga de las máquinas de almacenamiento, de las que pueden tomar datos entre sí, no solo de la máquina de almacenamiento.

¿Puede sugerir un servicio distribuido particular que satisfaga mis necesidades? ¿O hay otra manera de resolver este problema, sin él?

Las cantidades de datos en FS en una sola vez son como varios terabytes. (El almacenamiento puede manejar esto, pero los procesadores no pueden). La consistencia de los datos es crítica. La política de lectura y escritura es: una vez que se escribe el archivo: es constante y solo se puede eliminar, pero no se puede modificar.

Mi plataforma actual es Windows, pero estoy listo para cambiarla, si hay una solución mucho más conveniente en otra.


6
2017-08-12 11:59


origen




Respuestas: