Genom laboratuvarı, Vast Data’nın hızlı I/O’sunu hasta verileri üzerinde çalıştırıyor

Fransız genom dizileme laboratuvarı SeqOIA, hükümetin 2025 yılına kadar yılda 6.000 hasta analizi hedefini karşılamak için Vast Data’dan dört düzeyli hücre (QLC) flash tabanlı Evrensel Depolamayı devreye aldı. Aslında, bu hedefi yıl sonundan çok önce karşılama yolundaydı. ve dizi kapasitesi eklemeye gerek kalmadan depolama denetleyici kaynakları ekleyebildi.

SeqOIA bilgi sistemleri direktörü Alban Lermine, “Genom dizilimi, hastalardaki genetik olayların patolojilerini daha iyi karakterize etmek ve yeni tedaviler bulmak için tanımlanmasına yardımcı oluyor” dedi. “Örneğin, bir kanser veya nadir hastalıklar için genetik açıklamalar bulabiliriz. Ve bu analizler sayesinde doktorlar daha iyi tedaviler belirleyebiliyor veya ailede görülebilecek durumlar hakkında ailelere tavsiyelerde bulunabiliyor.”

2017 yılında, Fransız hükümeti genom dizilemede liderliği hedeflemeye karar verdi ve Médecine France Génomique 2025 programını duyurdu. Buradaki zorluk, çok yüksek verimli dizileme platformlarından oluşan bir ağ oluşturmaktı. Üç büyük Fransız sağlık araştırma kuruluşu, işin üstesinden gelmek için güçlerini birleştirdi ve teknolojik engelleri yıkmak amacıyla 2018’de SeqOIA’yı yarattı.

G/Ç istekleri altında çöken dev bir depolama kümesi

Lermine, “İlke, her genom dizisi için çok büyük hacimli veriler üzerinde birkaç analiz başlatmanız gerektiğidir” dedi.

“2018’de 400 TB’lık bir [terabyte] bilim camiasında yaygın olarak kullanılan, Lustre tarafından yönetilen depolama kümesi. Bu depolamaya, 40 Gb/sn Ethernet aracılığıyla bilgi işlem kümesindeki 2.000 işlemci çekirdeği tarafından erişildi,” diye ekledi Lermine.

“Azar azar, bilgi işlem kümesindeki yükü artırdık. Bir sıralama prosedürüyle başladık, ardından iki paralel, ardından üç. Ama dörde geldiğimizde sistem çöktü.”

SeqOIA’nın depolama kümesindeki sabit diskler artık bilgi işlem sunucularının giriş/çıkış (G/Ç) talepleriyle baş edemez. Yazma kafalarının dosyaları yazmayı bitirmesini beklerken, Luster gelen diğer verileri önbelleğe alırdı. Ancak önbelleğin büyüyecek yeri yoktu ve sahip olduğu zamanda elinden geleni yazmaya çalışması gerekiyordu. Bunun eksik yazmalara neden olduğunu söyledi Lermine, bunun da “yani, temelde bozuk dosyalarla sonuçlandık” ile sonuçlandığını söyledi.

Başlangıç ​​olarak, Lermine’nin ekibi, erişim istekleri için bant genişliğini artırmak üzere daha fazla depolama düğümü eklemeyi düşündü. “Bu iyi bir fikir miydi? Soru sorma yeteneğimiz bile yoktu” dedi Lermine. “Depolama satıcımız zaten daha fazlasını sağlayamadı, bu yüzden başka bir çözüm aramak zorunda kaldık.”

Zorluk: Verim eklemek ancak kapasiteyi artırmak

O zamana kadar 2021’in sonuydu. SeqOIA kurulmuş, tıbbi ekipmanını satın almış, BT’sini konuşlandırmış, testler gerçekleştirmiş ve veri işleme becerisini geliştirmişti. Ancak bu süre zarfında depolama, en önemlisi flaş fiyatının klasik HDD’lerden çok daha hızlı düşmesiyle gelişti.

Lermine, “Flash depolama, depolama kapasitesini artırmak zorunda kalmadan verimi artırmamıza izin verdiği için ilgimizi çekti,” dedi. SeqOIA’nın çalışma kapasitesi olarak 400 TB’a ihtiyacı vardır, ancak sonuçlar elde edildikten sonra veriler Scality Ring nesne deposunda başka bir yerde arşivlenir.

Böylece, SeqOIA’nın BT şefi tedarikçilerle buluşmak için yola çıktı. HPE, Pure Storage ve Vast Data yanıt verdi.

Lermine, “HPE karmaşık bir çözüm önerdi” dedi. “Bu arada, Pure Storage bize sabit disklerde olduğu gibi aynı sorunu verirdi. Bol miktarda bant genişliğine sahip bir çözüm sundular, ancak sınırlarına ulaşırsanız, kullanmayacağımız depolama ile eksiksiz bir dizinin tamamını eklemeniz gerekiyordu. Yalnızca Vast Data, SSD sayısını artırmadan G/Ç yönetim modülleri eklememize izin verebilir.”

Vast Data, NVMe bağlantılı QLC flash kullanan toplu depolamaya dayalı diziler sunar. QLC, nispeten ucuz olmasına rağmen, tüm flash nesiller arasında en az dayanıklı olanıdır ve en iyi sıralı G/Ç için kullanılır.

Bu sınırlamayı aşmak için Vast, trafiğin G/Ç’yi daha az, daha az rasgele kalıplara göre şekillendiren veri işleme birimleri (DPU’lar) ile sıralanmasını sağlamak için elinden gelenin en iyisini yapar.

Hata yok: Halihazırda elde edilmiş bir hedef

Tüm toplantılar Kasım 2021’de gerçekleşti. 30 günden kısa bir süre sonra SeqOIA, 500 TB’lık Vast Data Evrensel Depolama dizisini dağıtmayı kabul etti.

Satın alma, aylık abonelikler, kiralama veya benzeri şeyler olmaksızın doğrudan gerçekleşti; bu, genellikle tedarikçiler tarafından zorlanır, ancak yıllık olarak değişebilen bütçelerle çalışan Avrupa kamu sektörü kuruluşlarına her zaman uymaz.

Lermine, “Satın alma fiyatına beş yıllık bir destek sözleşmesi de dahildi ve tek umursadığımız da bu,” dedi.

Ancak tek tatmin noktası bu değildi. Lermine, “Yalnızca bozuk dosyalar ortadan kalkmakla kalmadı, aynı zamanda analiz süreleri öncekine göre %25 oranında azaldı” diye ekledi.

“Hükümet tarafından belirlenen hedef, 2025 yılına kadar yılda 6.000 hasta kaydını işlemek. Bu yıl, yani 2022 henüz bitmedi ve şimdiden 5.500 hasta kaydını işledik.”

Read Previous

90.000’e kadar e-postayı silen NHS tröstü, kasıtlı olarak kanıtları gizlemekten kurtuldu

Read Next

Teknolojide çeşitlilik 2022: Joel Gujral, Myndup

Leave a Reply

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

organik hit - iş fikirleri -