Hur lagrar genomsekvenseringscenter sådana enorma mängder data?

Genomisk sekvensering har snabbt gått från något som bara är möjligt i skalan av ett nationellt forskningsprojekt till något som kan utföras snabbt och till och med billigt (se Är det verkligen bara 1 000 $ att sekvensera ett genom? ). Mängden DNA som analyseras idag är häpnadsväckande – och det är också datalagringsbehoven .

gigabyte

Att avkoda alla sex miljarder baser eller bokstäver i det mänskliga genomet är inte en enkel uppgift. Gensekvenseringsutrustning läser relativt små bitar av DNA åt gången och samlar gradvis ihop tillräckligt med överlappande information för att bygga en fullständig avläsning av genomet. Den första omgången av datafångst fångar stora mängder rå information, motsvarande miljontals råa bilder, och genererar terabyte med data.

Under de första dagarna av sekvensering behölls all denna rådata, men nyare utrustning dumpar den råa bilddatan efter bearbetning och genererar en komprimerad fil som representerar genomet i ungefär 100 gigabyte. Den filen innehåller betydande översampling av arvsmassan – ofta med en faktor på minst 30 – för att säkerställa att det finns tillräckligt med tillförlitlig information, säger Ilya Chorny, marknadschef vid företagsinformatikenheten hos Illumina, en ledande tillverkare av gensekvenseringsutrustning .

En sorts avskalad precision på ungefär en gigabyte kan användas i vissa fall, men det ger en lägre grad av tilltro till noggrannheten. Michael Schatz, docent i kvantitativ biologi vid Cold Spring Harbor Laboratory, säger att 100 gigabyte är ett bra riktmärke för att projicera lagringskraven för varje enskilt mänskligt genom under det kommande decenniet.

Med tanke på den låga kostnaden för datalagring kan det tyckas som om det snabbt växande behovet av det inte borde vara ett problem för genomiska centra. Tänk på att en fyra-terabyte-enhet designad för att vara tillförlitlig nog för företag kan köra så lite som $130. Fyra terabyte är 4 000 gigabyte, eller tillräckligt för att rymma 40 genom, vilket innebär att var och en skulle använda cirka 3 USD lagringskapacitet plus lite extra för redundant offline backup.

Men många institutioner genererar nu hundratals terabyte data i månaden och behöver lagra dem i en form som är lättillgänglig över hela världen. Illumina erbjuder en sådan molnlagringstjänst, men konkurrensen ökar. I slutet av 2014 började Google Genomics erbjuda att lagra genomisk data för 2,2 cent per gigabyte per månad, vilket ger 26 USD per år för 100 gigabyte. Amazon Web Services erbjuder också genomiktjänster. Den publicerar inte en offentlig prislista; dess standardlagringsavgifter skulle vara cirka 35 USD per år för 100 gigabyte.

Framtida chock

Datakraven kommer att bli ännu mer intensiva. Medan DNA som finns i varje cell ursprungligen sågs som en konsekvent ritning för hela varelsen, är det verkligen inte sant, säger Schatz. Genetisk forskning har funnit en stor variation mellan olika celler i samma person eller annan organism. Det kan innebära att mer än en instans av en persons genom kommer att behöva lagras. Dessa ytterligare data kan lämpa sig för betydande komprimering, eftersom endast skillnaderna mellan DNA i olika celler kan behöva lagras snarare än genomet som helhet. Men komprimering ökar beräkningsbördan när data behöver nås och analyseras; om lagring är billigare än de beräkningar som krävs kan det vara meningsfullt att hålla data tillgänglig på ett mindre effektivt sätt.

Schatz och nio kollegor vid University of Illinois i Urbana-Champaign publicerade en artikel i juli som försökte få grepp om de kommande lagringskraven för sekvensering. När tekniken blir bättre och billigare, uppskattar de, kommer någonstans mellan 100 miljoner och två miljarder mänskliga genom att lagras till 2025. Denna tillväxt överstiger takten i datakraven för andra massiva och växande lagringsanvändare – inklusive YouTube i synnerhet, och astronomi som en hel.

Tack till Nidhan Biswas för denna fråga. Om du har en, skicka den till [email protected]

Dölj