A hálózati archiválás nehézségei nőnek: a Wayback Machine és a Wikimedia hiányzik a merevlemez-területből

Adatmegtartási válság: a tárolók áremelkedése hogyan akadályozza meg a legnagyobb archiválási projekteket

A tárolók egyre drágábbak és ritkábbak, ami bonyolítja azoknak az intézményeknek a munkáját, amelyek naponta hatalmas mennyiségű információt mentenek el az internetről.

1. Miért nőnek az árak
* A merevlemezek (HDD) most háromszor drágábbak, mint korábban.
* A nagyvállalatok és felhőszolgáltatók megnövelt kereslete arra késztette a gyártókat, hogy csökkentsék a szállítást, ami hiányhoz vezetett.

2. Hogyan érinti az Internet Archive
MutatóÉrtékTárolókapacitás~210 PBát Naponta áramló adatmennyiség (Wayback Machine)~100 TBát
* A mesterséges intelligencia növeli a terhelést: a modellek hatalmas adatbázisokon tanulnak, amelyeket gyakran az archívumokból vesznek.
* Az ideális tárolók – 28–30 TB HDD – szinte nem találhatók meg a piacon vagy túl magas áron vannak.
* Az intézménynek szponzorokat kell keresnie és csak tanácsot kap a közösségtől.

3. A Wikimedia problémái
* A platformon több mint 65 millió cikk van – ez nagy számítási erőforrásokat és gondosan megosztott költségvetést igényel.
* Nehézségek merülnek fel a következő területeken:
* Memória- és lemezbeszerzés;
* Szerverek szállítása;
* Jövőbeli megrendelések tervezése.

4. Az archiválás bonyolultsága
* A nagy nyelvi modellek a mesterséges intelligencia hatalmas adatbázisokat használnak, amelyeket néha illegálisan szereznek be.
* A weboldalak tulajdonosai blokkolják hozzáférésüket, nem különítve meg az „érdekelt feleket” és a „jóhiszemű szolgáltatásokat”, amelyek adatokat gyűjtenek oktatási célokra.
* Ennek eredményeként:
* A kis lelkesedők csökkenteni vagy felfüggeszteni kényszerülnek;
* Várakozás az árak stabilizálódására.

Összegzés
Az HDD költségének növekedése és hiánya komoly akadályokat teremt a nonprofit archívumok számára. Új finanszírozási források és megfizethetőbb technológiák nélkül az internet történetének megőrzése szinte lehetetlenné válhat.