Deduplikace dat je oblíbená a oblíbená technologie úložiště, která optimalizuje kapacitu úložiště. Eliminuje nadbytečná data odstraněním duplicitních dat z datové sady a ponecháním pouze jedné kopie. Jak je znázorněno na obrázku níže. Tato technologie může výrazně snížit potřebu fyzického úložiště prostor pro uspokojení rostoucí poptávky po datových úložištích. Technologie Dedupe může přinést mnoho praktických výhod, zejména včetně následujících aspektů:
| (1) | Splňujte požadavky ROI (návratnost investic)/TCO (celkové náklady na vlastnictví); |
| (2) | Rychlý nárůst dat lze účinně kontrolovat; |
| (3) | Zvýšit efektivní úložný prostor a zlepšit efektivitu skladování; |
| (4) | Ušetřete celkové náklady na úložiště a náklady na správu; |
| (5) | Ušetřete šířku pásma přenosu dat; |
| (6) | Ušetřete náklady na provoz a údržbu, jako je prostor, napájení a chlazení. |
Technologie dedupe je široce používána v systémech zálohování a archivace dat, protože po vícenásobném zálohování dat existuje mnoho duplicitních dat, což je pro tuto technologii velmi vhodné. Ve skutečnosti lze technologii dedupe použít v mnoha situacích, včetně online dat, data v blízkosti linky a offline systémy ukládání dat.Může být implementován v souborových systémech, správcích svazků, NAS a sans.Dedupe lze také použít pro obnovu dat po havárii, přenos dat a synchronizaci, protože technologii komprese dat lze použít pro balení dat. Technologie Dedupe může pomoci mnoha aplikacím snížit úložiště dat, šetří šířku pásma sítě, zlepšuje efektivitu úložiště, zkracuje dobu zálohování a šetří náklady.
Dedupe má dvě hlavní dimenze: poměry deduplikace a výkon. Výkon deduplikace závisí na konkrétní implementační technologii, zatímco rychlost deduplikace je určena charakteristikami samotných dat a vzorů aplikací, jak je uvedeno v tabulce níže. Prodejci úložišť v současné době uvádějí různé míry deduplikace od 20:1 do 500:1.
| Vysoká míra deduplikace | Nízká míra deduplikace |
| Data vytvořená uživatelem | Data z přírodního světa |
| Nízká rychlost změny dat | Vysoká rychlost změny dat |
| Referenční data, neaktivní data | Aktivní data |
| Aplikace s nízkou rychlostí změny dat | Aplikace s vysokou rychlostí změny dat |
| Plná záloha dat | Přírůstkové zálohování dat |
| Dlouhodobé ukládání dat | Krátkodobé ukládání dat |
| Široká škála datových aplikací | Malý rozsah datových aplikací |
| Průběžné obchodní zpracování dat | Obecné obchodní zpracování dat |
| Malá segmentace dat | Segmentace velkých dat |
| Prodloužená segmentace dat | Segmentace dat s pevnou délkou |
| Vnímaný obsah dat | Obsah dat neznámý |
| Deduplikace časových dat | Deduplikace prostorových dat |
Odstranění duplicitních implementačních bodů
Při vývoji nebo aplikaci technologie Dedupe je třeba vzít v úvahu různé faktory, protože tyto faktory přímo ovlivňují její výkon a efektivitu.
| (1) | Co | Jaká data jsou odvážena? |
| (2) | Když | Kdy bude váha odstraněna? |
| (3) | Kde | Kde je eliminace váhy? |
| (4) | Jak | Jak snížit váhu? |
Technologie dedupe Key
Proces deduplikace úložného systému je obecně takový: nejprve se datový soubor rozdělí na sadu dat, pro každý blok dat se vypočítá otisk prstu a poté na základě klíčových slov pro vyhledávání otisku prstu Hash, shoda označuje data pro duplikát datové bloky, ukládá pouze číslo indexu datového bloku, jinak to znamená, že datový blok je jedinou součástí nového, úložiště datového bloku a vytváření relevantních metainformací. Fyzický soubor v úložném systému tedy odpovídá logické reprezentaci sada metadat FP. Při čtení souboru nejprve přečtěte logický soubor, poté podle sekvence FP vyjměte odpovídající datový blok z úložného systému, obnovte kopii fyzického souboru. Z výše uvedeného procesu je vidět že mezi klíčové technologie Dedupe patří především segmentace datových bloků souborů, výpočet otisků datových bloků a načítání datových bloků.
(1) Segmentace bloku dat souboru
(2) Výpočet otisku datového bloku
(3) Vyhledání bloku dat
Chcete-li najít tyto doporučené modely pro spuštění deduplikace síťových paketů:
Mylinking™ Network Packet Broker (NPB) ML-NPB-640048*10GE SFP+ plus 4*40GE/100GE QSFP28, Max 880Gbps
Mylinking™ Network Packet Broker (NPB) ML-NPB-56606*40GE/100GE QSFP28 plus 48*10GE/25GE SFP28, Max 1,8 Tb/s
Mylinking™ Network Packet Broker (NPB) ML-NPB-506048*10GE SFP+ plus 2*40GE QSFP, Max 560Gbps
Mylinking™ Network Packet Broker (NPB) ML-NPB-486048*10GE SFP+, Max 480Gbps, Function Plus
Mylinking™ Network Packet Broker (NPB) ML-NPB-481048*10GE SFP+, Max 480Gbps
Mylinking™ Network Packet Broker (NPB) ML-NPB-2410P24*10GE SFP+, Max 240Gbps, Funkce DPI
Mylinking™ Network Packet Broker (NPB) ML-NPB-6400
48*10GE SFP+ plus 4*40GE/100GE QSFP28, Max 880Gbps
Čas odeslání: 18. října 2022
