Gegevensdeduplicatie is een populaire en populaire opslagtechnologie die de opslagcapaciteit optimaliseert. Het elimineert overbodige gegevens door dubbele gegevens uit de dataset te verwijderen, waardoor er slechts één kopie overblijft. Zoals weergegeven in de onderstaande afbeelding. Deze technologie kan de behoefte aan fysieke opslag aanzienlijk verminderen ruimte om te voldoen aan de groeiende vraag naar gegevensopslag.Dedupe-technologie kan veel praktische voordelen opleveren, met name de volgende aspecten:
| (1) | Voldoen aan ROI (Return On Investment)/TCO (Total Cost of Ownership) vereisten; |
| (2) | De snelle groei van data kan effectief worden beheerst; |
| (3) | Vergroot de effectieve opslagruimte en verbeter de opslagefficiëntie; |
| (4) | Bespaar de totale opslagkosten en beheerkosten; |
| (5) | Bewaar de netwerkbandbreedte van gegevensoverdracht; |
| (6) | Bespaar op bedrijfs- en onderhoudskosten zoals ruimte, voeding en koeling. |
Dedupe-technologie wordt veel gebruikt in gegevensback-up- en archiveringssystemen, omdat er veel dubbele gegevens zijn na meerdere back-ups van gegevens, wat zeer geschikt is voor deze technologie. In feite kan dedupe-technologie in veel situaties worden gebruikt, waaronder online gegevens, near-line gegevens en offline gegevensopslagsystemen.Het kan worden geïmplementeerd in bestandssystemen, volumebeheerders, NAS en sans.Dedupe kan ook worden gebruikt voor gegevensherstel, gegevensoverdracht en synchronisatie, aangezien een technologie voor gegevenscompressie kan worden gebruikt voor gegevensverpakking.Dedupe-technologie kan veel toepassingen helpen verminderen gegevensopslag, bespaar netwerkbandbreedte, verbeter de opslagefficiëntie, verkort het back-upvenster en bespaar kosten.
Deduplicatie heeft twee hoofddimensies: deduplicatieverhoudingen en prestaties. Dedupe-prestaties zijn afhankelijk van de specifieke implementatietechnologie, terwijl de deduplicatiesnelheid wordt bepaald door de kenmerken van de gegevens zelf en toepassingspatronen, zoals weergegeven in de onderstaande tabel. Opslagleveranciers rapporteren momenteel deduplicatiepercentages variërend van van 20:1 tot 500:1.
| Hoog deduplicatiepercentage | Laag deduplicatiepercentage |
| Gegevens aangemaakt door de gebruiker | Gegevens uit de natuur |
| Gegevens lage veranderingssnelheid | Gegevens hoge mate van verandering |
| Referentiegegevens, inactieve gegevens | Actieve gegevens |
| Applicatie met lage gegevenswisselsnelheid | Toepassing met hoge gegevenswisselsnelheid |
| Volledige gegevensback-up | Incrementele back-up van gegevens |
| Gegevens langdurige opslag | Gegevens kortetermijnopslag |
| Breed scala aan datatoepassingen | Kleine reeks gegevenstoepassingen |
| Continue zakelijke gegevensverwerking | Algemene gegevens zakelijke verwerking |
| Segmentatie van kleine gegevens | Segmentatie van big data |
| Langwerpige gegevenssegmentatie | Gegevenssegmentatie met vaste lengte |
| Data-inhoud waargenomen | Gegevensinhoud onbekend |
| Ontdubbeling van tijdgegevens | Ontdubbeling van ruimtelijke gegevens |
Implementatiepunten ontdubbelen
Bij het ontwikkelen of toepassen van Dedupe-technologie moet rekening worden gehouden met verschillende factoren, aangezien deze factoren rechtstreeks van invloed zijn op de prestaties en effectiviteit ervan.
| (1) | Wat | Welke gegevens worden ongewogen? |
| (2) | Wanneer | Wanneer wordt het gewicht geëlimineerd? |
| (3) | Waar | Waar is de eliminatie van het gewicht? |
| (4) | Hoe | Hoe het gewicht te verminderen? |
Sleuteltechnologie ontdubbelen
Het ontdubbelingsproces van het opslagsysteem in het algemeen is dit: eerst wordt het gegevensbestand verdeeld in een gegevensset, voor elk gegevensblok wordt de vingerafdruk berekend, en vervolgens op basis van vingerafdruk Hash-zoekwoorden, overeenkomend geeft de gegevens voor het duplicaat aan datablokken, slaat alleen het indexnummer van het datablok op, anders betekent dit dat het datablok het enige deel is van een nieuw, opslag van datablok en relevante meta-informatie creëert. Een fysiek bestand in het opslagsysteem komt dus overeen met een logische weergave van een set FP-metadata. Lees bij het lezen van het bestand eerst het logische bestand en haal vervolgens volgens de FP-reeks het overeenkomstige gegevensblok uit het opslagsysteem, herstel de kopie van het fysieke bestand. Dit blijkt uit het bovenstaande proces dat de sleuteltechnologieën van Dedupe voornamelijk segmentatie van bestandsgegevensblokken, berekening van gegevensblokvingerafdrukken en het ophalen van gegevensblokken omvatten.
(1) Segmentatie van bestandsgegevensblokken
(2) Berekening van de vingerafdruk van het gegevensblok
(3) Ophalen van gegevensblokken
Om deze aanbevolen modellen te vinden om uw Network Packet Deduplication te starten:
Mylinking™ Network Packet Broker (NPB) ML-NPB-640048*10GE SFP+ plus 4*40GE/100GE QSFP28, max. 880Gbps
Mylinking™ Network Packet Broker (NPB) ML-NPB-56606*40GE/100GE QSFP28 plus 48*10GE/25GE SFP28, max. 1,8 Tbps
Mylinking™ Network Packet Broker (NPB) ML-NPB-506048*10GE SFP+ plus 2*40GE QSFP, max. 560Gbps
Mylinking™ Network Packet Broker (NPB) ML-NPB-486048*10GE SFP+, Max 480Gbps, Functie Plus
Mylinking™ Network Packet Broker(NPB) ML-NPB-481048*10GE SFP+, maximaal 480 Gbps
Mylinking™ Network Packet Broker(NPB) ML-NPB-2410P24*10GE SFP+, Max 240Gbps, DPI-functie
Mylinking™ Network Packet Broker (NPB) ML-NPB-6400
48*10GE SFP+ plus 4*40GE/100GE QSFP28, max. 880Gbps
Posttijd: 18 oktober 2022
