Die Datendeduplizierung ist eine beliebte und beliebte Speichertechnologie, die die Speicherkapazität optimiert. Sie eliminiert redundante Daten, indem doppelte Daten aus dem Datensatz entfernt werden, sodass nur eine Kopie übrig bleibt. Wie in der folgenden Abbildung dargestellt. Diese Technologie kann den Bedarf an physischer Speicherung erheblich reduzieren Speicherplatz, um der wachsenden Nachfrage nach Datenspeicherung gerecht zu werden. Die Deduplizierungstechnologie kann viele praktische Vorteile bringen, darunter vor allem die folgenden Aspekte:
| (1) | Erfüllen Sie die ROI(Return On Investment)/TCO(Total Cost of Ownership)-Anforderungen; |
| (2) | Das schnelle Datenwachstum kann effektiv kontrolliert werden; |
| (3) | Erhöhen Sie den effektiven Speicherplatz und verbessern Sie die Speichereffizienz; |
| (4) | Sparen Sie die gesamten Speicher- und Verwaltungskosten; |
| (5) | Speichern Sie die Netzwerkbandbreite der Datenübertragung; |
| (6) | Sparen Sie Betriebs- und Wartungskosten wie Platz, Stromversorgung und Kühlung. |
Die Deduplizierungstechnologie wird häufig in Datensicherungs- und Archivierungssystemen verwendet, da nach mehreren Datensicherungen viele doppelte Daten vorhanden sind, was für diese Technologie sehr geeignet ist. Tatsächlich kann die Deduplizierungstechnologie in vielen Situationen verwendet werden, einschließlich Online-Daten. Nearline-Daten und Offline-Datenspeichersysteme.Es kann in Dateisystemen, Volume-Managern, NAS und Sans implementiert werden. Deduplizierung kann auch für Daten-Disaster-Recovery, Datenübertragung und -synchronisierung verwendet werden, da eine Datenkomprimierungstechnologie für die Datenpaketierung verwendet werden kann. Die Deduplizierungstechnologie kann vielen Anwendungen helfen, den Datenverkehr zu reduzieren Datenspeicherung, Einsparung von Netzwerkbandbreite, Verbesserung der Speichereffizienz, Reduzierung des Sicherungsfensters und Einsparung von Kosten.
Deduplizierung hat zwei Hauptdimensionen: Deduplizierungsverhältnisse und Leistung. Die Deduplizierungsleistung hängt von der spezifischen Implementierungstechnologie ab, während die Deduplizierungsrate von den Eigenschaften der Daten selbst und den Anwendungsmustern bestimmt wird, wie in der folgenden Tabelle dargestellt. Speicheranbieter berichten derzeit von unterschiedlichen Deduplizierungsraten von 20:1 bis 500:1.
| Hohe Deduplizierungsrate | Niedrige Deduplizierungsrate |
| Vom Benutzer erstellte Daten | Daten aus der Natur |
| Daten geringe Änderungsrate | Daten hohe Änderungsrate |
| Referenzdaten, inaktive Daten | Aktive Daten |
| Anwendung mit niedriger Datenänderungsrate | Anwendung mit hoher Datenänderungsrate |
| Vollständige Datensicherung | Inkrementelle Datensicherung |
| Langzeitspeicherung von Daten | Kurzfristige Datenspeicherung |
| Breites Spektrum an Datenanwendungen | Kleine Auswahl an Datenanwendungen |
| Kontinuierliche Geschäftsdatenverarbeitung | Allgemeine Datenverarbeitung |
| Kleine Datensegmentierung | Big-Data-Segmentierung |
| Längere Datensegmentierung | Datensegmentierung mit fester Länge |
| Dateninhalte wahrgenommen | Dateninhalt unbekannt |
| Zeitdatendeduplizierung | Räumliche Datendeduplizierung |
Implementierungspunkte deduplizieren
Bei der Entwicklung oder Anwendung der Deduplizierungstechnologie sollten verschiedene Faktoren berücksichtigt werden, da diese Faktoren ihre Leistung und Effektivität direkt beeinflussen.
| (1) | Was | Welche Daten werden entgewichtet? |
| (2) | Wenn | Wann wird das Gewicht eliminiert? |
| (3) | Wo | Wo ist die Gewichtsabnahme? |
| (4) | Wie | Wie kann man das Gewicht reduzieren? |
Schlüsseltechnologie deduplizieren
Der Deduplizierungsprozess des Speichersystems im Allgemeinen ist wie folgt: Zunächst wird die Datendatei in einen Datensatz unterteilt, um für jeden Datenblock den Fingerabdruck zu berechnen, und dann basierend auf den Fingerabdruck-Hash-Suchschlüsselwörtern, der Abgleich zeigt die Daten für das Duplikat an Datenblöcke, speichert nur die Indexnummer des Datenblocks, andernfalls bedeutet dies, dass der Datenblock das einzige Stück eines neuen, gespeicherten Datenblocks ist und relevante Metainformationen erstellt. Daher entspricht eine physische Datei im Speichersystem einer logischen Darstellung von a Satz von FP-Metadaten. Lesen Sie beim Lesen der Datei zuerst die logische Datei, nehmen Sie dann gemäß der FP-Sequenz den entsprechenden Datenblock aus dem Speichersystem und stellen Sie die Kopie der physischen Datei wieder her. Dies ist aus dem obigen Prozess ersichtlich dass die Schlüsseltechnologien von Dedupe hauptsächlich Dateidatenblocksegmentierung, Datenblock-Fingerabdruckberechnung und Datenblockabruf umfassen.
(1) Segmentierung von Dateidatenblöcken
(2) Datenblock-Fingerprint-Berechnung
(3) Datenblockabruf
So finden Sie diese empfohlenen Modelle zum Starten Ihrer Netzwerkpaket-Deduplizierung:
Mylinking™ Network Packet Broker (NPB) ML-NPB-640048*10GE SFP+ plus 4*40GE/100GE QSFP28, max. 880Gbps
Mylinking™ Network Packet Broker (NPB) ML-NPB-56606*40GE/100GE QSFP28 plus 48*10GE/25GE SFP28, max. 1,8 Tbit/s
Mylinking™ Network Packet Broker (NPB) ML-NPB-506048*10GE SFP+ plus 2*40GE QSFP, max. 560Gbps
Mylinking™ Network Packet Broker (NPB) ML-NPB-486048*10GE SFP+, max. 480 Gbit/s, Function Plus
Mylinking™ Network Packet Broker (NPB) ML-NPB-481048*10GE SFP+, max. 480 Gbit/s
Mylinking™ Network Packet Broker (NPB) ML-NPB-2410P24*10GE SFP+, max. 240 Gbit/s, DPI-Funktion
Mylinking™ Network Packet Broker (NPB) ML-NPB-6400
48*10GE SFP+ plus 4*40GE/100GE QSFP28, max. 880Gbps
Postzeit: 18. Oktober 2022
