يعد إلغاء تكرار البيانات تقنية تخزين شائعة وشائعة تعمل على تحسين سعة التخزين. فهي تتخلص من البيانات الزائدة عن الحاجة عن طريق إزالة البيانات المكررة من مجموعة البيانات، مع ترك نسخة واحدة فقط. كما هو موضح في الشكل أدناه. يمكن لهذه التقنية أن تقلل بشكل كبير من الحاجة إلى التخزين الفعلي مساحة لتلبية الطلب المتزايد على تخزين البيانات. يمكن أن تحقق تقنية Dedupe العديد من الفوائد العملية، بما في ذلك الجوانب التالية بشكل رئيسي:
| (1) | تلبية متطلبات ROI (عائد الاستثمار)/TCO (التكلفة الإجمالية للملكية)؛ |
| (2) | يمكن التحكم بفعالية في النمو السريع للبيانات؛ |
| (3) | زيادة مساحة التخزين الفعالة وتحسين كفاءة التخزين؛ |
| (4) | حفظ إجمالي تكلفة التخزين وتكلفة الإدارة؛ |
| (5) | حفظ عرض النطاق الترددي للشبكة لنقل البيانات؛ |
| (6) | توفير تكاليف التشغيل والصيانة مثل المساحة وإمدادات الطاقة والتبريد. |
تُستخدم تقنية Dedupe على نطاق واسع في أنظمة النسخ الاحتياطي للبيانات وأرشفتها، نظرًا لوجود الكثير من البيانات المكررة بعد النسخ الاحتياطية المتعددة للبيانات، وهو مناسب جدًا لهذه التقنية. في الواقع، يمكن استخدام تقنية dedupe في العديد من المواقف، بما في ذلك البيانات عبر الإنترنت، البيانات القريبة من الخط، وأنظمة تخزين البيانات غير المتصلة بالإنترنت.يمكن تنفيذه في أنظمة الملفات، ومديري وحدات التخزين، وNAS، وsans. ويمكن أيضًا استخدام Dedupe لاستعادة البيانات بعد الكوارث، ونقل البيانات ومزامنتها، حيث يمكن استخدام تقنية ضغط البيانات لتعبئة البيانات. يمكن أن تساعد تقنية Dedupe العديد من التطبيقات في تقليل تخزين البيانات، وتوفير النطاق الترددي للشبكة، وتحسين كفاءة التخزين، وتقليل نافذة النسخ الاحتياطي، وتوفير التكاليف.
يحتوي Dedupe على بعدين رئيسيين: نسب إلغاء التكرار والأداء. ويعتمد أداء Dedupe على تقنية التنفيذ المحددة، بينما يتم تحديد معدل Dedupe من خلال خصائص البيانات نفسها وأنماط التطبيق، كما هو موضح في الجدول أدناه. يبلغ بائعو وحدات التخزين حاليًا عن معدلات إلغاء البيانات المكررة تتراوح بين من 20:1 إلى 500:1.
| معدل إلغاء البيانات المكررة مرتفع | معدل إلغاء البيانات المكررة منخفض |
| البيانات التي أنشأها المستخدم | بيانات من العالم الطبيعي |
| انخفاض معدل التغير في البيانات | ارتفاع معدل التغير في البيانات |
| البيانات المرجعية، البيانات غير النشطة | البيانات النشطة |
| تطبيق انخفاض معدل تغيير البيانات | تطبيق معدل تغيير البيانات العالي |
| النسخ الاحتياطي الكامل للبيانات | النسخ الاحتياطي للبيانات المتزايدة |
| تخزين البيانات على المدى الطويل | تخزين البيانات على المدى القصير |
| مجموعة واسعة من تطبيقات البيانات | مجموعة صغيرة من تطبيقات البيانات |
| المعالجة المستمرة لأعمال البيانات | معالجة أعمال البيانات العامة |
| تجزئة البيانات الصغيرة | تجزئة البيانات الكبيرة |
| إطالة تجزئة البيانات | تجزئة البيانات ذات الطول الثابت |
| محتوى البيانات المدركة | محتوى البيانات غير معروف |
| إلغاء البيانات المكررة في الوقت | إلغاء البيانات المكررة المكانية |
إلغاء نقاط التنفيذ
يجب مراعاة عوامل مختلفة عند تطوير أو تطبيق تقنية Dedupe، حيث تؤثر هذه العوامل بشكل مباشر على أدائها وفعاليتها.
| (1) | ماذا | ما هي البيانات التي تم تخفيض وزنها؟ |
| (2) | متى | متى سيتم التخلص من الوزن؟ |
| (3) | أين | أين يتم التخلص من الوزن؟ |
| (4) | كيف | كيفية تقليل الوزن؟ |
تقنية إلغاء البيانات الرئيسية
عملية إلغاء البيانات المكررة لنظام التخزين بشكل عام هي كما يلي: أولاً وقبل كل شيء، يتم تقسيم ملف البيانات إلى مجموعة من البيانات، لكل كتلة من البيانات لحساب بصمة الإصبع، ثم بناءً على الكلمات الرئيسية للبحث عن تجزئة بصمة الإصبع، تشير المطابقة إلى البيانات الخاصة بالنسخة المكررة كتل البيانات، تقوم فقط بتخزين رقم فهرس كتلة البيانات، وإلا فهذا يعني أن كتلة البيانات هي الجزء الوحيد من كتلة البيانات الجديدة التي يتم تخزينها وإنشاء معلومات التعريف ذات الصلة. وبالتالي، يتوافق الملف الفعلي في نظام التخزين مع التمثيل المنطقي لـ مجموعة من البيانات الوصفية FP. عند قراءة الملف، قم أولاً بقراءة الملف المنطقي، ثم وفقًا لتسلسل FP، قم بإخراج كتلة البيانات المقابلة من نظام التخزين، واستعادة نسخة الملف الفعلي. ويمكن رؤيته من العملية المذكورة أعلاه أن التقنيات الرئيسية لـ Dedupe تتضمن بشكل أساسي تجزئة كتلة بيانات الملف وحساب بصمة كتلة البيانات واسترجاع كتلة البيانات.
(1) تجزئة كتلة بيانات الملف
(2) حساب بصمة كتلة البيانات
(3) استرجاع كتلة البيانات
للعثور على هذه النماذج الموصى بها لبدء إلغاء البيانات المكررة لحزمة الشبكة:
Mylinking™ Network Packet Broker(NPB) ML-NPB-640048*10GE SFP+ بالإضافة إلى 4*40GE/100GE QSFP28، بحد أقصى 880 جيجابت في الثانية
Mylinking™ Network Packet Broker(NPB) ML-NPB-56606*40GE/100GE QSFP28 بالإضافة إلى 48*10GE/25GE SFP28، بحد أقصى 1.8 تيرابايت في الثانية
Mylinking™ Network Packet Broker(NPB) ML-NPB-506048*10GE SFP+ بالإضافة إلى 2*40GE QSFP، بحد أقصى 560 جيجابت في الثانية
Mylinking™ Network Packet Broker(NPB) ML-NPB-486048*10GE SFP+، بحد أقصى 480 جيجابت في الثانية، وظيفة إضافية
Mylinking™ Network Packet Broker(NPB) ML-NPB-481048*10GE SFP+، بحد أقصى 480 جيجابت في الثانية
Mylinking™ Network Packet Broker(NPB) ML-NPB-2410P24*10GE SFP+، بحد أقصى 240 جيجابت في الثانية، وظيفة DPI
Mylinking™ Network Packet Broker(NPB) ML-NPB-6400
48*10GE SFP+ بالإضافة إلى 4*40GE/100GE QSFP28، بحد أقصى 880 جيجابت في الثانية
وقت النشر: 18 أكتوبر 2022
