Uwaga: Poniższy artykuł pomoże Ci w: Korzyści z deduplikacji danych i przypadki użycia w biznesie
Spis treści:
- Metody deduplikacji
- Deduplikacja podczas tworzenia kopii zapasowej
- Zalety i wady
- Przypadki użycia w biznesie
- Wniosek
Wiele firm jest zmuszonych do wykorzystywania w swojej pracy serwera plików. Można go uznać za jeden z najbardziej nieefektywnych, ponieważ oprócz niezbędnych danych taki serwer często zawiera ogromną ilość „niepotrzebnych informacji”: duplikaty plików, stare kopie zapasowe itp. Obecność takich plików nie zależy od serwer, ale po drodze struktura pamięci jest zorganizowana.
Na przykład bardzo często w bazie danych przechowywane są szablony plików różniące się kilkoma bitami informacji. W efekcie ilość wykorzystywanych danych stale rośnie, co zwiększa zapotrzebowanie na dodatkowe urządzenia do przechowywania kopii zapasowych.
Sposobem na poradzenie sobie z tym problemem jest postępowanie deduplikacja danych. Procedura eliminuje zbędne kopie i zmniejsza zapotrzebowanie na miejsce do przechowywania. W rezultacie pojemność pamięci masowej jest zoptymalizowana i można uniknąć dodatkowych urządzeń.
Technologia pozwala pozbyć się wielu kopii plików i zapisać tylko jedną jednostkę pliku na nośniku pamięci. Jednak, aby taka procedura była skuteczna i naprawdę pomogła wyeliminować wszystkie kopie, trzeba będzie wybrać odpowiedni poziom szczegółowości.
Deduplikację danych można przeprowadzić na kilku poziomach:
- bajty;
- oddzielne pliki;
- Bloki.
Każde z podejść ma swoje cechy i zalety, które należy wziąć pod uwagę przy wyborze rozwiązania.
Poziom bloku
Korzystanie z bloków jest najpopularniejszą opcją. W skrócie deduplikacja danych na tym poziomie to analiza plików, po której zapisywane są tylko niepowtarzalne informacje dla pojedynczego bloku. Blok to logiczna jednostka informacji o określonym rozmiarze. Ponadto rozmiar tej jednostki może się różnić w zależności od zadań.
Ważną cechą deduplikacji na tym poziomie jest wykorzystanie tzw haszowanie. Dzięki temu możliwe jest utworzenie i przechowywanie we wspólnej bazie danych wymaganego podpisu, który oznacza blok danych.
Poziom pliku
Kolejnym możliwym poziomem deduplikacji jest tzw poziom plików. W takim przypadku późniejszy plik jest porównywany z wcześniejszym. W przypadku znalezienia unikalnej informacji jest ona zapisywana. Jeśli nowy plik powiela poprzedni, wyświetlane jest tylko łącze do oryginalnych informacji.
Oznacza to, że w rzeczywistości oryginalny plik jest zapisany, a wszystkie kolejne kopie mają wskaźnik do informacji. Implementacja tej opcji deduplikacji jest dość prosta. Zwykle podczas przetwarzania danych nie występuje spadek wydajności serwera. Skuteczność zabiegu jest jednak mniejsza niż w przypadku podejścia blokowego.
Poziom bajtów
Trzecim możliwym sposobem deduplikacji danych jest osobny proces na serwerze poziom bajtów. Zasada przeprowadzenia tej opcji jest podobna do metody blokowej, ale nowe i stare pliki są porównywane bajtami. To właśnie takie podejście do deduplikacji danych pozwala całkowicie pozbyć się duplikatów. Ale są pewne wady: procedura wykorzystuje poważną pojemność serwera, więc samo urządzenie ma zwiększone wymagania.
Procedura usuwania duplikatów jest często wykonywana podczas zapisywania kopii zapasowej. Ponadto proces może różnić się miejscem wykonania, źródłem informacji (klient) oraz sposobem przechowywania (wykorzystywany serwer).
Klient-serwer
Jest to opcja łączona, w której zdarzenie może być wykonane zarówno na kliencie, jak i na samym serwerze. Przed wysłaniem informacji na serwer specjalne oprogramowanie próbuje ustalić, jakie informacje zostały już zapisane. Zwykle stosowana jest deduplikacja typu blokowego. Hash jest obliczany dla pojedynczego bloku informacji, a lista kluczy hash jest wysyłana do serwera. Na poziomie serwera następuje porównanie kluczy, po czym klient otrzymuje niezbędne bloki danych. Korzystanie z tego rozwiązania zmniejsza ogólne obciążenie sieci, ponieważ przesyłane są tylko unikalne pliki.
Deduplikacja na serwerze
Ta opcja jest używana w przypadkach, gdy informacje są przesyłane do urządzenia bez przetwarzania. Może zostać przeprowadzona procedura weryfikacji danych programowych lub sprzętowych. Oprogramowanie do deduplikacji polega na wykorzystaniu specjalnego oprogramowania uruchamiającego wymagane procesy. Przy takim podejściu ważne jest, aby wziąć pod uwagę obciążenie systemu, ponieważ może ono być zbyt duże. Typ sprzętu łączy w sobie specjalne rozwiązania oparte na procedurach deduplikacji i tworzenia kopii zapasowych.
Deduplikacja na kliencie
Ta metoda pozwala na wykorzystanie tylko pojemności samego klienta. Po weryfikacji danych wszystkie pliki są wysyłane na serwer. Deduplikacja danych na kliencie wymaga specjalnego oprogramowania. Wadą rozwiązania jest to, że prowadzi ono do zwiększonego obciążenia pamięci RAM.
Zalety procedury obejmują:
- Deduplikacja umożliwia przechowywanie kopii zapasowych przez niemal nieograniczony czas.
- W wyniku deduplikacji możliwe jest prawie 30-krotne zmniejszenie wymagań dotyczących pamięci masowej.
- Z rozwiązania można korzystać nawet przy nieznacznie zmniejszonej przepustowości sieci. Przesyłane są unikalne dane, co oszczędza ruch.
- Deduplikacja radykalnie zmniejsza koszty przechowywania.
- Korzyści z dzielenia danych na kawałki o dowolnej wielkości.
- Ochrona integralności danych i eliminacja kolizji skrótów.
- Deduplikacja danych ułatwia odzyskiwanie po awarii.
Jednak technologia ma również wady. Głównym jest ryzyko konfliktu, jeśli kilka bloków wygeneruje ten sam klucz mieszający w tym samym czasie. Może to spowodować naruszenie integralności baz danych, co uniemożliwi przywrócenie utworzonej kopii. Ponadto przy dużej ilości danych mogą wystąpić różne błędy.
Podczas korzystania z usługi Windows Server pojawiają się częste trudności. Znacznie spowalnia to pracę serwera plików, ponieważ podczas procedury pliki są najpierw kopiowane na dyski, a dopiero potem następuje sprawdzanie duplikatów.
Szczególnie często proces deduplikacji jest wykorzystywany przez deweloperów na rynku kopii zapasowych.
Ponadto technologia ta jest często używana na serwerach systemu produkcyjnego. W takim przypadku zabieg można wykonać za pomocą systemu operacyjnego lub dodatkowego oprogramowania.
Pomocna jest deduplikacja, przy której nie zwraca się uwagi na rodzaj odpowiedzialności. Najbardziej ekstremalne zalety są widoczne w warunkach wirtualnych, w których różne maszyny wirtualne są wykorzystywane do testowania/programowania i aranżowania aplikacji.
Infrastruktura pulpitów wirtualnych (VDI) to kolejny doskonały pretendent do deduplikacji, ponieważ ilość kopiowanych informacji między obszarami roboczymi jest niezwykle duża.
Kilka zestawów danych społecznościowych, na przykład Oracle i SQL, nie odnosi ogromnych korzyści z deduplikacji, ponieważ często mają one jedyny w swoim rodzaju klucz dla każdego rekordu zestawu danych, co uniemożliwia mechanizmowi deduplikacji rozróżnienie ich jako kopii.
Regularna deduplikacja pozwala zmniejszyć ilość entropii na serwerach plików i przyczynić się do lepszej jakości ich pracy, co docelowo powinno odbić się na kompetencjach procesów biznesowych firmy.
