[ABB] Ilość zajętego miejsca przez kopie

Awatar użytkownika
wotik
Amator
Posty: 33
Rejestracja: pt mar 25, 2016 9:28 am
Lokalizacja: Vloscovia

[ABB] Ilość zajętego miejsca przez kopie

Post autor: wotik »

Witam

Z ABB korzystam od kilkunastu miesięcy na 3 różnych NASach. Na dwóch wykonują się kopie zapasowe kilkunastu komputerów na każdym, a na trzecim dwóch serwerów.
NASy służą tylko do wykonywania i przechowywania kopii z ABB, żadne inne dane przez nie nie przechodzą i nie są składowane. Kopia każdego PCta czy serwera to X najnowszych wykonanych kopii. Wartości X już dawno zostały osiągnięte i następuje rotacja przechowywanych kopii - najstarsze są zastępowane przez najnowsze.
W zasadzie od samego początku zauważyłem "problem" z ilością wolnego miejsca które się "kurczy" na NASach. Ilość PCtów z których wykonywane są kopie od samego początku jest taka sama. Usługa kosza na NASach jest wyłączona. Na każdym NASie jest ustawione cykliczne czyszczenie danych. Rozumiem, że wpływ na to może mieć stopień deduplikacji czy ilość danych na PCtach, ale ta w zasadzie cały czas jest na podobnym poziomie.
Nie są to jakieś wielkie, skokowe przyrosty danych codziennie ale z reguły ok 0,1-0,3% powierzchni dysku co na przestrzeni kilkudziesięciu dni daje już konkretną wartość. Swego czasu nawet testowo zmniejszyłem o połowę ilość (X) przechowywanych najnowszych wersji we wszystkich zadaniach backupu ale, po kilkunastodniowym cyklu robienia kopii, w zasadzie nic to nie zmieniło, a ilość przechowywanych wersji kopii w każdym zadaniu w istocie została zredukowana o połowę wartości X.
Co jeszcze można sprawdzić i poprawić (oprócz dodania/wymiany dysków ;-) )?
Jak wygląda to u Was?
pozdrawiam
Wojtek

DS118 | 1GB RAM | 1x 2TB WD RED WD20EFRX
DS214+ | 1GB RAM | 2x 2TB WD RED WD20EFRX | RAID1
DS216+ | 8GB RAM | 2x 14TB WD ULTRASTAR DC HC530 | SHR
DS220+ | 2GB RAM | 2x 8TB WD GOLD WD8004FRYZ | RAID1
DS1520+ | 8GB RAM | 4x 14TB WD ULTRASTAR DC HC530 | SHR
Przemuss
Godfather
Posty: 1318
Rejestracja: wt gru 15, 2015 12:19 pm
Lokalizacja: Żyrardów

Re: [ABB] Ilość zajętego miejsca przez kopie

Post autor: Przemuss »

U siebie korzystam z ABB od ponad pół roku i nie zauważyłem takiego efektu jak opisujesz. U mnie kopię z ok 45 komputerów spływają na synka raz w tygodniu. Ilość danych zależna od ilości aktualizacji MS.
Na synka spływają także niezależne kopie z serwerów (pełne) jak i kopie z innego synka z długa historia aktualnie sięgającą 2 jak nie 3 lat.
Poniżej wykresy zajętości miejsca z 12, 6 i 3m.
Wolumen niespełna roczny. W lutym 2022 zakupiłem większe dyski i zmieniłem system plików na ten nowy do ABB.
Obrazek Obrazek Obrazek
Administratorzy dzielą się na tych, którzy robią kopie zapasowe i tych, którzy będą je robili.

Serwery NAS:
Synology DS211j, DS1511+, RS2212RP+ DS1513+

"Zasłanianie się dysleksją, to jak chwalenie się małym fiu...."- by Pati
gg 2101676
Awatar użytkownika
wotik
Amator
Posty: 33
Rejestracja: pt mar 25, 2016 9:28 am
Lokalizacja: Vloscovia

Re: [ABB] Ilość zajętego miejsca przez kopie

Post autor: wotik »

Nie za bardzo łapę te wykresy... zielony - wolne miejsce, czerwony - zajęte, a brak koloru?
PS. W czym wygenerowałeś te wykresy?
pozdrawiam
Wojtek

DS118 | 1GB RAM | 1x 2TB WD RED WD20EFRX
DS214+ | 1GB RAM | 2x 2TB WD RED WD20EFRX | RAID1
DS216+ | 8GB RAM | 2x 14TB WD ULTRASTAR DC HC530 | SHR
DS220+ | 2GB RAM | 2x 8TB WD GOLD WD8004FRYZ | RAID1
DS1520+ | 8GB RAM | 4x 14TB WD ULTRASTAR DC HC530 | SHR
Przemuss
Godfather
Posty: 1318
Rejestracja: wt gru 15, 2015 12:19 pm
Lokalizacja: Żyrardów

Re: [ABB] Ilość zajętego miejsca przez kopie

Post autor: Przemuss »

Pusta przestrzeń to to samo co zielone.
Dla mnie to bardzo czytelny wykres, który generowany jest przez zabbixa.
Normalnie jest osobny widok na przestrzeń wolną i zajętą, a wspólny musiałem sam zdefiniować.
Administratorzy dzielą się na tych, którzy robią kopie zapasowe i tych, którzy będą je robili.

Serwery NAS:
Synology DS211j, DS1511+, RS2212RP+ DS1513+

"Zasłanianie się dysleksją, to jak chwalenie się małym fiu...."- by Pati
gg 2101676
Awatar użytkownika
wotik
Amator
Posty: 33
Rejestracja: pt mar 25, 2016 9:28 am
Lokalizacja: Vloscovia

Re: [ABB] Ilość zajętego miejsca przez kopie

Post autor: wotik »

Niestety u mnie wygląda to tak (ten duży uskok to dołożenie kolejnego dysku): Obrazek
pozdrawiam
Wojtek

DS118 | 1GB RAM | 1x 2TB WD RED WD20EFRX
DS214+ | 1GB RAM | 2x 2TB WD RED WD20EFRX | RAID1
DS216+ | 8GB RAM | 2x 14TB WD ULTRASTAR DC HC530 | SHR
DS220+ | 2GB RAM | 2x 8TB WD GOLD WD8004FRYZ | RAID1
DS1520+ | 8GB RAM | 4x 14TB WD ULTRASTAR DC HC530 | SHR
Przemuss
Godfather
Posty: 1318
Rejestracja: wt gru 15, 2015 12:19 pm
Lokalizacja: Żyrardów

Re: [ABB] Ilość zajętego miejsca przez kopie

Post autor: Przemuss »

Jak długą rotację kopii zapasowych masz ustawioną dla każdej z osoba? U mnie to jest 7 wersji i w mojej ocenie to wystarczy (tylko dyski systemowe). Kopia wykonywana raz na tydzień.
A tak wygląda raport
obraz_2023-01-18_094412419.png
Sądziłem że mam ok 45 komputerów a to już 72....
obraz_2023-01-18_094832752.png
Nie robię kopii dysków pobocznych nawet jeśli takowe są gdyż użytkownicy nie mogą przechowywać na nich danych (wszystko z serwera).
Przyjrzyj się jaka jest średnia wielkość przesyłanych danych (szczegóły na zadanie komputera który aktualnie wykonuje kopie zapasową).
Nie masz wymaganych uprawnień, aby zobaczyć pliki załączone do tego posta.
Administratorzy dzielą się na tych, którzy robią kopie zapasowe i tych, którzy będą je robili.

Serwery NAS:
Synology DS211j, DS1511+, RS2212RP+ DS1513+

"Zasłanianie się dysleksją, to jak chwalenie się małym fiu...."- by Pati
gg 2101676
Awatar użytkownika
wotik
Amator
Posty: 33
Rejestracja: pt mar 25, 2016 9:28 am
Lokalizacja: Vloscovia

Re: [ABB] Ilość zajętego miejsca przez kopie

Post autor: wotik »

Dla każdej końcówki mam zaplanowane 20 wersji. Kopie są wykonywane raz dziennie od pn do pt (czyli teoretycznie mogę się w nich cofnąć ok miesiąca wstecz). Wykonuję pełny backup końcówki, wszystkie dyski lokalne, gdyż oprócz zasobów na serwerze część danych jest przechowywana także lokalnie, gdyż laptopy też są użytkowane poza firmą, a użycie VPN nie zawsze jest możliwe.
Przejrzałem transfer danych (gdzieś do sierpnia ubiegłego roku) przy tych końcówkach które mają go najwięcej w zestawieniu ale nie wykryłem zależności, że pół roku temu był np. na poziomie połowy obecnego. Z reguły jest to kilka-kilkanaście GB na dzień. Cały czas. Owszem, czasem rzadko zdarzają się dni gdzie jest np 60 czy 120 (aktualizacje Windows, okresowa pełna kopia?) ale takie dni też się pojawiają od samego początku kiedy wykonuję kopie poprzez ABB. Zresztą przecież to rotuje i od początku zeszłego roku przerotowało już kilkukrotnie...

U Ciebie na wykresie właśnie widać to co chcę uzyskać u siebie, tzn. są "skoki" góra-dół ale zasadniczo w przeciągu czasu wszystko utrzymuje się w określonym zakresie.

U mnie wygląda to tak:
Obrazek
PS. Czemu u Ciebie nazwy zadań ABB mają w nazwie Hyper_backup_....? ;-)
pozdrawiam
Wojtek

DS118 | 1GB RAM | 1x 2TB WD RED WD20EFRX
DS214+ | 1GB RAM | 2x 2TB WD RED WD20EFRX | RAID1
DS216+ | 8GB RAM | 2x 14TB WD ULTRASTAR DC HC530 | SHR
DS220+ | 2GB RAM | 2x 8TB WD GOLD WD8004FRYZ | RAID1
DS1520+ | 8GB RAM | 4x 14TB WD ULTRASTAR DC HC530 | SHR
Przemuss
Godfather
Posty: 1318
Rejestracja: wt gru 15, 2015 12:19 pm
Lokalizacja: Żyrardów

Re: [ABB] Ilość zajętego miejsca przez kopie

Post autor: Przemuss »

Taka ustawiłem nazwę zadania, która faktycznie jest nieco za długa. Może kiedyś zmienię.
Administratorzy dzielą się na tych, którzy robią kopie zapasowe i tych, którzy będą je robili.

Serwery NAS:
Synology DS211j, DS1511+, RS2212RP+ DS1513+

"Zasłanianie się dysleksją, to jak chwalenie się małym fiu...."- by Pati
gg 2101676
Webby
Amator
Posty: 30
Rejestracja: wt sty 25, 2022 9:01 pm

Re: [ABB] Ilość zajętego miejsca przez kopie

Post autor: Webby »

dołączę się do tematu

mam 25 wersji kopii zapasowych, w których w każdym katalogu jest plik 1.img o wadze 223 GB ..każdy img jest taki sam..ten sam rozmiar..
a ilość zajętego miejsca w NASie mam 350 GB (70 GB zajmują inne pliki z Syn Drive)..
Czyli tak prawdę mówiąc obraz IMG jest jeden..tylko tak wirtualnie zreplikowany do tych katalogów ??.. (wiem, że ABfB jest przyrostowy)??
dobrze kombinuję??
DS220+
Przemuss
Godfather
Posty: 1318
Rejestracja: wt gru 15, 2015 12:19 pm
Lokalizacja: Żyrardów

Re: [ABB] Ilość zajętego miejsca przez kopie

Post autor: Przemuss »

Dobrze kombinujesz. On tylko tak pokazuje i i czasem przeraża ile to miejsca zajmuje. Np u mnie każdy komputer (ok 50) w pracy ma wykonywaną kopie z pamięcią 7-8 ostatnich.
Wg ABfB kopie zajmują ok 6-7TB, ale wg FS to przeszło 24TB a możliwa przestrzeń to całe 16TB.
Administratorzy dzielą się na tych, którzy robią kopie zapasowe i tych, którzy będą je robili.

Serwery NAS:
Synology DS211j, DS1511+, RS2212RP+ DS1513+

"Zasłanianie się dysleksją, to jak chwalenie się małym fiu...."- by Pati
gg 2101676
ODPOWIEDZ