Prośba o ocenę mojego systemu backupów

[petrumi]

cześć

Mam prośbę o ocenę mojego pomysłu na system backupów.

Mam do dyspozycji dwa NAS w jednej sieci LAN i dyski zewnętrzne na offsite backup (obecnie ten ostatni backup robię ręcznie ale nie o tym będę pisał)

Zależy mi na robieniu "backupów" po LAN. Pisze w cudzysłowie bo jeszcze nie wybrałem metody.

Co chce backupować:

PC --- NAS

1. Całego PC raz w nocy na NAS (po sieci 10Gbit). W tego PC chce mieć kopię systemu (praktycznie dysk C:) jakby dysk z PC padł to chciałbym go odzyskać. Do tego chyba najlepszy jest Synology Active Backup z dyskiem rozruchowym na USB - nie robiłem tego jeszcze. Prawda?

2. Katalogu Lightroom z PC (dysk D:) na NAS. Około 20-100GB. Zastanawiam się czy robić to osobnym taskiem czy do pkt pierwszego, dodać backup dysku D ?

3. Katalogu ze zdjęciami RAW z PC (dysk E:) 4TB. Tutaj najbardziej mi pasuje jak coś w tym zbiorze zmienię, wiec może Synology Drive na życzenie (po zakończeniu pracy z Lightroomem, synchro tylko w stronę PC---> NAS. Wsadzenie tego taska do pkt 1. wydłuży codzienny backup do kilka godzin.


NAS 1 ---> NAS 2 (LAN)

Na obu mam SHR1, drugi trochę mniejszą pojemność. Oba pod UPS.

4. tutaj trzymam surówki multimediów.

Dla katalogu z clipami video mam ustawione migawki co jakiś czas. Ustawie także Replikację migawek na NAS 2. Tak?

Dla zdjęć to najpierw zrobi się kopia z PC (pkt 3 wyżej), potem zrobią się migawki i replikacja na drugi NAS.

Synology Photos, Video Station z NAS 1, także migawki plus replikacja na NAS 2.


Czy to nie jest overkill? Czy za jakiś czas same migwaki nie zjedzą mi połowy miejsca na macierzach?
Czy brakuje tu jeszcze jakiś backupów (np samych ustawień serwerów)

Za rok będę miał opcję wstawienia NAS2 lub kolejnego do innej lokacji ale wrócę wtedy z tematem.

Czy myśląc mocno paranoicznie to NAS 2 powinien się włączać tylko na czas backupów żeby ogranicznyć wjazd ransonware po sieci LAN?
NAS1 jest wystawiony ale używam VPN.

Będę wdzięczny za każdą uwagę.

[wotik]

Cześć

Trochę enigmatycznie to opisałeś ale idąc po kolei:
1,2,3 - wszystko zależy od ilości danych które ulegną zmianie od backupu do backupu. Wiadomo pierwszy backup będzie trwał dłużej ale później masz już tylko różnicowy, więc kwestia jaka ilość danych ulegnie zmianie pomiędzy backupami. Sam system to będą to jakieś szczątkowe ilości danych, kilka do kilkunastu GB jak będą aktualizacje. Reszta już zależy do tego jak te dane "multimedialne" będą ci się zmieniać.
Ja bym chyba wszystkie te zadania połączył w jedno i robił po prostu backup całego PC jednym zadaniem. Oczywiście ABfB będzie wg mnie najlepszym rozwiązaniem. Tak jak piszesz trzeba także zrobić dysk ratunkowy USB do odzyskiwania bare metal.
Piszesz, że masz sieć 10GBits. Rozumiem, że 10GBit to cała infrastruktura tzn. karta w PC, karty w NASach i przełącznik też są 10GBit? Jeśłi tak to myślę, że z backupem nie powinno być problemu.

4 - rozumiem, że na NAS1 trzymasz te "surówki"? Czy to jest jakiś udział SMB? Czy też "surówki" to to co jest na PC czy coś innego? Bo tego nie łapę... Czy NAS1 nic nie udostępnia i chcesz na nim tylko robić kopie z PC poprzez ABfB?

Jeśli na tym NASie nie ma żadnego udziału SMB i chcesz robić raz dziennie tylko kopie z PC, to nie ma sensu robić częściej też migawki tych danych jak tylko też raz dziennie - oczywiście po wykonanym backupie z PC. Generalnie w takim przypadku to ja bym robił migawkę przy okazji replikacji tego backupu ABfB na NAS2. Oczywiście migawki jako niezmienne, oczywiście jeśli Twoje modele obsługują tę funkcję.
Piszesz o backupie NAS1 na NAS2. Obecnie jest możliwość zrobienia całego backupu za jednego na drugi NAS tylko ten drugi musi mieć chyba większą pojemność dysków, a u Ciebie tak nie jest więc to odpada.

Nie myślisz mocno paranoicznie choć włączanie NAS2 na czas backupu może być średnio łatwe i na pewno nie wpłynie pozytywnie na żywotność dysków. Generalnie na obu NASach był powyłączał wszystko co nie jest Ci potrzebne z usług i włączył firewalle na NASach i przepuścił tylko te porty których potrzebują te usługi które będą działać. Do tego oczywiście blokowanie nieudanych prób logowania etc. Wrzuć sobie drugiego NASa do zupełnie innej podsieci. Da się to chyba też zrobić na przełącznikach zarządzalnych.

Nie wiem ile backupów chciałbyś się cofać wstecz. Nie wiem jakie będą ilości danych. Nie wiem też w zawiązku z tym jak to wyjdzie w realu u Ciebie. Ja bym zaczął od backupu np na tydzień + migawki. Po tygodniu, kiedy będzie następowała rotacja danych, będziesz widział mniej więcej jaka to jest w sumie pojemność. Jeśli będzie miejsca sporo to możesz wydłużać ilość kopii do zachowania itd. Możesz to też zrobić na zasadzie jakieś bardziej złożonego schematu przechowywania danych (np. dodatkowa kopia z każdego miesiąca czy tygodnia). To już zależy od Ciebie i tego co chcesz finalnie osiągnąć więc nikt Ci nie poda gotowego rozwiązania bo go nie zna. Do tego np. raz na miesiąc czyszczenie danych.

Ja bym się pokusił i robił jeszcze backup tego backupu z PC (folder ABfB na NAS1 + ew. jakieś inne rzeczy) na jakiś dysk USB np. raz na tydzień, np. poprzez HyperBackup, także z rotacją kopii. Tu masz dane zupełnie offline, więc najbezpieczniejsze. Można tak ustawić kopię w HB aby po jej zakończeniu automatycznie odłączała dysk USB.

Jeśli VPN nie jest Ci niezbędny to zrezygnuj z niego i nie wystawiaj NAS1 nigdzie na zewnątrz.

Ufff, chyba tyle. Może ktoś ma jeszcze inne pomysły?

[petrumi]

Przede wszystkim dzięki Wojtek za poświęcony czas. Postaram się dokładniej opisać. Dość późno odkryłem zalety SHR i możliwości aplikacji Synology. Do tej pory każdy dysk w NAS miałem jako osobny wolumen. teraz tworzę SHR1 w NAS1 (będzie ok 34TB) oraz SHR1 w NAS2 (będzie ok 23TB)

Ważnych danych mam ok 15TB (11TB filmy, 4TB foty).

Zacznijmy od 4TB fotek. Te trzymam i obrabiam na PC (dysk SSD 8TB). Wszelkie zmiany w tym katalogu chciałbym codziennie zapisywać na NAS1 jako kopia 1:1 katalogu ze zdjęciami. W tym celu ABfB robiony w nocy to chyba najlepsze rozwiązanie.

Tu ważne - nie mam całej sieci 10Gbit. Kable 5e kładłem 10 lat temu a teraz kupiłem tylko interfejs 10Gbit do DS1522+ oraz PC. Te urządzenia są spięte bezpośrednio kablem kat.6 i prędkości duże mamy tylko na tym poziomie. Czyli drugi NAS jest w starej sieci 1Gbit i tam transferu mam niższe. Nie mam ochoty kuć ścian, na obecną chwilę mi to wystarcza. Backup na NAS2 może iść w nocy wolniej.

Teraz filmy. Oryginały surówki są na NAS1 widzę je przez SMB na PC. Po podłączeniu sieci 10Gbit da rade pracować na plikach bezpośrednio z NAS1. Nie musze już ich przegrywać na dysk w PC. Jest wygodnie. To są spore ilości klipów, 20 lat kręcenia. Tak się teraz zastanawiam nad sensem robienia tych migawek. Nie pracuje na tych 11TB danych jednocześnie, tylko korzystam z małego % tych plików. Może po prostu ręcznie wszystko przegrać na NAS2 i updatować tylko ostatnie zmiany ręcznie?

Żeby to lepiej pokazać opisze proces. Najpierw mamy np. katalog 1TB plików z kamery z oryginalnymi nazwami od Sony, DJI itp. Następnie hurtowo zmieniam nazwy wszystkich plików (data i godzina w nazwie pliku, kamera, fps itp). Praktyka pokazuje że połowa materiału jest do wywalenia. Przeglądam klipy programem do trimowania. W efekcie powstaje nowy plik - połowę mniejszy, po czym kasuje oryginał. I tutaj gdyby były migawki to pewnie zapisałby mi najpierw plik oryginalny, potem te ze zmienioną nazwą a na końcu plik po cięciu. W efekcie miałbym migawkę na 1TB oryginałów plus 1TB tych samych plików ale ze zmienioną nazwą plus 0.5TB wyciętych klipów. Oczywiście jakby migawki powstały pomiędzy tymi krokami. To chyba dla mnie bez sensu. Ja wiem że po to powstają migawki żeby móc wrócić do oryginału to chyba za dużo zachodu. Jak wycinam klipy to wiec co robię. Może lepiej zrobić ręcznie backup tego katalogu z NAS1 na NAS2 na poszczególnych etapach. Zrobić ręcznie kopię po zgraniu materiału z kamery i zmianie nazwy oraz po kilka dniach zamienić na NAS2 ten katalog ale już klipami po trimowaniu. Tak robię do tej pory bez żadnych narzędzi Synology

Wróćmy do fotek. To przeważnie RAW. Potem poprawione zdjęcia eksportuje do jpg i wrzucam do Synology Photo. i to po ostatnio ustawiłem VPN to chce móc się dzielić tymi zdjęciami z rodziną. Wcześniej wystawiałem je przez Quick Connect ale podniosłem bezpieczeństwo. Otworzyłem 1194 na routerze, wyłączyłem UPnP, ustawiłem firewalla, block listę, reguły mocnych haseł, zaprosiłem na wizytę speca od IT. Zainstalowany został OpenVPN, zainstalowałem Klienta na PC i telefonie. W efekcie jest o jeden ktoś więcej przy logowaniu do Synology Photo (trzeba uruchomić OpenVPN) ale poprawiła się szybkość przeglądania zasobów i można oglądać przez DS Video także filmy 1080p. Poprzednio przez QC cięło strasznie przez ten serwer po drodze. Dlatego nie chciałbym rezygnować z zewnętrznego dostępu.

To że drugi NAS jest mniejszy to nie problem, jak widzisz danych do ponownego replikowania na NAS2 jest ok 15TB.
Czyli podsumowując

Kopia PC (system 0,5 GB + katalog i foty RAW z drugiego dysku PC, jakieś 4.5 TB razem) ABfB co noc na NAS1 po sieci 10Gbit (easy)
Ręczne kopie NAS1 na NAS2 po sieci 1Gbit wg mojego uznania.

Muszę dokładniej poczytać jeszcze Twoje wskazówki bo nie jestem specem od tego. Jak masz jakieś uwagi dot. bezpieczeństwa to pisz proszę. Opisałem jak to u mnie wygląda...

[wotik]

1. Piszesz, że video obrabiasz bezpośrednio na udziale SMB i wydajnościowo jest ok (10GBit wystarcza). Czemu foto trzymasz lokalnie? Nie lepiej także umieścić na SMB i stamtąd obrabiać? Wówczas odeszła by kwestia backupu ich z PC (wiem, że to raczej bez większego znaczenia - tak tylko pytam). Czy po prostu chcesz mieć dodatkową ich kopię?

2. Z migawkami nie jest tak jak z danymi. Większość uważa, że jak ma np. 1TB danych to migawka zajmie tyle samo. Tak nie jest. Migawka obejmie tylko te dane zmienione od migawki do migawki. Polecam np. https://youtu.be/cKZxBke4MkI?t=813 aby to bardziej zrozumieć, tym bardziej jak piszesz, że używasz niewielkiego procenta tych danych. Jeśli są jakieś duże ilości danych do których rzadko sięgasz to może sensowniej byłoby je trzymać na jakimś zewnętrznym dysku USB i sięgać do nich jak zachodzi potrzeba. Zwolniło by Ci się dużo miejsca na NAS1. Do przemyślenia - Ty będziesz wiedział najlepiej. Zapomnij o ręcznym update'owaniu danych. To naprawdę jest pozbawione sensu. Do tego masz narzędzia od Synology.

3. Piszesz jak obrabiasz video. Jak widzisz każdy przypadek ma swoją specyfikę. Jeśli chcesz uniknąć bacupowania danych "tymczasowych" które pojawiają się w trakcie obróbki, to wg mnie replikację wraz z migawką powinieneś wykonywać na koniec dnia (w nocy), kiedy masz już materiał po końcowej obróbce (albo jeszcze zupełnie surowy). Oczywiście zakładając, że z tą obróbką uwiniesz się w ciągu tego jednego dnia.
Piszesz, że oryginalne surówki po przejrzeniu i dalszej obróbce i tak usuwasz. Więc może trzymaj je w jakimś "tymczasowym" katalogu który nie będzie replikowany na NAS2, a replikację ustaw tylko dla katalogu z obrobionym materiałem?
Ew. zrób zadanie replikacji bez harmonogramu i uruchamiasz je ręcznie kiedy uważasz za stosowne. To chyba i tak lepsze rozwiązanie niż przegrywanie ręczne.

4. Napisz jeszcze w jaki sposób obecnie kopiujesz dane z NAS1 na NAS2? Na NAS2 też masz jakiś udział SMB i po prostu kopiujesz dane poprzez PC z NAS1 na NAS2 w ten sposób czy jakoś inaczej?

[petrumi]

Ad.1 Z Lightroomem to mam odwieczny problem. Adobe wymaga żeby program i Katalog LR był na dysk PC, zdjęcia możesz trzymać na zewnętrznych źródłach jak dysku USB lub NAS. Nie wiem jak głęboko siedzisz w LR ale tam jest opcja wygenerowanie Smart Previews podczas importu zdjęć do Katalogu LR. W efekcie np z 1TB importowanych zdjęci RAW powstaje 100GB previews. One są trzymane na dysku w PC, gdy reszta RAW jest na USB lub NAS. Taka operacja pozwala szybciej przeglądać zasoby zdjęć bo miniaturki są lokalnie.

ALE to pojawił mi się problem. Założyłem SSD Cache na głównym NAS1. RAWy miałem na NAS1.Importowałem 1.5TB fotek, tworząc przy tym Smart Previews. W połowie tej operacji zajrzałem do SSD Cache i tam było użyte już 100GB z posiadanej puli 456GB (mam tam 2x500GB Samsung 970Evo Pro w RAID1). W takim tempie skończyłoby się miejsce na coś co tworzy Synology podczas importu bardzo szybko - przed wgraniem całego zbioru zdjęc. Poza tym porównałem orientacyjnie czas importu dowolnego, dużego Katalogu w dówch konfiguracjach. Jak mam wszsystko na PC (dyski SSD plus katalog na jeszcze szybszym NVME) to jest błyskawicznie. Jak to samo robię mają Katalog na PC ale foty na NAS1 (mimo 10GBIT i cache SSD) to jest KILKA RAZY wolniej. Dlatego ten temat odpuściłem, może coś źle robię ale daje sobie spokój. Specjalnie kupiłem pod wszystkie RAW jeden dysk SSD (8TB) żeby mieć jeszcze luz na 2-3 lata. Potem go wymienię na szybszy bo ten jest dość ograniczony transferem (seria Samsung QVQ).

Ad.2 Dzięki za wyjaśnienie.

Ad.3 W sumie racja ale po to mam NAS z możliwości zaglądania do każdego zasoby w każdej chwili. Z drugiej strony nawet jak migawki będą ustawione na katalog z 20stoma latami filmów ale nic na starych plikach się nie będzie zmieniało, to czy migawka będzie mocno sie wydłużała (jak szybko skanuje te pliki?). Nie mam pojęcia. Może najlepiej sprawdzę.

Ad.4 Teraz wszystko robię przez... Total Commandera. Mam zmapowane dyski sieciowe z NAS1 i NAS2. Ręcznie kopiuje wszystko, komp zostaje włączony na noc, prąd leci itp. Wiem że organizacyjnie poziom Stali Mielec. Ale jakoś nie znam narzędzie wewnątrz Synology, żeby takie procesy wykonywać efektywnie bez użycia PC.

Dzięki za wskazówki. Michał

ps

1
3. Piszesz jak obrabiasz video. Jak widzisz każdy przypadek ma swoją specyfikę. Jeśli chcesz uniknąć bacupowania danych "tymczasowych" które pojawiają się w trakcie obróbki, to wg mnie replikację wraz z migawką powinieneś wykonywać na koniec dnia (w nocy), kiedy masz już materiał po końcowej obróbce (albo jeszcze zupełnie surowy). Oczywiście zakładając, że z tą obróbką uwiniesz się w ciągu tego jednego dnia.
Piszesz, że oryginalne surówki po przejrzeniu i dalszej obróbce i tak usuwasz. Więc może trzymaj je w jakimś "tymczasowym" katalogu który nie będzie replikowany na NAS2, a replikację ustaw tylko dla katalogu z obrobionym materiałem?
Ew. zrób zadanie replikacji bez harmonogramu i uruchamiasz je ręcznie kiedy uważasz za stosowne. To chyba i tak lepsze rozwiązanie niż przegrywanie ręczne.

Można replikować pojedyńczy Katalog? Jak tworzę Migawkę to chce robić cały Folder współdzielony. Nie mogę znaznaczyć poszczególnych Katalgów na tym Folderze ...

[look12]

Można replikować pojedyńczy Katalog? Jak tworzę Migawkę to chce robić cały Folder współdzielony. Nie mogę znaznaczyć poszczególnych Katalgów na tym Folderze ...

Możesz replikować udostępniony katalog poprzez zadanie rsync.
Panel sterowania -> Usługi plików -> zakładka rsync, a w zakładce Zaawansowane na NAS’ie źródłowym -> w części „Synchronizacja folderów współdzielonych” klik „Lista zadań” - „Utwórz”. TC nie będzie potrzebny. Pierwsze uruchomienie replikuje 100% danych, kolejne tylko zmiany.

[petrumi]

O super, nie wiedziałem. W takim razie czy czymś różnią się te dwa procesy:

1. Migawki na NAS1 i replikacje na NAS2 (poprzez opcję w apce Snapshot replication)
2. Zrobienie migawki na NAS1 i potem rsync tego folderu (wraz z widzianym przez TV katalogiem #snapshot)? Tu rsync musiałby być uruchomiony po zrobieniu migawek, przerwę między zadaniami musiałbym określić na oko...

ps. już widzę, że #snapshot z NAS1 nie jest widzoczny na NAS2, gdy użyłem rsync. Czyli rsync tylko to katalogów, nie migawek. Kumam

[look12]

Rsync, jak i inne zadania backapów pomijają katalog #snapshot.
Możesz skonfigurować zadanie rsync, a migawki osobno na obu NAS’ach.

[wotik]

Pisząc o replikacji pojedynczego katalogu miałem na myśli pojedynczy katalog współdzielony. Jeśli masz wszystko w jednym, trzeba by było go tak przeorganizować aby go rozbić np na 2 czy 3 katalogi współdzielone (np jeden z surówką, a drugi z materiałem finalnym), a tym samym mieć możliwość ich indywidualnej replikacji i migawek.

Przemyśl w miarę pilnie sposób wykonywania kopii na obu NASach bo w chwili obecnej de facto nie masz żadnego wersjonowania kopii, a jedynie zwykłe, pojedyncze kopie dostępne po SMB, co w przypadku oberwania ransomware'm na PC skończy się zaszyfrowaniem PC oraz udziałów SMB obu NASów. Rozumiem, że masz chociaż niezmienne migawki folderów na NASach ustawione?

[petrumi]

Tak myślę jeszcze o jednej rzeczy. Podczas tworzenia Migawek można zaznaczyć "Migawki niezmienne" i wybrać ileś tam dni. Takie migawki nie można skasować nawet z poziomu admina i trzeba czekać na koniec karencji. Dodatkowo można każdą zrobioną już wcześniej Migawkę ręcznie zablokować na dany okres.

Może bym robił tak.
Na pierwszym etapie zgrania materiału z kamery i zmianie nazewnictwa robił Migawkę, zmieniał jej nazwę na "Oryginał", blokował ją na 365 dni, potem po etapie trimowania robił kolejną migawkę, zmieniał nazwę na "Trimowane", blokował na 365 dni. Fakt że miejsca bym nie odzyskiwał bo jednak Migawka zrobiona z oryginalnych, dłuższych klipów byłaby większa ale zawsze miałbym dwie wersje plików, na dodatek zabezpieczone przez Ransomware

pytanie czy to faktycznie zabezpiecza? Czy ilość dni można modyfikować co jakiś czas (np co miesiąc przedłużać zablokowanie)?
OK, już sprawdziłem, że on odlicza czas do końca czasu zabezpieczenia. Potem pewni trzeba ponownie zablokować....

@przepraszam wotik ale przeoczyłem Twój wpis, faktycznie teraz mam wszystko na sznurkach jak opisuje. Dopiero dokupiłem dysk do NAS1 i tym samym mieć wolny mniejszy z którego stworzę w tym tygodniu SHR w NAS2.

Mam jeszcze trzecią kopię surówki na dyskach w szufladzie więc żywcem mnie nie wezmą.

Z tego co kojarzę, to większa szansa na ransomware do przez PC. Tu jestem ostrożny, może Norton zawsze coś zabezpiecza głupiego usera.