USB copy I backup dysku 14TB

ODPOWIEDZ
R70
Uczeń Mistrza
Posty: 725
Rejestracja: pn gru 18, 2017 12:53 am

USB copy I backup dysku 14TB

Post autor: R70 »

Na początku witam serdecznie wszystkich po długiej przerwie :)

Mam wątpliwości odnośnie funkcjonalności i poprawności działania USB Copy.
Znajomy działa korzystając z przenośnego dysku o pojemności 14TB i powyżej miliona dokumentów, często z taką samą nazwą w róznych katalogach. NA dysku jest głównie materiał zdjęciowy i video. Poprosił mnie o zaproponowanie relatywnie niedrogiego rozwiązania do zabezpieczenia - synchronizacji tych danych jak dociera do swojej siedziby.
Przyszło mi do głowy:
1. Sprzęt:
- DS223j (nie wiem czy nie za słaby sprzęt do takiej ilości plików ?)
- DS223 (nie wiem czy nie za słaby sprzęt do takiej ilości plików ?)
- DS224+ (ze względu na ilość danych oraz potencjał ewentualnego przyszłego wykorzystania, oraz konfigurację procesora i pamięci. Nie wiem czy budżet wystarczy)
Dysk 16-20TB, z czasem (przypływem środków) rozszerzony o drugi nadmiarowy.
2. Konfiguracja
- USB Copy z zadaniem automatycznego tworzenia lustrzanej kopi (dublowanie) dysku USB po jego podpięciu do NASa i odpinanie dysku po zakończeniu zadania.
- Migawki codzienne w z retencją ustaloną przez użytkownika, zamiast wersjonowania - z racji na ilość danych wydaje mi się to najlepsze rozwiązanie. Poza tym z czasem znajomy ma zmienić model pracy z danymi i wydaje mi się że ten sposób byłby najbardziej przyjazny późniejszym zmianom.

No i pierwsze pytanie - czy USB Copu ma jakiekolwiek ogranicznika co do ilości obsługiwanych plików ? ja się tego nie doszukałem, ale może nie szukałem wystarczajaco dokładnie. A nie mam doświadczeń z taką ilością materiału obsługiwaną przez to narzędzie.

Drugie to takie że sprawdziłem na małej porcji danych u siebie na DSM7.2 i DS120j jak to działa (na produkcyjnym swoim DS mam jeszcze DSM6.2) i to prawie działa - tzn. dane kasowane z dysku przenośnego, po wykonaniu zadania importu do NAS nie są w folderze docelowym kasowane - są tylko dogrywane nowe dane. Coś u mnie jest nie tak ? przecież dublowanie powinno robić bicie lustrzane danych a nie kopię przyrostową ?

Będę wdzięczny za pochylenie są nad moim problemem :)
Pozdrawiam,
Paweł
DS1821+,DS1819+,DS224+,DS916+,DS710+,DS119j, DS120j, DX213, DX513, DX517
RT6600ax,RT2600ac,MR2200ac
Przemuss
Godfather
Posty: 1351
Rejestracja: wt gru 15, 2015 12:19 pm
Lokalizacja: Żyrardów

Re: USB copy I backup dysku 14TB

Post autor: Przemuss »

Nie pamiętam dokładnie jak działa USB Copy. Ale wydaje mi się że każda kopia to osobny folder z datą i cała kopia dysku źródłowego.
Lepiej jakbyś wykorzystać funkcje Hyper-Backup i zlecał wykonanie zadania ręcznie. Z tą opcję będziesz miał kopie zapasową wg wybranej retencji danych. Możesz mieć pamięć na ostatnie 5 kopii jak i z ostatnich 2 lat. Wszystko zależy jak dużo danych się zmienia i jaką dysponujesz powierzchnia.
Administratorzy dzielą się na tych, którzy robią kopie zapasowe i tych, którzy będą je robili.

Serwery NAS:
Synology DS211j, DS1511+, RS2212RP+ DS1513+

"Zasłanianie się dysleksją, to jak chwalenie się małym fiu...."- by Pati
gg 2101676
R70
Uczeń Mistrza
Posty: 725
Rejestracja: pn gru 18, 2017 12:53 am

Re: USB copy I backup dysku 14TB

Post autor: R70 »

Dzięki za podpowiedź.
Ale całe zadanie będzie realizowane w drugą stronę - tzn. dysk zewnętrzny USB ma być zabezpieczany na NAS.
USB Copy ma kilka trybów https://kb.synology.com/pl-pl/DSM/help/ ... ?version=7
- odbicie lustrzane - o tym pisałem
- przyrostowo
- wiele wersji - o tym trybi Ty piszesz
Przyrostowo i wiele wersji odpada ze względu na ilość danych. Odbicie lustrzane to jedyna wersja która ma szansę się sprawdzić, ale tak jak napisałem - u mnie w miejscu docelowym nie kasuje danych usuniętych w miejscu źródłowym - a powinna.
Pozdrawiam,
Paweł
DS1821+,DS1819+,DS224+,DS916+,DS710+,DS119j, DS120j, DX213, DX513, DX517
RT6600ax,RT2600ac,MR2200ac
Przemuss
Godfather
Posty: 1351
Rejestracja: wt gru 15, 2015 12:19 pm
Lokalizacja: Żyrardów

Re: USB copy I backup dysku 14TB

Post autor: Przemuss »

To nawet nie wiedziałem jakie zmiany zaszły w USB Copy.

W Hyper-Backup określasz co jest źródłem i gdzie kopia ma wylądować. Sprawdź to rozwiązanie. Tu dużo łatwiej jest znaleźć plik który nagle kiedyś wyparował o ile masz ustawiona długą historię kopii zapasowych.
W pracy dane użytkowników (pulpity i dokumenty) ważą łącznie ok 380GB. Historia kopii zapasowycj sięga 2lat i całość zajmuje na serwerze ok 500GB. Są to głównie dokumenty biurowe (plików bardzo dużo).
Administratorzy dzielą się na tych, którzy robią kopie zapasowe i tych, którzy będą je robili.

Serwery NAS:
Synology DS211j, DS1511+, RS2212RP+ DS1513+

"Zasłanianie się dysleksją, to jak chwalenie się małym fiu...."- by Pati
gg 2101676
R70
Uczeń Mistrza
Posty: 725
Rejestracja: pn gru 18, 2017 12:53 am

Re: USB copy I backup dysku 14TB

Post autor: R70 »

Dzięki jeszcze raz :)
Znam HB bo najczęściej używam tej apki do do zabezpieczania danych znajdujących się na NAS Znam też deduplikacji którą stosuje i jak niewiele zajmują wersjonowane dane. Ale w tym przypadku nie ma ona zastosowania ponieważ nie można wskazać źródła usbshare :/
Nie potrafi zrobić backupu danych z zewnętrznego dysku po usb, do foldera w NAS.
Co gorsza, wszystko wskazuje na to że USB-Copy także się nie sprawdzi, ponieważ jego baza ograniczona jest do 100.000 rekordów i jeśli dobrze to rozumiem, to nie ogarnie dysku z 1.000.000 plików :/

Przychodzi mi do głowy jeszcze takie rozwiązanie, żeby dysk usb 14TB synchronizować albo backupować (z wersjonowaniem) za pomocą DRIVE - tylko wtedy musiałby być na czas synchronizacji podłączony do komputera a ograniczeniem w szybkości tej operacji byłoby łącze komputer - NAS - pewnie max 1GbE, albo jeszcze gorzej - WIFI. Przy pierwszej synchronizacji byłby kiepsko.
No i muszę sprawdzić jakie ograniczenia co do ilości synchronizowanych plików ma DRIVE w zależności od modelu (procek/pamięć).

Jakieś komentarze, albo pomysły ?
Pozdrawiam,
Paweł
DS1821+,DS1819+,DS224+,DS916+,DS710+,DS119j, DS120j, DX213, DX513, DX517
RT6600ax,RT2600ac,MR2200ac
Przemuss
Godfather
Posty: 1351
Rejestracja: wt gru 15, 2015 12:19 pm
Lokalizacja: Żyrardów

Re: USB copy I backup dysku 14TB

Post autor: Przemuss »

Jak będę w pracy w poniedziałek to sprawdzę czym można takie ilości danych zabezpieczać.
Ewentualnie w niedzielę na sprzęcie prywatnym.
Administratorzy dzielą się na tych, którzy robią kopie zapasowe i tych, którzy będą je robili.

Serwery NAS:
Synology DS211j, DS1511+, RS2212RP+ DS1513+

"Zasłanianie się dysleksją, to jak chwalenie się małym fiu...."- by Pati
gg 2101676
R70
Uczeń Mistrza
Posty: 725
Rejestracja: pn gru 18, 2017 12:53 am

Re: USB copy I backup dysku 14TB

Post autor: R70 »

Dzięki - rozwiązanie musi być mega proste, dlatego pomyślałem o wyzwalanym podłączeniem dysku USB do NASa zadaniu USB-Copy, z równie automatycznym wysuwaniem dysku po zakończeniu i sygnalizacji dźwiękiem. Sam stosuję u siebie takie zadania (tylko z wieloma wersjami) do backupu pendrive i niewielkich dysków przenośnych.

Sprawdziłem DRIVE - max ilość hostowanych plików dla DS224+ to 1.500.000 więc da radę. Tylko teraz sprawdzam na małej ilości danych backup vs synchronizacja. Wygoda jednak znacznie mniejsza niż w przypadku Pierwotnego pomysłu :(
Pozdrawiam,
Paweł
DS1821+,DS1819+,DS224+,DS916+,DS710+,DS119j, DS120j, DX213, DX513, DX517
RT6600ax,RT2600ac,MR2200ac
R70
Uczeń Mistrza
Posty: 725
Rejestracja: pn gru 18, 2017 12:53 am

Re: USB copy I backup dysku 14TB

Post autor: R70 »

Sprawdziłem DRIVE - zadanie backupu wydaje się zdawać egzamin, choć wydaje się mało wygodne - ponieważ potrzebny jest komputer i najpewniej robić backup wyzwalany ręcznie a nie automatycznie.
Ale chyba jednak USB-Copy się sprawdzi - ograniczenie do 100.000 dotyczy prawdopodobnie tylko liczby wpisów w logu :))
Poza tym można stworzyć niezależne zadania dla różnych folderów na jednym dysku i wspólnie wyzwolić je podłączeniem dysku, a odłączyć dysk automatycznie po zakończeniu ostatniego.

Edit:
Testy wersji z ok. 1.200.000 małych plików właśnie trwają. DS120j był za słaby - procek zajęty w ok 95% a szybkość operacji dramatyczna. Obecnie zadanie odpalone na DS1821+ realizowane jest znacznie szybciej.
Pozdrawiam,
Paweł
DS1821+,DS1819+,DS224+,DS916+,DS710+,DS119j, DS120j, DX213, DX513, DX517
RT6600ax,RT2600ac,MR2200ac
pdz
Zawsze On-Line
Posty: 451
Rejestracja: śr gru 27, 2017 2:34 pm

Re: USB copy I backup dysku 14TB

Post autor: pdz »

Jeżeli to mnóstwo plików to procek zapewne ubija indeksowanie, wybierz coś z plusem (czyli Intel), z tego powodu przesiadłem się w domu na DS220+.
1 x DS220+ , 6GB RAM, 1x14TB WD Gold , USB Copy 4TB Seagate SkyHawk , router RT6600ax
1 x RS4017XS+ , 64GB RAM , 16x14TB WD Gold , 1 x M2D20 + 2 x SNV3500-400G read/write
3 x RS4021XS+ , 64GB RAM , 5x12TB Synology , 4 x 1.92TB Synology
2 x RS4021XS+ , 64GB RAM , 5x12TB Synology
1 x RS2418RP+ , 64GB RAM , 8x14TB WD Gold
R70
Uczeń Mistrza
Posty: 725
Rejestracja: pn gru 18, 2017 12:53 am

Re: USB copy I backup dysku 14TB

Post autor: R70 »

Tak, dziękuję. Testuje jak pisałem na dość wydajnym DS1821+ a docelowo ma ndziałać na DS224+.
Pozdrawiam,
Paweł
DS1821+,DS1819+,DS224+,DS916+,DS710+,DS119j, DS120j, DX213, DX513, DX517
RT6600ax,RT2600ac,MR2200ac
ODPOWIEDZ

Wróć do „Inne”