Backup zewnętrznego systemu (wybrane foldery) inicjowany przez NAS

ODPOWIEDZ
Awatar użytkownika
xurc
Wtajemniczony
Posty: 191
Rejestracja: wt kwie 05, 2016 10:00 am

Backup zewnętrznego systemu (wybrane foldery) inicjowany przez NAS

Post autor: xurc »

Witam,

Mam dwa serwery do backupu (linux) z ograniczonym dostępem. Jeden z dostępem do SSH, drugi tylko SFTP. Chciałbym, aby mój NAS inicjował (przez zadanie cron) połączenie z w/w serwerami, porównywał katalogi i zgrywał z nich pliki na NAS-a.
Dodatkowo fajnie by było gdyby byłaby możliwość wykluczenia pewnych (nieistotnych dla backupu) plików/folderów z synchronizacji.

Ograniczenia o których mówię, to przede wszystkim brak możliwości listowania głównego folderu "/" (tylko katalog domowy użytkownika), zatem niektóre rozwiązania typu "Active Backup for Servers" nie mają tu zastosowania.

ps. Idealnym rozwiązaniem byłoby https://www.FreeFileSync.org, którego mógłbym właśnie tak skonfigurować (w trybie wsadowym), jednak nie ma obecnie paczki dla DSM (choć pracuję nad tym w wolnej chwili - jednak sprawa łatwa nie będzie ze względu na zależności i brak aktualnych wytycznych do kompilacji)

EDYTA: Udało mi się skompilować FreeFileSync (po drobnych zmianach w kodzie(!)), ale niestety kod jest tak skonstruowany, że zależy całkowicie od GTK+, pomimo iż jest możliwość korzystania z tego programu z linii komend. To powiązanie eliminuje całkowicie takie rozwiązanie :cry:
https://synopackage.com
https://www.facebook.com/synopackage/
Sprzęt:
DS718+ (apollolake): 2x2TB (WD RED) SHR ,8GB RAM
Poprzedni:
DS215j
Awatar użytkownika
xurc
Wtajemniczony
Posty: 191
Rejestracja: wt kwie 05, 2016 10:00 am

Re: Backup zewnętrznego systemu (wybrane foldery) inicjowany przez NAS

Post autor: xurc »

Hej,

W końcu poradziłem sobie za pomocą skryptów i harmonogramu zadań. Wykorzystałem `rsync` tam gdzie mogłem, a tam gdzie dostęp mam tylko po SFTP użyłem `lftp`

Pozdrawiam,
xurc
https://synopackage.com
https://www.facebook.com/synopackage/
Sprzęt:
DS718+ (apollolake): 2x2TB (WD RED) SHR ,8GB RAM
Poprzedni:
DS215j
Fixer
Trochę Wie
Posty: 112
Rejestracja: pn mar 13, 2017 10:46 am

Re: Backup zewnętrznego systemu (wybrane foldery) inicjowany przez NAS

Post autor: Fixer »

na NAS'ie, który ma inicjować backup postawił bym wirtualkę a na nim windę a na niej co tam chcesz do synchronizacji co jest kompatybilne z protokołem SFTP/SSH a wszystko wsadzić w harmonogram zadań windy
sterowanie całością łatwe i przyjemne a co za tym idzie wszystko pod kontrolą - Bitch Please :)
http://codesnippets.pl - baza porad dla programistów, webmasterów, grafików
Awatar użytkownika
xurc
Wtajemniczony
Posty: 191
Rejestracja: wt kwie 05, 2016 10:00 am

Re: Backup zewnętrznego systemu (wybrane foldery) inicjowany przez NAS

Post autor: xurc »

Fixer pisze: sob kwie 14, 2018 10:42 pm na NAS'ie, który ma inicjować backup postawił bym wirtualkę a na nim windę a na niej co tam chcesz do synchronizacji co jest kompatybilne z protokołem SFTP/SSH a wszystko wsadzić w harmonogram zadań windy
sterowanie całością łatwe i przyjemne a co za tym idzie wszystko pod kontrolą - Bitch Please :)
Nawet myślałem o takiej opcji, ale w moim przypadku byłoby trochę roboty. Przede wszystkim musiałbym przejść na btrfs, aby móc korzystać z wirtualek. Jakoś się do tego nie garnę obecnie :)

Rozwiązanie z rsync i lftp mimo braku konfuguratorów graficznych, robi się to dość szybko. Jak już wiedziałem co chcę zrobić, to zajęło mi to 30 min, aby skonfigurować 2 serwery. Rozwiązanie nie jest jeszcze idealne, ale na chwilę obecną wystarczające.

pozdrawiam,
xurc
https://synopackage.com
https://www.facebook.com/synopackage/
Sprzęt:
DS718+ (apollolake): 2x2TB (WD RED) SHR ,8GB RAM
Poprzedni:
DS215j
Fixer
Trochę Wie
Posty: 112
Rejestracja: pn mar 13, 2017 10:46 am

Re: Backup zewnętrznego systemu (wybrane foldery) inicjowany przez NAS

Post autor: Fixer »

Mnie odrzucało zawsze od rsync'a m.in. przez brak dobrej dokumentacji w necie a przykłady które znajdowałem nie działały u mnie.
Może wklej kilka linijek kodu, które działają u Ciebie na zachętę żeby zacząć z nim przygodę. No i dla potomnych będzie.
Chętnie przetestuję u siebie jak to się sprawdza w praktyce...
http://codesnippets.pl - baza porad dla programistów, webmasterów, grafików
r3x
Trochę Wie
Posty: 80
Rejestracja: śr gru 16, 2015 8:42 am

Re: Backup zewnętrznego systemu (wybrane foldery) inicjowany przez NAS

Post autor: r3x »

Proponuję skorzystać z paczki Active Backup for Server jeżeli rsync jest odpalony.
HA RS2418+ 12x4TB , DS1618+ 6x3TB, DS1517+ 5x4TB, RS812+ 4x8TB, 4x DS918+ 4x4TB,4x DS718+ 2x2TB, 15x 218+ 2x2TB,2x 220+ 2x2TB, DS212 2x3TB, NVR1218 2x3TB
Awatar użytkownika
xurc
Wtajemniczony
Posty: 191
Rejestracja: wt kwie 05, 2016 10:00 am

Re: Backup zewnętrznego systemu (wybrane foldery) inicjowany przez NAS

Post autor: xurc »

r3x pisze: wt kwie 17, 2018 7:55 am Proponuję skorzystać z paczki Active Backup for Server jeżeli rsync jest odpalony.
Active Backup for Server ma jedną wielką wadę. Przy próbie połączenia listuje katalog "/" do którego nie mam dostępu i wywala się z błędem. Mam dostęp tylko do mojego domowego katalogu.
Fixer pisze: Może wklej kilka linijek kodu
OK.
Dla rsync:

Kod: Zaznacz cały

rsync -r --size-only -e 'ssh -p 1234' username@remoteserver.url:/home/username/application_backups/ /volume1/homes/username/Backup/folder1
przy czym -r - recursive, --size-only działa po prostu szybciej, zaś przełącznik "-e 'ssh p 1234'" jest potrzebny, gdy ssh działa nie po standardowym porcie 22. Reszta chyba zrozumiała.

Dla lftp:

Kod: Zaznacz cały

lftp -f script.lftp
gdzie script.lftp:

Kod: Zaznacz cały

open -u username,password sftp://username@remoteserver.url
mirror --exclude-glob cache/ \
  --delete \
  /home/username/foldertobackup / /volume1/homes/username/Backup/folder2/
quit
gdzie "--exclude-glob cache/" wyłącza z backupu pliki w katalogach cache, --delete usuwa plik w miejscu docelowym jeśli został usunięty w źródle

Pozdrawiam,
xurc
https://synopackage.com
https://www.facebook.com/synopackage/
Sprzęt:
DS718+ (apollolake): 2x2TB (WD RED) SHR ,8GB RAM
Poprzedni:
DS215j
ODPOWIEDZ