Pełny dysk na backup - jak usunąć wersje HyperBackup

krowka1978
Stały Bywalec
Posty: 329
Rejestracja: wt gru 15, 2015 6:42 pm

Re: Pełny dysk na backup - jak usunąć wersje HyperBackup

Post autor: krowka1978 »

Sprawa wygląda tak, że robię kilka backupów do One Drive'a - tak, zgadza się, nie ma natywnej obsługi w HB, więc korzystam z Proxy w Dockerze, które tłumaczy logowanie WebDav na ichnie. Włączone wersjonowanie, kopie idą jedna po drugiej nocą po LTE (w godzinach 0:00-08:00 mam bezlimit). Ostatnio sprawdzałem integralność danych dzień w dzień na wszystkich z OneDrive'a i dziś wykrzaczył się jeden. Żeby było ciekawiej, to w logu wrzuciło uszkodzenie tych samych plików we wszystkich wykonanych wcześniej wersjach, czyli tych, które wcześniej były jako sprawne. Zawartość katalogu nie była zmieniana od ponad miesiąca, pliki oznaczone jako uszkodzone (w strukturze kopii) fizycznie w systemie plików są i są poprawne.
Jedną niedużą kopię robię też do Googl'a, na razie z tym nic się nie stało. Do tego codziennie całościową na zewnętrzny dysk USB - odpukać na razie bez problemów.
Co do zgłoszenia do Synology nie widzi mi się dawanie im dostępu do sprzetu. Trochę na różnych forach o tym poczytałem, dużo przypadków nie jest opisywanych, zdarzają się w różnych chmurach, pomiędzy nasami Synology, czy z dyskami pod USB. Niektórzy zgłaszali, Synology coś tam robiło dając lakoniczne odpowiedzi.
Wypchnę dziada jeszcze raz, trudno.
Ostatnio zmieniony śr maja 06, 2020 12:55 pm przez krowka1978, łącznie zmieniany 1 raz.
DS1513+
DSM 7.1.1
4GB RAM
5x 3TB WD RED WD30EFRX RAID 5 btrfs
DS1819+
DSM 7.2
32GB RAM ECC Kingston (2x KSM24SED8/16ME)
4x 8TB Seagate IronWolf ST8000VN004 RAID 6 btrfs
2x Seagate IronWolf 525 SSD M.2 1TB RW cache RAID 1 + E10M20T1
RT2600ac
SRM 1.3
2x MR2200ac (Mesh)
krowka1978
Stały Bywalec
Posty: 329
Rejestracja: wt gru 15, 2015 6:42 pm

Re: Pełny dysk na backup - jak usunąć wersje HyperBackup

Post autor: krowka1978 »

Tyle razy HB mnie zawiódł, w tym na dyskach lokalnych, że nie mam do niego zaufania i mam o tym sofcie opinię, jaką mam. Na różnych forach zagranicznych też są osoby z podobnymi doświadczeniami, które jednak nie kombinują, a mają to samo.
Ograniczenia OneDrive kiedyś miał na rozmiary plików i liczbę, aktualnie już tego nie ma, przynajmniej w zakresie, który mi jest potrzebny. Zanim wykupiłem usługę dokładnie sprawdziłem robiąc różne testy w próbnym miesiącu (wysyłanie setek tysięcy plików itp), bo cenowo jest bardzo przystępnie. Za 6TB (podzielone po 1TB na 6 kont w grupie domowej) płacę podobnie, gdybym miał dać za 2TB w Google, czy za 1TB w C2 Synology. Używam tego prywatnie, nie w firmie, więc nie widzi mi się płacenie po tysiące za chmury na miesiąc, a 2TB jest dla mnie za mało, inaczej nie kombinowałbym z OneDrive'em, tylko wziął Google'a z natywną obsługą. Do tego muszę mieć kopię rzeczy na zewnątrz, których w żaden sposób nie mogę stracić (kradzież, pożar, elektryka i inne plagi).

Ale żeby nie było, że to wina tylko Proxy, czy OneDrive, że taką opinię mam. Jeżeli wybieram sobie opcję eksportu na dysk, czy to potem do wykorzystania przez WebDav, czy inne, zaznaczam apki i co tam się mi podoba, i po kilku godzinach po gałach wali "Wystąpił nieznany błąd", to co mam o tym myśleć? Gdy mniej wybieram, to tego nie ma, ale wybierane te, co były w "dużym". Co ważne, przy tych samych ustawieniach zawsze w tym samym % następowało zatrzymanie eksportu z wymienionym błędem.
Co do zagmatwania. Po postawieniu kontenera wszystko jest przezroczyste, podaje się jako host http://localhost:port/******, login, hasło (przy weryfikacji dwuetapowej trzeba wygenerować hasło dla urządzenia), katalog docelowy i *.hbk.

Oczywiście kopie szyfrowane, nawet na dysku lokalnym USB, co powoduje, że błędy wychodzą po dłuższym czasie, niż bez syfrowania, cóż DS1513+ mocnego proca nie ma.

Teraz próbuję ponownego połączenia z kopią w OneDrive, po połączeniu, jeżeli pójdzie poprawnie, zapuszczę zadanie kopii i sprawdzenie indeksów. Sam jestem ciekaw co z tego wyjdzie.

Co do metody z OneDrive, to znalazłem tu https://community.synology.com/enu/foru ... ort=oldest -> https://rays-blog.de/2019/07/17/310/bac ... er-backup/

Co do powodu braku natywnej obsługi OneDrive, myśle to samo, zacytuję:
Synology will never add OneDrive as an option to HyperBackup as that would undercut their own solution Synology C2.
Microsoft is simply offering more for less, and that´s all there is to it.
Użytkownik Wraczlavski, https://community.synology.com/enu/foru ... ort=oldest

Na forach ludzie wiele razy o to prosili Synology, od dłuższego czasu, i nic w tym temacie, nawet nie raczyli odpowiedzieć.
DS1513+
DSM 7.1.1
4GB RAM
5x 3TB WD RED WD30EFRX RAID 5 btrfs
DS1819+
DSM 7.2
32GB RAM ECC Kingston (2x KSM24SED8/16ME)
4x 8TB Seagate IronWolf ST8000VN004 RAID 6 btrfs
2x Seagate IronWolf 525 SSD M.2 1TB RW cache RAID 1 + E10M20T1
RT2600ac
SRM 1.3
2x MR2200ac (Mesh)
krowka1978
Stały Bywalec
Posty: 329
Rejestracja: wt gru 15, 2015 6:42 pm

Re: Pełny dysk na backup - jak usunąć wersje HyperBackup

Post autor: krowka1978 »

Aktualizacja.
Podłączyłem się do Backupu bez błędów, uruchomiłem Backup z powodzeniem, sprawdzę, czy niby uszkodzony można odzyskać, a potem zapuszczę test integralności.
DS1513+
DSM 7.1.1
4GB RAM
5x 3TB WD RED WD30EFRX RAID 5 btrfs
DS1819+
DSM 7.2
32GB RAM ECC Kingston (2x KSM24SED8/16ME)
4x 8TB Seagate IronWolf ST8000VN004 RAID 6 btrfs
2x Seagate IronWolf 525 SSD M.2 1TB RW cache RAID 1 + E10M20T1
RT2600ac
SRM 1.3
2x MR2200ac (Mesh)
krowka1978
Stały Bywalec
Posty: 329
Rejestracja: wt gru 15, 2015 6:42 pm

Re: Pełny dysk na backup - jak usunąć wersje HyperBackup

Post autor: krowka1978 »

Kolejna aktualizacja.
Cuda na kiju, błędny plik jest jednak dobry, pobrał się... Czyli co, mechanizm weryfikacji backupu zwalony? Zaznaczę, że ani jednego bajta dotyczącego uszkodzonych plików po podłączeniu do kopii nie wysłało. Wysłało tylko standardowo dołączaną kopię konfiguracji. No to teraz czas na test poprawności kopii...
DS1513+
DSM 7.1.1
4GB RAM
5x 3TB WD RED WD30EFRX RAID 5 btrfs
DS1819+
DSM 7.2
32GB RAM ECC Kingston (2x KSM24SED8/16ME)
4x 8TB Seagate IronWolf ST8000VN004 RAID 6 btrfs
2x Seagate IronWolf 525 SSD M.2 1TB RW cache RAID 1 + E10M20T1
RT2600ac
SRM 1.3
2x MR2200ac (Mesh)
krowka1978
Stały Bywalec
Posty: 329
Rejestracja: wt gru 15, 2015 6:42 pm

Re: Pełny dysk na backup - jak usunąć wersje HyperBackup

Post autor: krowka1978 »

Aktualizacja, HB to super soft, wcale nie badziew, tym razem zadania kopii nie zblokowało, a test poprawności indeksów wyszedł poprawnie...
Co do plików, które to niby były uszkodzone, porównałem na kilku sumę SHA1 pomiędzy oryginałem i kopią - na wszystkich zgodne... Uwielbiam ten soft... :roll:

Ciekawe w jakim celu Synology zrobiło tak soft, że jest blokada zadania i nie można np. przeprowadzić testu ponownie, tylko trzeba kombinować i tracić kilka godzin czasu, to w najlepszym przypadku, bo gdybym miał wysłać całość ponownie, to kilka nocy...
Co więcej, przy blokadzie "Tylko przywróć" z "oczywistych" względów nie można przywrócić "uszkodzonych" plików.

proponuję częściej uruchamiać sprawdzanie integralności kopii, w tym z ręki, jeżeli się da po każdej kopii. Być może zmienisz zdanie o wybitności tego softu.
DS1513+
DSM 7.1.1
4GB RAM
5x 3TB WD RED WD30EFRX RAID 5 btrfs
DS1819+
DSM 7.2
32GB RAM ECC Kingston (2x KSM24SED8/16ME)
4x 8TB Seagate IronWolf ST8000VN004 RAID 6 btrfs
2x Seagate IronWolf 525 SSD M.2 1TB RW cache RAID 1 + E10M20T1
RT2600ac
SRM 1.3
2x MR2200ac (Mesh)
Przemuss
Godfather
Posty: 1318
Rejestracja: wt gru 15, 2015 12:19 pm
Lokalizacja: Żyrardów

Re: Pełny dysk na backup - jak usunąć wersje HyperBackup

Post autor: Przemuss »

@krowka1978 jaką masz konfigurację dysków?

Wysłane z mojego MAR-LX1A przy użyciu Tapatalka

Administratorzy dzielą się na tych, którzy robią kopie zapasowe i tych, którzy będą je robili.

Serwery NAS:
Synology DS211j, DS1511+, RS2212RP+ DS1513+

"Zasłanianie się dysleksją, to jak chwalenie się małym fiu...."- by Pati
gg 2101676
krowka1978
Stały Bywalec
Posty: 329
Rejestracja: wt gru 15, 2015 6:42 pm

Re: Pełny dysk na backup - jak usunąć wersje HyperBackup

Post autor: krowka1978 »

Przemuss pisze: śr maja 06, 2020 8:03 pm @krowka1978 jaką masz konfigurację dysków?

Wysłane z mojego MAR-LX1A przy użyciu Tapatalka
W Synku siedzi 5xWD Red WD30EFRX, RAID5, postawiony jeden volumen, system plików BTRFS.
DS1513+
DSM 7.1.1
4GB RAM
5x 3TB WD RED WD30EFRX RAID 5 btrfs
DS1819+
DSM 7.2
32GB RAM ECC Kingston (2x KSM24SED8/16ME)
4x 8TB Seagate IronWolf ST8000VN004 RAID 6 btrfs
2x Seagate IronWolf 525 SSD M.2 1TB RW cache RAID 1 + E10M20T1
RT2600ac
SRM 1.3
2x MR2200ac (Mesh)
Przemuss
Godfather
Posty: 1318
Rejestracja: wt gru 15, 2015 12:19 pm
Lokalizacja: Żyrardów

Re: Pełny dysk na backup - jak usunąć wersje HyperBackup

Post autor: Przemuss »

W takim razie poczytaj o URE przy Raid5.
Nie koniecznie HB jest problemem, gdyż różnice w odczycie mogą być powodem rozjechana się integralności danych.
Osobiście nie stosuje R5, a jedynie R1, 10, 6 lub 60.

Wysłane z mojego MAR-LX1A przy użyciu Tapatalka

Administratorzy dzielą się na tych, którzy robią kopie zapasowe i tych, którzy będą je robili.

Serwery NAS:
Synology DS211j, DS1511+, RS2212RP+ DS1513+

"Zasłanianie się dysleksją, to jak chwalenie się małym fiu...."- by Pati
gg 2101676
krowka1978
Stały Bywalec
Posty: 329
Rejestracja: wt gru 15, 2015 6:42 pm

Re: Pełny dysk na backup - jak usunąć wersje HyperBackup

Post autor: krowka1978 »

Przemuss pisze: śr maja 06, 2020 9:58 pm W takim razie poczytaj o URE przy Raid5.
Nie koniecznie HB jest problemem, gdyż różnice w odczycie mogą być powodem rozjechana się integralności danych.
Osobiście nie stosuje R5, a jedynie R1, 10, 6 lub 60.

Wysłane z mojego MAR-LX1A przy użyciu Tapatalka
Ale jak to ma się mieć do rzekomego uszkodzenia struktury w kopii zapasowej, która nie leży na mojej macierzy? Co miesiąc z automatu wykonywany jest test integralności danych i kontroli parzystości. Jak na razie nie było żadnego błędu dotyczącego danych w macierzy. Co więcej wszystkie "uszkodzone" pliki w kopii zapasowej były wrzucone do macierzy 3 lata temu i nic z nimi nie było robione. Wcześniejsze testy integralności kopii zapasowej przechodziły, a jednego nie przeszły i wywaliło, że błąd jest we wszystkich trzymanych wersjach kopii. Do kopii od miesiąca nie poszedł ani jeden bajt danych dotyczący plików z tego zasobu, bo rzadko tam jest coś dokładane. Jak na moje, to coś siedzi w mechanizmie kontroli poprawności kopii zapasowej.

Teoretycznie, to jeszcze mogę RAID6 zrobić dodając dysk pod E-SATA, trzeba tylko chwilę pobawić się plikami konfiguracyjnymi przy pomocy konsoli, żeby E-SATA były widoczne jako kieszenie :) Tylko jaki to ma sens w tym przypadku?
DS1513+
DSM 7.1.1
4GB RAM
5x 3TB WD RED WD30EFRX RAID 5 btrfs
DS1819+
DSM 7.2
32GB RAM ECC Kingston (2x KSM24SED8/16ME)
4x 8TB Seagate IronWolf ST8000VN004 RAID 6 btrfs
2x Seagate IronWolf 525 SSD M.2 1TB RW cache RAID 1 + E10M20T1
RT2600ac
SRM 1.3
2x MR2200ac (Mesh)
krowka1978
Stały Bywalec
Posty: 329
Rejestracja: wt gru 15, 2015 6:42 pm

Re: Pełny dysk na backup - jak usunąć wersje HyperBackup

Post autor: krowka1978 »

Z ciekawości w nocy ściągnę i sprawdzę na możliwość odzyskania danych.
Aktualizując, nocny backup zrobił się poprawnie, testy kopii przechodzą poprawnie.
DS1513+
DSM 7.1.1
4GB RAM
5x 3TB WD RED WD30EFRX RAID 5 btrfs
DS1819+
DSM 7.2
32GB RAM ECC Kingston (2x KSM24SED8/16ME)
4x 8TB Seagate IronWolf ST8000VN004 RAID 6 btrfs
2x Seagate IronWolf 525 SSD M.2 1TB RW cache RAID 1 + E10M20T1
RT2600ac
SRM 1.3
2x MR2200ac (Mesh)
ODPOWIEDZ