Therion7777 pisze:Po prawie całych dwóch dniach walki z rekonfiguracją infrastruktury w firmie (switche w LAG, nowe iSCSI na 3 Synkach, przenoszenie danych, itp.) nagle doznałem na jednym 1812+ strasznego spadku mocy, co objawiało się kiepskimi transferami po SMB i iSCSI (1-2 MB/s; sic!). Po restarcie maszyny transfery skoczyły do 20-25 MB/s. Myślałem najpierw, że to kijowy LAG na switchach, ale reszta serwerów się zachowywała bez zarzutu, więc po teście wyszło oczywście, że to nie to. Padło podejrzenie na gniazda w ścianach, więc połączyłem bezpośrednio i też źle. No to już byłem pewien, że to coś z portami LAN i nagle klikając po GUI wpadło mi w oko przy Wolumenach, że "optymalizacja system plików 86.04%".
Ty cholero jedna! Dwie godziny w plecy, bo specjalnie jechałem do firmy, żeby się kablami bawić, bo zdalnie przecież nie da rady :/
No i pytanie -- skąd to i jakim cudem? Optymalizacja leci dość szybko, że w ok. 20 minut ma już 89.34% (7x3TB WD Red w RAID5), ale macierz rozszerzałem tydzień temu i w międzyczasie nie miałem takich spadków wydajności. Wczoraj postawiłem LUN i Targety, ale przecież po tym by nie optymalizował ext4! Logów oczywiście żadnych.
Macie jakiś pomysł skąd to? Bo oczywiście zakładam, że coś się skaszaniło i od tygodnia tej optymalizacji nie mógł zrobić po rozszerzeniu macierzy, ale prawie dam sobie paznokcia obciąć, że wtedy to zrobił od razu.
Przemuss pisze:Odważny jesteś stawiając RAID5 z 7 dysków. Osobiście utworzyłbym RAID6 z 7-8 dysków (chociaż lepiej nie), RAID10 z 6-8 lub 2 osobne wolumeny RAID5 po 3-4 dyski. RAID5 jest niestety dość zawodny. Poczytaj o RAID5 URE (unrecoverable read error). W pracy pod ISCSI utworzyłem RAID10 z 8 dysków + 2 jako HotSpare.
Bonus Tip - Unrecoverable Errors in RAID 5
Recalculating Odds of RAID5 URE Failure | Standalone Sysadmin
Why RAID-5 Stops Working in 2009 - Not Necessarily
Has RAID5 stopped working? | ZDNet
Proponuję zmienić RAID5 na inny tryb.
Therion7777 pisze:Tak, wiem. Musiałem na szybko rozszerzyć tak, a nie inaczej...
Cały store idzie do zaorania w przyszłym roku
Przemuss pisze:Jak masz możliwość dołożyć dodatkowy dysk to możesz to przekonwertuj ten RAID5 do RAID6. By to zrobić musi być co najmniej 1 pusty dysk.
Therion7777 pisze:Po zaoraniu będzie RAID10 albo 2xRAID5.
Czyli celujesz, że załapałem URE przy rozszerzeniu macierzy? Hm.
Niestety zakończenie optymalizacji filesystemu jednak nie rozwiązało problemu i transfery są nadal niziutkie(
Przemuss pisze:Poobserwuj monitor systemu i napisz czy serwer się nudzi czy czymś jest zajęty (ram, procek i dyski).
Dodatkowo sprawdź SMART dysków. Możliwe że któryś zaczyna odmawiać współpracy.
Therion7777 pisze:Własnie najgorsze jest to, że wszystko w normie. Usunąłem i założyłem ponownie LUN 8TB i się teraz formatuje. Też zagadka dla mnie czemu format tak długo trwa, mimo że dałem quick. Podobnie miałem na drugim Synku, na którym wszystko chodzi prawidłowo i transfery to zwykłe 100MB/s -- quick format trwał kilkadziesiąt minut po iSCSI.
Za to to jest wyjątkowo dziwne:
Zwłaszcza, że mam 7 dysków, a nie 8. I nigdy ośmiu nie było.Kod: Zaznacz cały
MORIA> cat /proc/mdstat Personalities : [linear] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4] md2 : active raid5 sdb3[0] sde3[6] sdh3[5] sdg3[4] sdf3[3] sdd3[2] sdc3[1] 17553265536 blocks super 1.2 level 5, 64k chunk, algorithm 2 [7/7] [UUUUUUU] md1 : active raid1 sdb2[0] sdc2[1] sdd2[2] sde2[6] sdf2[3] sdg2[4] sdh2[5] 2097088 blocks [8/7] [UUUUUUU_] md0 : active raid1 sdb1[0] sdc1[1] sdd1[2] sde1[6] sdf1[3] sdg1[4] sdh1[5] 2490176 blocks [8/7] [UUUUUUU_]
Przemuss pisze:Czy masz jakieś dane na tym synku? Jak nie ma tam żadnych danych albo jak jest ich nie wiele to przenieś je na inny serwer a z tym zrób porządek. Przy iSCSI LAG nic nie daje. Lepsze efekty uzyskasz wdrażając MPIO lub MSC.. Oczywiście w serwerze musisz mieć 2 osobne karty sieciowe. Komunikacja po 1 linku jest dość ryzykowna.
Therion7777 pisze:W LAG były tylko switche konfigurowane :p
Dane niestety są.
Na serwerze są pokonfigurowane osobne interfejsy oczywiście.
Ciekawostka:
Na drugim, nowo konfigurowanym Synku 1815+ jest podobnie:
Nowa konfiguracja, czyli wolumin i dyski (6 x 4TB WD Red) od zera ustawiane w RAID6Kod: Zaznacz cały
BELEGOST> cat /proc/mdstat Personalities : [linear] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4] md2 : active raid6 sdf3[5] sde3[4] sdd3[3] sdc3[2] sdb3[1] sda3[0] 15608786176 blocks super 1.2 level 6, 64k chunk, algorithm 2 [6/6] [UUUUUU] md1 : active raid1 sda2[0] sdb2[1] sdc2[5] sdd2[4] sde2[3] sdf2[2] 2097088 blocks [8/6] [UUUUUU__] md0 : active raid1 sda1[0] sdb1[1] sdc1[5] sdd1[4] sde1[3] sdf1[2] 2490176 blocks [8/6] [UUUUUU__] unused devices: <none>
Co sugeruje, że te braki na md1 i md0 są chyba jakimś synkowym bugiem :/
Przemuss pisze:Md0 jak i Md1 to żaden bug a partycje systemowe. DSM do swoich potrzeb pobiera ok 5GB miejsca na każdym z dysków. W efekcie system będzie działał do czasu aż na ostatnim dysku będzie system.
Therion7777 pisze:Nie sądzisz, że wskazywanie md0 i md1 jako degrated jest jednak dziwne? A przede wszystkim mylące.
Domyślam się, że gdy włożę kolejny dysk to te raidy się tam rozplenią, ale degrated?!
Choć z drugiej strony rozumiem po co i czemu.
Przemuss pisze:Nie wiem po czym stwierdzasz ze te RAIDy są zdegradowaneJeśli masz na myśli te oznaczenie "[UUUUUU__]" to tu jest pokazane które dyski są podłączone i ile slotów jest wolnych. A tu widać że masz 6 zajętych a 2 ostatnie są wolne.Kod: Zaznacz cały
Synology> cat /proc/mdstat Personalities : [linear] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4] md2 : active raid1 sda3[2] sdb3[3] 972040416 blocks super 1.2 [2/2] [UU] md1 : active raid1 sda2[0] sdb2[1] 2097088 blocks [2/2] [UU] md0 : active raid1 sda1[0] sdb1[1] 2490176 blocks [2/2] [UU] unused devices: <none>
Therion7777 pisze:Te "__" właśnie wskazują na to, że array jest zdegradowany
To nie ilość slotów. To skonfigurowana ilość urządzeń w raid.
No nie moja wina, że tak sobie to devy z Synology obmyślili. Jest w tym jakiś sens, ale mocno mylące to.
Przemuss pisze:Model DS1815+ ma 8 slotów. Masz zbudowany RAID6 z 6 dysków wiec masz 2 sloty wolne. Chyba że masz w tym serwerze 8 dysków... Podobnie jak przy DS1812+ masz 7 dysków stąd ta jedna kreska.
Gdybyś miał zdegradowany system to na 100% miałbyś stosowne info.
Każdy model DSM ma z góry określoną ilość slotów. Wg mnie to logiczna informacja:-)
Therion7777 pisze:Będę się kłócił do upadłego :DD
To znaczy, że urządzenie jest skonfigurowane, żeby być w array, a jest down, co oznacza rozjechanie arraya. To jest właśnie to info.
Gdy dołożysz kolejny dysk to będziesz miał rebuild tam. Gdy usunę dysk z md2 to w miejsce "U" pojawi się "_" i będzie w opisie np. [5/6].
Pokazałbym Ci to, ale już zacząłem kopiować dane na ten nowozbudowany RAID
Zresztą -- Mdstat - Linux Raid Wiki
No to dodam kolejną ciekawostkę:
Po usunięciu LUN-a, aczkolwiek nie wiem czy to na pewno z tym jest związane, bo LUN-a już dawno nie ma, a proces ciągle rzeźbi...Kod: Zaznacz cały
Mem: 2968368K used, 107916K free, 0K shrd, 17740K buff, 1699784K cached CPU: 4.9% usr 25.1% sys 0.0% nic 44.5% idle 23.6% io 0.0% irq 1.7% sirq Load average: 4.42 4.75 3.95 4/397 2109 PID PPID USER STAT VSZ %MEM %CPU COMMAND 10822 10821 root D 3640 0.1 21.1 /bin/echo fd_unmap_all=1
Przemuss pisze:Nie mam zamiaru się sprzeczać.
DSM z miejsca wie ile może być max dysków dla danego modelu, dlatego też może to wyglądać jako zdegradowany RAID, ale faktyczni nim nie jest.
Natomiast typowy system linuxa wie ile ma max dysków dopiero gdy zbudujemy RAID.
Z jednej strony jest to mylące, ale z drugiej strony informuje gdzie brakuje dysku.
Zachodzę w głowę dlaczego masz tak słaba wydajność po iSCSI.
Mam model 10 dyskowy i tu nie mam żadnych problemów. Po iSCSI w MPIO leci 160MB/sw obie strony.
AAA czekaj coś mi się przypomniało.
Zerknij proszę do Monitora systemu dział dysków i zaawansowane. Zobacz czy w czasie operacji zapisu IOPS nie wzrasta do 1000 i ponad.
Z moich testów jakie przeprowadziłem powodem jest formatowanie dysku ISCSI z poziomu Win Xp, Win 2003. Na Win 2008 było już właściwie dobrze ale problem wracał gdy zapisywałem dane z poziomu maszyny wirtualnej. Na Win 2012 efekt nie wystąpił ani razu bez znaczenia jaki typ LUN utworzyłem.
Co ciekawe gdy na win2008 był utworzony LUN z funckjami zaawansowanymi także dziwnie mieliło dyskami i IOPS rosły bardzo wysoko. LUN zwykły działa właściwie. Zgłaszałem to do supportu ale oni nie wiedzieli co jest powodem.
Gdy zaczęło zmielić dyskami (co ciekawe wszystkimi bez znaczenia czy były w danym RAID czy nie) to przesył danych spadał do ok 1-2MB/s.
Co sie dzieje po CIFS nigdy nie sprawdzałem.