Synology DS1621xs+ jako serwer plikowy

ODPOWIEDZ
Awatar użytkownika
openitcenter
Początkujący
Posty: 4
Rejestracja: śr kwie 28, 2021 6:18 am

Synology DS1621xs+ jako serwer plikowy

Post autor: openitcenter »

Kontynuując przygodę openit.center z Synology DS1621xs+ oraz po tym razem zbadamy podstawową funkcjonalność, jaką jest magazynowanie plików przez SMB/iSCSI. Testowanie NAS'ów w obecnych czasach staje się dość monotonne, w każdym teście 1GbE widzimy te same 112MB/s ;) , więc sprawdźmy co przynosi w DS1621xs+ sieciowy port 10GbE.

Test przeprowadziliśmy na komputerze DELL Precision Tower 7910 wyposażony w :
  • Dwa procesory Intel Xeon E5-2640 v3
  • 128GB RAM
  • Nośnik SSD TOSHIBA M.2 PCIe NVMe 512GB
  • Nvidia Quadro K420
  • Windows 10 Pro 20H1
  • wraz z kartą sieciową 10GbE : Synology E10G18-T1
Konfiguracja Synology DiskStation DS1621xs+:
  • DiskStation Manager 7.0-41222 BETA
  • 8GB RAM
    ds1621xs-info.png
  • 3 dyski Synology HAT5300-8T skonfigurowane w RAID-5 - 1 wolumen - 14TB;
    ds1621xs-raid-config.png
  • wbudowana karta sieciowa 10GbE.
    ds1621xs-net-config.png
na początek zacznijmy od :
  • DiskSpd Storage Performance Tool:
  • SMB:

    Kod: Zaznacz cały

    WARNING: target access pattern will not be sequential, consider -si
    Could not create the file (error code: 3)
    Error generating I/O requests
    zakończony niestety niepowodzeniem :cry: Obrazek
  • iSCSI:

    Kod: Zaznacz cały

    Input parameters:
    
    	timespan:   1
    	-------------
    	duration: 90s
    	warm up time: 5s
    	cool down time: 0s
    	measuring latency
    	random seed: 0
    	path: 'I:\testfile.dat'
    		think time: 0ms
    		burst size: 0
    		using software cache
    		using hardware write cache, writethrough off
    		performing mix test (read/write ratio: 70/30)
    		block size: 16384
    		using sequential I/O (stride: 16384)
    		number of outstanding I/O operations: 2
    		thread stride size: 0
    		threads per file: 4
    		using I/O Completion Ports
    		IO priority: normal
    
    System information:
    
    	computer name: IIZ00300541S001
    	start time: 2021/05/04 11:30:42 UTC
    
    Results for timespan 1:
    *******************************************************************************
    
    actual test time:	90.00s
    thread count:		4
    proc count:		32
    
    CPU |  Usage |  User  |  Kernel |  Idle
    -------------------------------------------
       0|  96.58%|   3.70%|   92.88%|   3.42%
       1|  96.30%|   5.09%|   91.22%|   3.70%
       2|  96.28%|   4.83%|   91.46%|   3.72%
       3|  96.41%|   4.48%|   91.93%|   3.59%
       4|   6.16%|   4.20%|    1.96%|  93.84%
       5|   1.41%|   0.85%|    0.56%|  98.59%
       6|   7.50%|   5.75%|    1.75%|  92.50%
       7|   0.85%|   0.52%|    0.33%|  99.15%
       8|   5.75%|   3.23%|    2.52%|  94.25%
       9|   0.45%|   0.12%|    0.33%|  99.55%
      10|   5.14%|   3.32%|    1.82%|  94.86%
      11|   1.06%|   0.69%|    0.36%|  98.94%
      12|   1.94%|   1.18%|    0.76%|  98.06%
      13|   0.59%|   0.30%|    0.30%|  99.41%
      14|   2.93%|   1.77%|    1.16%|  97.07%
      15|   0.33%|   0.26%|    0.07%|  99.67%
      16|   1.49%|   0.30%|    1.20%|  98.51%
      17|   0.40%|   0.03%|    0.36%|  99.60%
      18|   3.02%|   1.13%|    1.89%|  96.98%
      19|   0.43%|   0.23%|    0.21%|  99.57%
      20|   0.71%|   0.40%|    0.31%|  99.29%
      21|   1.15%|   1.06%|    0.09%|  98.85%
      22|   1.02%|   0.28%|    0.75%|  98.98%
      23|   0.26%|   0.09%|    0.17%|  99.74%
      24|   0.57%|   0.17%|    0.40%|  99.43%
      25|   0.09%|   0.05%|    0.03%|  99.91%
      26|   0.90%|   0.38%|    0.52%|  99.10%
      27|   0.10%|   0.03%|    0.07%|  99.90%
      28|   4.58%|   0.71%|    3.87%|  95.42%
      29|   0.35%|   0.09%|    0.26%|  99.65%
      30|   0.63%|   0.21%|    0.42%|  99.37%
      31|   0.40%|   0.21%|    0.19%|  99.60%
    -------------------------------------------
    avg.|  13.62%|   1.43%|   12.19%|  86.38%
    
    Total IO
    thread |       bytes     |     I/Os     |    MiB/s   |  I/O per s |  AvgLat  | LatStdDev |  file
    -----------------------------------------------------------------------------------------------------
         0 |     99925753856 |      6098984 |    1058.84 |   67765.82 |    0.029 |     0.013 | I:\testfile.dat (50MiB)
         1 |     99925770240 |      6098985 |    1058.84 |   67765.83 |    0.029 |     0.012 | I:\testfile.dat (50MiB)
         2 |     99768483840 |      6089385 |    1057.17 |   67659.17 |    0.029 |     0.025 | I:\testfile.dat (50MiB)
         3 |     99925770240 |      6098985 |    1058.84 |   67765.83 |    0.029 |     0.012 | I:\testfile.dat (50MiB)
    -----------------------------------------------------------------------------------------------------
    total:      399545778176 |     24386339 |    4233.70 |  270956.65 |    0.029 |     0.017
    
    Read IO
    thread |       bytes     |     I/Os     |    MiB/s   |  I/O per s |  AvgLat  | LatStdDev |  file
    -----------------------------------------------------------------------------------------------------
         0 |     69945720832 |      4269148 |     741.16 |   47434.51 |    0.029 |     0.014 | I:\testfile.dat (50MiB)
         1 |     69945458688 |      4269132 |     741.16 |   47434.33 |    0.029 |     0.011 | I:\testfile.dat (50MiB)
         2 |     69825396736 |      4261804 |     739.89 |   47352.91 |    0.029 |     0.025 | I:\testfile.dat (50MiB)
         3 |     69946490880 |      4269195 |     741.17 |   47435.03 |    0.029 |     0.011 | I:\testfile.dat (50MiB)
    -----------------------------------------------------------------------------------------------------
    total:      279663067136 |     17069279 |    2963.39 |  189656.78 |    0.029 |     0.016
    
    Write IO
    thread |       bytes     |     I/Os     |    MiB/s   |  I/O per s |  AvgLat  | LatStdDev |  file
    -----------------------------------------------------------------------------------------------------
         0 |     29980033024 |      1829836 |     317.68 |   20331.31 |    0.030 |     0.013 | I:\testfile.dat (50MiB)
         1 |     29980311552 |      1829853 |     317.68 |   20331.50 |    0.030 |     0.012 | I:\testfile.dat (50MiB)
         2 |     29943087104 |      1827581 |     317.29 |   20306.26 |    0.031 |     0.026 | I:\testfile.dat (50MiB)
         3 |     29979279360 |      1829790 |     317.67 |   20330.80 |    0.030 |     0.012 | I:\testfile.dat (50MiB)
    -----------------------------------------------------------------------------------------------------
    total:      119882711040 |      7317060 |    1270.31 |   81299.86 |    0.030 |     0.017
    
    
    
    total:
      %-ile |  Read (ms) | Write (ms) | Total (ms)
    ----------------------------------------------
        min |      0.009 |      0.013 |      0.009
       25th |      0.024 |      0.025 |      0.024
       50th |      0.026 |      0.028 |      0.027
       75th |      0.029 |      0.031 |      0.030
       90th |      0.035 |      0.038 |      0.036
       95th |      0.043 |      0.046 |      0.044
       99th |      0.082 |      0.085 |      0.083
    3-nines |      0.120 |      0.126 |      0.122
    4-nines |      0.185 |      0.206 |      0.192
    5-nines |      0.997 |      2.025 |      1.325
    6-nines |      4.930 |      4.116 |      4.469
    7-nines |     11.468 |      6.164 |      7.176
    8-nines |     11.481 |      6.164 |     11.481
    9-nines |     11.481 |      6.164 |     11.481
        max |     11.481 |      6.164 |     11.481
  • ATTO Disk Benchmark:
  • SMB:
    również zakończony częściowym niepowodzeniem, z racji tego, że program w nowej wersji Windows 10 "nie chciał się" oszukać, że zdalny zasób sieciowy jest dyskiem lokalnym :cry:
    ds1621xs-atto-smb.png
  • iSCSI:
    ds1621xs-atto-iscsi.png
  • Parkdale 3.04:
  • SMB:
    ds1621xs-Parkdale-smb.png
  • iSCSI:
    ds1621xs-Parkdale-iscsi.png
  • CrystalDiskMark:
  • SMB:
    ds1621xs-crystal-smb.png
  • iSCSI:
    ds1621xs-crystal-iscsi.png
  • Windows Explorer - plik *.mp4 2GB:
  • odczyt:
    ds1621xs-smb-odczyt.png
  • zapis:
    ds1621xs-smb-zapis.png
  • Windows Explorer - folder 1,83GB zawierający 195 zdjęć w rozmiarze 3-4 MB:
  • odczyt:
    ds1621xs-smbphotofolder-odczyt.png
  • zapis:
    ds1621xs-smbphotofolder-zapis.png
  • Gwoli krótkiego podsumowania:

Wydajność 10GbE to nowa jakość w serwerach NAS - niewątpliwie pozwala przyspieszyć operacje dyskowe poprzez łącza sieciowe i oferuje niedostępną dotychczas wydajność. Nie bez znaczenia jest niestety nakład inwestycyjny, który musimy ponieść aby móc cieszyć się szybszą pamięcią sieciową. O ile w kosztach zakupu serii serwerów XS od Synology niewątpliwie doszło do niewielkich korekt po zastosowaniu łącza 10GbE, to jednak nie należy zapominać, że ten standard sieci niesie ze sobą wymagane zmiany w całej infrastrukturze sieciowej. Synology DS1621xs+ w scenariuszu sieciowym dla freelancera czy specjalisty przetwarzających ogromne ilości danych taka zmiana przyniesie jedynie inwestycje punkt do punktu (laptop/komputer 1 do 1 z serwerem NAS) tak w przypadku małych biznesów z wieloma punktami sieciowymi wymaga już niestety sporych nakładów. Musimy zainwestować w odpowiednie karty sieciowe, okablowanie strukturalne (min cat 6A na odcinkach do 100m) i w końcu konkretne przełączniki sieciowe. Czy wymaga to dużo środków finansowych ? Ogrom ;) Czy zasadne są inwestycje w tego rodzaju sieciowe przestrzenie dyskowe? Jak najbardziej! :) Mając do dyspozycji 110 MB/s w operacjach na dużych plikach i przeskakując o prawie 3 krotność tej wydajności do przodu w odczycie i zapisie ? Jesteśmy na tak! :) Zwłaszcza jeśli weźmiemy pod uwagę, że taką wydajność oferują nam dyski talerzowe. Dostarczone nam zintegrowane środowisko Synology DS1621xs+ oparte o dyski 8TB Synology HAT5300, nadal było rozwiązaniem w środku którego kręciły się talerze. Zdecydowanie większy przyrost mocy zapewnią Wam odpowiednie nośniki SSD. Jak pokazały testy w środowisku wirtualnym i przez "najzwyklejsze" SMB - 10GbE to bardzo wydajna oferta - czy zdecydujecie się na nią już dziś, czy poczekacie kilka tak, jak to było niegdyś przy migracji z FastEthernet na 1GbE - to zależy tylko od Was. Mówi się, że czas to pieniądz - w przypadku Synology i rozwiązań 10GbE - wydany pieniądz nie będzie jedynie kosztem, a nie wiemy czy czasem nie inwestycją. Za jakiś czas uaktualnimy powyższe testy o nośniki SSD jako przestrzeń wolumenów DSM - "zajarani" 10GbE szukamy odpowiednio wytrzymałych modeli ;) Obserwujcie bacznie Polskie Forum Synology
Nie masz wymaganych uprawnień, aby zobaczyć pliki załączone do tego posta.
Awatar użytkownika
mikhnal
Darth Vader
Posty: 2728
Rejestracja: pt gru 11, 2015 8:55 am
Lokalizacja: Warszawa

Re: Synology DS1621xs+ jako serwer plikowy

Post autor: mikhnal »

Niepokoją mnie wyniki testów SMB, ja na sprzęcie, który jest ułamkiem stacji roboczej wykorzystanej w Twoich testach osiągam szybkości SMB jakie Ty masz dopiero w iSCSI.

Komputer stacjonarny:
  • Procesor: Intel i7-4790K CPU, 4R/8W
  • RAM: 32 GB DDR3
  • Dysk systemowy: NVMe M.2 SAMSUNG MZVPV512HDGL-000H1 512 GB
  • Karta sieciowa: Asus XG-C100C, chipset Aquantia
  • Windows 10 Pro 21H1
Konfiguracja DS3018xs:
  • DSM 6.2.4-25556
  • 2x 16GB RAM KSM24SED8/16ME DDR4 2400 CL17 ECC mod
  • 6x 10TB WD Red WD100EFAX RAID5 btrfs
  • Karta sieciowa: Synology E10M20-T1 10GbE LAN + 2x SNV3400 read/write SSD cache
Osprzęt sieciowy:
  • Switch: Netgear GS110MX 10GbE
  • Kable ethernet: 2x uGreen S/FTP Cat.8 2m
ds3018xs-crystal-smb.png
ds3018xs-atto-bytes-smb.jpg
ds3018xs-atto-io-smb.jpg
ds3018xs-parkdale-smb.jpg
ds3018xs-npt17-smb.jpg
Nie masz wymaganych uprawnień, aby zobaczyć pliki załączone do tego posta.
DS3018xs
DSM 7.2.1-69057 Update 4
32GB RAM 2x KSM24SED8/16ME DDR4 2400 CL17 ECC mod
6x 10TB WD Red WD100EFAX RAID5 btrfs
2x SNV3500-400G read/write SSD cache @ E10M20-T1 + 10GbE LAN
2x Noctua NF-A9 fan mod
RT6600ax + WRX560
SRM 1.3.1-9346 Update 9
Awatar użytkownika
quba
Trochę Wie
Posty: 61
Rejestracja: sob cze 17, 2017 8:44 pm
Lokalizacja: Warszawa

Re: Synology DS1621xs+ jako serwer plikowy

Post autor: quba »

faktycznie dziwne, ale u Ciebie jest kilka różnic.
  • + 2x SNV3400 read/write SSD cache
  • DSM 6.2.4-25556
  • a na koniec winowajcą mogą być Synology HAT-5300-8T
SSD na pewno rozwieje wątpliwości.
Pozdrawiam
*******************************
desktop : DS3018xs / DS1621xs+ / DS1815+ @DSM 7
rack : RS2418+ @ RX1217 / RS818RP+ / RS1219+ @DSM 7
Ubiquiti UniFi @UDM-PRO

*******************************
przemo
Początkujący
Posty: 4
Rejestracja: pt gru 21, 2018 10:39 am

Re: Synology DS1621xs+ jako serwer plikowy

Post autor: przemo »

Spróbujcie potestować SMB multichannel pod SMB dla DSM 7.0 - jest implementacja tego, choć nie ma w UI :) więc smb.conf wita ;).
Awatar użytkownika
mikhnal
Darth Vader
Posty: 2728
Rejestracja: pt gru 11, 2015 8:55 am
Lokalizacja: Warszawa

Re: Synology DS1621xs+ jako serwer plikowy

Post autor: mikhnal »

Ja nie mam DSM 7.0.
DS3018xs
DSM 7.2.1-69057 Update 4
32GB RAM 2x KSM24SED8/16ME DDR4 2400 CL17 ECC mod
6x 10TB WD Red WD100EFAX RAID5 btrfs
2x SNV3500-400G read/write SSD cache @ E10M20-T1 + 10GbE LAN
2x Noctua NF-A9 fan mod
RT6600ax + WRX560
SRM 1.3.1-9346 Update 9
Awatar użytkownika
quba
Trochę Wie
Posty: 61
Rejestracja: sob cze 17, 2017 8:44 pm
Lokalizacja: Warszawa

Re: Synology DS1621xs+ jako serwer plikowy

Post autor: quba »

@mikhnal da się też na DSM 6.2.x ;)

Kod: Zaznacz cały

 sudo vi /etc/samba/smb.conf

Kod: Zaznacz cały

  GNU nano 4.9                                                                                                     /etc/samba/smb.conf                                                                                                                
# Copyright (c) 2000-2019 Synology Inc. All rights reserved.
#
#
#                          ______     _______
#                        (  __  \   (  ___  )
#                        | (  \  )  | (   ) |
#                        | |   ) |  | |   | |
#                        | |   | |  | |   | |
#                        | |   ) |  | |   | |
#                        | (__/  )  | (___) |
#                        (______/   (_______)
#
#                   _          _______   _________
#                  ( (    /|  (  ___  )  \__   __/
#                  |  \  ( |  | (   ) |     ) (
#                  |   \ | |  | |   | |     | |
#                  | (\ \) |  | |   | |     | |
#                  | | \   |  | |   | |     | |
#                  | )  \  |  | (___) |     | |
#                  |/    )_)  (_______)     )_(
#
#   _______    _______    ______    _________   _______
#  (       )  (  ___  )  (  __  \   \__   __/  (  ____ \  |\     /|
#  | () () |  | (   ) |  | (  \  )     ) (     | (    \/  ( \   / )
#  | || || |  | |   | |  | |   ) |     | |     | (__       \ (_) /
#  | |(_)| |  | |   | |  | |   | |     | |     |  __)       \   /
#  | |   | |  | |   | |  | |   ) |     | |     | (           ) (
#  | )   ( |  | (___) |  | (__/  )  ___) (___  | )           | |
#  |/     \|  (_______)  (______/   \_______/  |/            \_/
#
#
# IMPORTANT: Synology will not provide technical support for any issues
#            caused by unauthorized modification to the configuration.
:P
poniżej [global] :

Kod: Zaznacz cały

server multi channel support = yes
    aio read size = 0
    aio write size = 0
Ostatnio zmieniony czw cze 10, 2021 4:58 pm przez quba, łącznie zmieniany 2 razy.
Pozdrawiam
*******************************
desktop : DS3018xs / DS1621xs+ / DS1815+ @DSM 7
rack : RS2418+ @ RX1217 / RS818RP+ / RS1219+ @DSM 7
Ubiquiti UniFi @UDM-PRO

*******************************
Awatar użytkownika
mikhnal
Darth Vader
Posty: 2728
Rejestracja: pt gru 11, 2015 8:55 am
Lokalizacja: Warszawa

Re: Synology DS1621xs+ jako serwer plikowy

Post autor: mikhnal »

W domowych warunkach "włączenie" na Synku multichannel nic nie daje. Do pełnego sukcesu trzeba posiadać w komputerze kartę sieciową obsługującą funkcje RSS oraz RDMA. O ile prawie każda posiada wsparcie RSS (Receive Side Scaling) to RDMA (Remote Direct Memory Access) ma niewiele.

Trochę teorii:
https://docs.microsoft.com/en-us/previo ... -and-2012/

Moja karta nie ma RDMA:
rss-rdma.png
Nie masz wymaganych uprawnień, aby zobaczyć pliki załączone do tego posta.
DS3018xs
DSM 7.2.1-69057 Update 4
32GB RAM 2x KSM24SED8/16ME DDR4 2400 CL17 ECC mod
6x 10TB WD Red WD100EFAX RAID5 btrfs
2x SNV3500-400G read/write SSD cache @ E10M20-T1 + 10GbE LAN
2x Noctua NF-A9 fan mod
RT6600ax + WRX560
SRM 1.3.1-9346 Update 9
Awatar użytkownika
quba
Trochę Wie
Posty: 61
Rejestracja: sob cze 17, 2017 8:44 pm
Lokalizacja: Warszawa

Re: Synology DS1621xs+ jako serwer plikowy

Post autor: quba »

mikhnal pisze: czw cze 10, 2021 9:03 pm O ile prawie każda posiada wsparcie RSS (Receive Side Scaling) to RDMA (Remote Direct Memory Access) ma niewiele.
faktycznie niewiele:
  • Broadcom 57800 SFP+/Base-T
  • Intel® Ethernet Network Adapter X722-DA2/DA4
  • Intel X540 Base-T
  • Mellanox Technologies MT27700 Family ConnectX-4
;)
Pozdrawiam
*******************************
desktop : DS3018xs / DS1621xs+ / DS1815+ @DSM 7
rack : RS2418+ @ RX1217 / RS818RP+ / RS1219+ @DSM 7
Ubiquiti UniFi @UDM-PRO

*******************************
R70
Uczeń Mistrza
Posty: 661
Rejestracja: pn gru 18, 2017 12:53 am

Re: Synology DS1621xs+ jako serwer plikowy

Post autor: R70 »

quba pisze: czw cze 10, 2021 6:51 am faktycznie dziwne, ale u Ciebie jest kilka różnic.
  • + 2x SNV3400 read/write SSD cache
  • DSM 6.2.4-25556
  • a na koniec winowajcą mogą być Synology HAT-5300-8T
SSD na pewno rozwieje wątpliwości.
A czy winowajcą nie może być procesor ? O ile pamiętam, wydajność D1508 jest w scenariuszach jednordzeniowych (jednowątkowych) wyższa niż D1527 ? A Raid w tych synkach nie korzysta chyba z wielordzeniowości.
Pozdrawiam,
Paweł
DS1819+, 32GB ECC, 10GbE, DX517 DS916+ 8GB, DX513, DS710+, DX213, DS119j, DS120j
RT2600ac + RT2200ac
ODPOWIEDZ