Računske gruče odseka za reaktorsko tehniko

Za reševanje kompleksnih računsko zahtevnih problemov, kjer potrebujemo veliko procesorske moči in pomnilnika, uporabljamo računalniške gruče Skuta (v pripravi), Razor in Krn. Računalniška gruča je sestavljena iz računskih vozlišč na katerih si več procesorskih jeder deli pomnilnik. To nam omogoča vzporedno reševanje problemov, kar lahko bistveno skrajša čas računanja.

Vozlišča računskih gruč si delita odseka R-4 in F-8.

Gruče so bile deloma sofinancirane s strani ARRS.

Osnovni podatki

	Krn	Razor	Skuta
leto nabave (nadgradnje)	2010 (2011, 2012)	2014 (2014, 2015)	2019 (2020, 2021)
∑vozlišč	51	50	100
tip in hitrost procesorja	Xeon X5650/X5670/X5675 2.9GHz, 3.0 GHz, 12MB Cache	Xeon E5-2680 v2/E5-2697 v2/E5-2697 v3 2.8(3.6)/2.7(3.5)/2.6(3.6) GHz 25/30/35 MB Cache	Xeon Gold 6148(6240R, 6238R) 2.40(2.20) GHz Base / 3.7 GHz Turbo / 27.5 MB Cache
število jeder na vozlišče (HT)	12 (24)	20 (40) / 24 (48) / 28 (56)	40(80) / 48(96) / 56(112)
∑št. jeder	616	1096	4912
∑spomin	2.04 TB	8.386 TB	20.16 TB
GPUs	17	/	/
shranjevane podatkov(trdi disk)	17 TB	96 TB	300 TB
povezava	QDR IB (40 Gbps) + GB Eth	FDR IB (56 Gbps) + GB Eth	Omni-Path (100 Gbps)
OS	SLES 11 SP1	SLES 11 SP2	Centos 7.6
UPS	2x20kVA	2x20kVA	/
Solastniški delež vozlišč (odseka R-4 in F-8)	44 / 5	35 / 13	53 / 45

Topologija

Računalniška gruča Skuta

V računalniški gruči Skuta (poimenovana po gori v Kamniško-Savinjskih alpah) je 100 računskih vozlišč s 4912 procesorskimi jedri, glavnim vozliščem ter vozliščem za nadzor in varnostne kopije. Računska vozlišča imajo skupno ~20 TB pomnilnika. Za trajno shranjevanje podatkov skrbi posebno vozlišče s diskovnim poljem velikosti 300 TB. Hitro povezavo med računskimi vozlišči omogoča tehnologija Omni-Path.

Podrobnejše specifikacije gruče Skuta:

• prijavno vozlišče:
  • procesorji: 2x Intel(R) Xeon(R) CPU 6148 @ 2.40GHz, vsako s po 20 jedri (x2 HT)
  • pomnilnik: 192 GB ECC DDR4 @ 2666 MHz
  • grafična kartica: nVidia Quadro P4000, 8GB GDDR5, 1792 Cuda cores
  • diskovno polje: 126 TB (6 TB / disk) @ RAID 1 + 1 Hot spare
  • diskovni sistem za OS: 2x 960 GB SSD @ RAID 1
  • Omni-Path HCA
  • 10 Gbps Ethernet za prenos podatkov  + 1 Gbps eternet za nadzor sistema (IPMI)
• nadzorno vozlišče in diskovno polje za varnostne kopije:
  • procesorji: 2x Intel(R) Xeon(R) CPU 6148 @ 2.40GHz, vsako s po 20 jedri (x2 HT)
  • pomnilnik: 192 GB ECC DDR4 @ 2666 MHz
  • diskovno polje: 204 TB (6 TB / disk) @ RAID 6
  • diskovni sistem za OS: 2x 960 GB SSD @ RAID 1
  • Omni-Path HCA
  • 10 Gbps Ethernet za prenos podatkov + 1 Gbps eternet za nadzor sistema (IPMI)
• 22+1 računskih vozlišč (1 vozlišče z večjo količino RAM):
  • procesorji: 2x Intel(R) Xeon(R) CPU 6148 @ 2.40GHz, vsak s po 20 jedri (x2 HT)
  • pomnilnik: 192 GB ECC DDR4 @ 2666 MHz
  • disk: 960 GB SSD
  • Omni-Path HCA
  • 10 Gbps Ethernet za prenos podatkov + 1 Gbps eternet za nadzor sistema (IPMI)
• 33 računskih vozlišč (+ 1 vozlišče z več spomina):
  • procesorji: 2x Intel(R) Xeon(R) Gold 6240R CPU @ 2.40GHz, vsak s po 24 jedri (x2 HT)
  • pomnilnik: 192 GB ECC DDR4 @ 2933 Mbps
  • disk: 890 GB SSD
  • Omni-Path HCA
  • 10 Gbps Ethernet za prenos podatkov + 1 Gbps eternet za nadzor sistema (IPMI)
• 43 računskih vozlišč (+ 1 vozlišče z več spomina):
  • procesorji: 2x Intel(R) Xeon(R) Gold 6238R CPU @ 2.20GHz, vsak s po 28 jedri (x2 HT)
  • pomnilnik: 192 GB ECC DDR4 @ 2933 Mbps
  • disk: 1.6 TB SSD
  • Omni-Path HCA
  • 10 Gbps Ethernet za prenos podatkov + 1 Gbps eternet za nadzor sistema (IPMI)

Računalniška gruča Razor

V računalniški gruči Razor je 50 računskih vozlišč s 1096 procesorskimi jedri, glavno vozlišče ter vozlišče za shranjevanje. S tehnologijo Hyper-Threading lahko računska vozlišča poganjajo do 2192 vzporednih procesov. Računska vozlišča imajo skupno 8386 GB pomnilnika. Za trajno shranjevanje podatkov skrbi posebno vozlišče s diskovnim poljem velikosti 96 TB. Hitro povezavo med računskimi vozlišči omogoča tehnologija InfiniBand FDR.

Podrobnejše specifikacije gruče Razor:

• glavno vozlišče:
  • procesorji: 2x Intel(R) Xeon(R) CPU E5-2680 v2 @ 2.80GHz, vsak 10 jeder (x2 HT)
  • pomnilnik: 128GB DDR3 @ 1866 MHz
  • grafična kartica: nVidia Quadro K6000, 12GB GDDR5, 2880 Cuda cores
  • disk: 4 (450GB 15k7 HITACHI) system disks (for / /boot /data1): Σ820GB @ RAID 1
  • 2x FDR Infiniband HCA's
• vozlišče za shranjevanje:
  • diskovno polje: 2 chassis with Σ21 4TB (WD) disks
  • diskovno polje: storage node chassis with embeded 11 4TB (WD) disks
  • NFS storage server: 40 TB
  • 2x FDR Infiniband HCA's
• 30 računskih vozlišč:
  • procesorji: 2x Intel(R) Xeon(R) CPU E5-2680 v2 @ 2.80GHz, vsak 10 jeder (x2 HT)
  • pomnilnik: 128GB DDR3 @ 1866 MHz
  • disk: 4 450GB 15k7 system disks (for / /boot /scratch): Σ1,6TB @ RAID 0
  • FDR Infiniband HCA
• 16 računskih vozlišč:
  • procesorji: 2x Intel(R) Xeon(R) CPU E5-2697 v3 @ 2.60GHz, vsak 14 jeder (x2 HT)
  • pomnilnik: 256GB DDR4 @ 1866 MHz
  • disk: 3x600GB 10k system disks (for / /boot /scratch): Σ1,8TB @ RAID 0
  • FDR Infiniband HCA (56 Gb/s)
• 2 računski vozlišči:
  
  • procesorji: 2x Intel(R) Xeon(R) CPU E5-2697 v2 @ 2.70GHz, vsak 12 jeder (x2 HT)
  • pomnilnik: 128GB DDR3 @ 1866 MHz
  • disk: 4 450GB 15k7 system disks (for / /boot /scratch): Σ1,6TB @ RAID 0
  • FDR Infiniband HCA
• Infiniband FDR preklopnik
  
  • 36 port
  • prenos podatkov: 54,54Gbit/s @ 64/66 bit wrapping
  • izmerjena pasovna širina: 5.75GB/s
  • izmerjena latenca (dvosmerni ping): 4us
• Gigabit ethernet preklopnik
• alternativni vir napajanja: UPS, 2x20 kW
• operacijski sistem gruče: Suse Linux Enterprise Server 11 Service pack 2

Računalniška gruča Krn

V računalniški gruči Krn je skupno 50 vozlišč s 600 procesorskimi jedri, ki s tehnologijo Hyper-Threading lahko poganjanjo do 1200 vzporednih procesov. Šestnajst vozlišč je opremljenih z enotami GPU, kar nam s tehnologijo CUDA omogoča dodatno optimizacijo računskega časa. Vozlišča gruče imajo skupno 2040 GB pomnilnika. Za trajno shranjevanje podatkov je na voljo diskovno polje velikosti 17 TB. Hitro povezavo med računskimi vozlišči omogoča tehnologija InfiniBand.

Podrobnejše specifikacije gruče proizvajalca SGI so:

• glavno vozlišče SGI Altix XE 270:
  • procesorji: 2x Intel Xeon 5650 @ 2.67 GHz, vsak 6 jeder (x2 HT)
  • pomnilnik: 72 GB
  • grafična kartica: NVidia Quadro FX 3800
  • sistemski disk:2x 150 GB @ 15000 rpm, RAID1
  • infiniband QDR 4x povezava
• grafično-vizualizacijski strežnik "Kanin"
  
  • NVidia Quadro 6000 (448 CUDA jeder, 6GB pomnilnika)
    
  • procesorji: 2 x Intel Xeon E5-2670
  • pomnilnik: 128 GB
  • 4 x 400GB SAS @ 15000 rpm, RAID 0 in 1
    
  • infiniband QDR 4x povezava
• 11 računskih vozlišč s 96 GB / 24 GB pomnilnika SGI Altix XE 270:
  • procesorji: 2x Intel Xeon 5670 @ 2.93 GHz / Intel Xeon 5650 @ 2.67 GHz, vsak 6 jeder (x2 HT)
  • pomnilnik: 96GB
  • sistemski disk: 150GB SAS @ 15000 rpm
  • lokalni disk: 5x146GB SAS @ 15000 rpm, RAID0
  • infiniband QDR 4x povezava
• 22 računskih vozlišč SGI Altix C1104-2TY9:
  • procesorji: 2x Intel Xeon 5670 @ 2.93 GHz, vsak 6 jeder (x2 HT)
  • pomnilnik: 24 GB
  • sistemski disk: 300GB SAS @ 15000 rpm
  • lokalni disk: 300GB SAS @ 15000 rpm
  • infiniband QDR 4x povezava
• 16 računskih vozlišč z GPU:
  • procesorji: 2x Intel Xeon X5675 @ 3.07GHz, vsak 6 jeder (x2 HT)
  • pomnilnik: 48 GB
  • sistemski in lokalni disk: 3x 300GB SAS @ 15000 rpm, RAID0
  • GPU: Tesla M2075 (448 CUDA jeder, 6GB pomnilnika)
  • infiniband QDR 4x povezava
• skupno diskovno polje: 17 TB, RAID6
• 2x Gigabit preklopnik
• 2x QDR 1U 40Gb/s 36 vratni InfiniBand preklopnik
  (Mellanox IS5030 in Voltaire 4036)
• KVM preklopnik, za direktni grafični dostop do vozlišč
• alternativni vir napajanja: UPS sistem 20kVA
• operacijski sistem gruče: SUSE Linux Enterprise Server 11 (x86_64)

 

 

 

 

 

Stran ureja: Matej Tekavčič