Ra?unske gru?e odseka za reaktorsko tehniko

Za reševanje kompleksnih ra?unsko zahtevnih problemov, kjer potrebujemo veliko procesorske mo?i in pomnilnika, uporabljamo ra?unalniške gru?e Skuta (v pripravi), Razor in Krn. Ra?unalniška gru?a je sestavljena iz ra?unskih vozliš? na katerih si ve? procesorskih jeder deli pomnilnik. To nam omogo?a vzporedno reševanje problemov, kar lahko bistveno skrajša ?as ra?unanja.

Vozliš?a ra?unskih gru? si delita odseka R-4 in F-8.

Gru?e so bile deloma sofinancirane s strani ARRS.

Osnovni podatki

	Krn	Razor	Skuta
leto nabave (nadgradnje)	2010 (2011, 2012)	2014 (2014, 2015)	2019 (2020, 2021)
∑vozliš?	51	50	100
tip in hitrost procesorja	Xeon X5650/X5670/X5675 2.9GHz, 3.0 GHz, 12MB Cache	Xeon E5-2680 v2/E5-2697 v2/E5-2697 v3 2.8(3.6)/2.7(3.5)/2.6(3.6) GHz 25/30/35 MB Cache	Xeon Gold 6148(6240R, 6238R) 2.40(2.20) GHz Base / 3.7 GHz Turbo / 27.5 MB Cache
število jeder na vozliš?e (HT)	12 (24)	20 (40) / 24 (48) / 28 (56)	40(80) / 48(96) / 56(112)
∑št. jeder	616	1096	4912
∑spomin	2.04 TB	8.386 TB	20.16 TB
GPUs	17	/	/
shranjevane podatkov(trdi disk)	17 TB	96 TB	300 TB
povezava	QDR IB (40 Gbps) + GB Eth	FDR IB (56 Gbps) + GB Eth	Omni-Path (100 Gbps)
OS	SLES 11 SP1	SLES 11 SP2	Centos 7.6
UPS	2x20kVA	2x20kVA	/
Solastniški dele� vozliš? (odseka R-4 in F-8)	44 / 5	35 / 13	53 / 45

Topologija

Ra?unalniška gru?a Skuta

V ra?unalniški gru?i Skuta (poimenovana po gori v Kamniško-Savinjskih alpah) je 100 ra?unskih vozliš? s 4912 procesorskimi jedri, glavnim vozliš?em ter vozliš?em za nadzor in varnostne kopije. Ra?unska vozliš?a imajo skupno ~20 TB pomnilnika. Za trajno shranjevanje podatkov skrbi posebno vozliš?e s diskovnim poljem velikosti 300 TB. Hitro povezavo med ra?unskimi vozliš?i omogo?a tehnologija Omni-Path.

Podrobnejše specifikacije gru?e Skuta:

• prijavno vozliš?e:
  • procesorji: 2x Intel(R) Xeon(R) CPU 6148 @ 2.40GHz, vsako s po 20 jedri (x2 HT)
  • pomnilnik: 192 GB ECC DDR4 @ 2666 MHz
  • grafi?na kartica: nVidia Quadro P4000, 8GB GDDR5, 1792 Cuda cores
  • diskovno polje: 126 TB (6 TB / disk) @ RAID 1 + 1 Hot spare
  • diskovni sistem za OS: 2x 960 GB SSD @ RAID 1
  • Omni-Path HCA
  • 10 Gbps Ethernet za prenos podatkov  + 1 Gbps eternet za nadzor sistema (IPMI)
• nadzorno vozliš?e in diskovno polje za varnostne kopije:
  • procesorji: 2x Intel(R) Xeon(R) CPU 6148 @ 2.40GHz, vsako s po 20 jedri (x2 HT)
  • pomnilnik: 192 GB ECC DDR4 @ 2666 MHz
  • diskovno polje: 204 TB (6 TB / disk) @ RAID 6
  • diskovni sistem za OS: 2x 960 GB SSD @ RAID 1
  • Omni-Path HCA
  • 10 Gbps Ethernet za prenos podatkov + 1 Gbps eternet za nadzor sistema (IPMI)
• 22+1 ra?unskih vozliš? (1 vozliš?e z ve?jo koli?ino RAM):
  • procesorji: 2x Intel(R) Xeon(R) CPU 6148 @ 2.40GHz, vsak s po 20 jedri (x2 HT)
  • pomnilnik: 192 GB ECC DDR4 @ 2666 MHz
  • disk: 960 GB SSD
  • Omni-Path HCA
  • 10 Gbps Ethernet za prenos podatkov + 1 Gbps eternet za nadzor sistema (IPMI)
• 33 ra?unskih vozliš? (+ 1 vozliš?e z ve? spomina):
  • procesorji: 2x Intel(R) Xeon(R) Gold 6240R CPU @ 2.40GHz, vsak s po 24 jedri (x2 HT)
  • pomnilnik: 192 GB ECC DDR4 @ 2933 Mbps
  • disk: 890 GB SSD
  • Omni-Path HCA
  • 10 Gbps Ethernet za prenos podatkov + 1 Gbps eternet za nadzor sistema (IPMI)
• 43 ra?unskih vozliš? (+ 1 vozliš?e z ve? spomina):
  • procesorji: 2x Intel(R) Xeon(R) Gold 6238R CPU @ 2.20GHz, vsak s po 28 jedri (x2 HT)
  • pomnilnik: 192 GB ECC DDR4 @ 2933 Mbps
  • disk: 1.6 TB SSD
  • Omni-Path HCA
  • 10 Gbps Ethernet za prenos podatkov + 1 Gbps eternet za nadzor sistema (IPMI)

Ra?unalniška gru?a Razor

V ra?unalniški gru?i Razor je 50 ra?unskih vozliš? s 1096 procesorskimi jedri, glavno vozliš?e ter vozliš?e za shranjevanje. S tehnologijo Hyper-Threading lahko ra?unska vozliš?a poganjajo do 2192 vzporednih procesov. Ra?unska vozliš?a imajo skupno 8386 GB pomnilnika. Za trajno shranjevanje podatkov skrbi posebno vozliš?e s diskovnim poljem velikosti 96 TB. Hitro povezavo med ra?unskimi vozliš?i omogo?a tehnologija InfiniBand FDR.

Podrobnejše specifikacije gru?e Razor:

• glavno vozliš?e:
  • procesorji: 2x Intel(R) Xeon(R) CPU E5-2680 v2 @ 2.80GHz, vsak 10 jeder (x2 HT)
  • pomnilnik: 128GB DDR3 @ 1866 MHz
  • grafi?na kartica: nVidia Quadro K6000, 12GB GDDR5, 2880 Cuda cores
  • disk: 4 (450GB 15k7 HITACHI) system disks (for / /boot /data1): Σ820GB @ RAID 1
  • 2x FDR Infiniband HCA's
• vozliš?e za shranjevanje:
  • diskovno polje: 2 chassis with Σ21 4TB (WD) disks
  • diskovno polje: storage node chassis with embeded 11 4TB (WD) disks
  • NFS storage server: 40 TB
  • 2x FDR Infiniband HCA's
• 30 ra?unskih vozliš?:
  • procesorji: 2x Intel(R) Xeon(R) CPU E5-2680 v2 @ 2.80GHz, vsak 10 jeder (x2 HT)
  • pomnilnik: 128GB DDR3 @ 1866 MHz
  • disk: 4 450GB 15k7 system disks (for / /boot /scratch): Σ1,6TB @ RAID 0
  • FDR Infiniband HCA
• 16 ra?unskih vozliš?:
  • procesorji: 2x Intel(R) Xeon(R) CPU E5-2697 v3 @ 2.60GHz, vsak 14 jeder (x2 HT)
  • pomnilnik: 256GB DDR4 @ 1866 MHz
  • disk: 3x600GB 10k system disks (for / /boot /scratch): Σ1,8TB @ RAID 0
  • FDR Infiniband HCA (56 Gb/s)
• 2 ra?unski vozliš?i:
  
  • procesorji: 2x Intel(R) Xeon(R) CPU E5-2697 v2 @ 2.70GHz, vsak 12 jeder (x2 HT)
  • pomnilnik: 128GB DDR3 @ 1866 MHz
  • disk: 4 450GB 15k7 system disks (for / /boot /scratch): Σ1,6TB @ RAID 0
  • FDR Infiniband HCA
• Infiniband FDR preklopnik
  
  • 36 port
  • prenos podatkov: 54,54Gbit/s @ 64/66 bit wrapping
  • izmerjena pasovna širina: 5.75GB/s
  • izmerjena latenca (dvosmerni ping): 4us
• Gigabit ethernet preklopnik
• alternativni vir napajanja: UPS, 2x20 kW
• operacijski sistem gru?e: Suse Linux Enterprise Server 11 Service pack 2

Ra?unalniška gru?a Krn

V ra?unalniški gru?i Krn je skupno 50 vozliš? s 600 procesorskimi jedri, ki s tehnologijo Hyper-Threading lahko poganjanjo do 1200 vzporednih procesov. Šestnajst vozliš? je opremljenih z enotami GPU, kar nam s tehnologijo CUDA omogo?a dodatno optimizacijo ra?unskega ?asa. Vozliš?a gru?e imajo skupno 2040 GB pomnilnika. Za trajno shranjevanje podatkov je na voljo diskovno polje velikosti 17 TB. Hitro povezavo med ra?unskimi vozliš?i omogo?a tehnologija InfiniBand.

Podrobnejše specifikacije gru?e proizvajalca SGI so:

• glavno vozliš?e SGI Altix XE 270:
  • procesorji: 2x Intel Xeon 5650 @ 2.67 GHz, vsak 6 jeder (x2 HT)
  • pomnilnik: 72 GB
  • grafi?na kartica: NVidia Quadro FX 3800
  • sistemski disk:2x 150 GB @ 15000 rpm, RAID1
  • infiniband QDR 4x povezava
• grafi?no-vizualizacijski stre�nik "Kanin"
  
  • NVidia Quadro 6000 (448 CUDA jeder, 6GB pomnilnika)
    
  • procesorji: 2 x Intel Xeon E5-2670
  • pomnilnik: 128 GB
  • 4 x 400GB SAS @ 15000 rpm, RAID 0 in 1
    
  • infiniband QDR 4x povezava
• 11 ra?unskih vozliš? s 96 GB / 24 GB pomnilnika SGI Altix XE 270:
  • procesorji: 2x Intel Xeon 5670 @ 2.93 GHz / Intel Xeon 5650 @ 2.67 GHz, vsak 6 jeder (x2 HT)
  • pomnilnik: 96GB
  • sistemski disk: 150GB SAS @ 15000 rpm
  • lokalni disk: 5x146GB SAS @ 15000 rpm, RAID0
  • infiniband QDR 4x povezava
• 22 ra?unskih vozliš? SGI Altix C1104-2TY9:
  • procesorji: 2x Intel Xeon 5670 @ 2.93 GHz, vsak 6 jeder (x2 HT)
  • pomnilnik: 24 GB
  • sistemski disk: 300GB SAS @ 15000 rpm
  • lokalni disk: 300GB SAS @ 15000 rpm
  • infiniband QDR 4x povezava
• 16 ra?unskih vozliš? z GPU:
  • procesorji: 2x Intel Xeon X5675 @ 3.07GHz, vsak 6 jeder (x2 HT)
  • pomnilnik: 48 GB
  • sistemski in lokalni disk: 3x 300GB SAS @ 15000 rpm, RAID0
  • GPU: Tesla M2075 (448 CUDA jeder, 6GB pomnilnika)
  • infiniband QDR 4x povezava
• skupno diskovno polje: 17 TB, RAID6
• 2x Gigabit preklopnik
• 2x QDR 1U 40Gb/s 36 vratni InfiniBand preklopnik
  (Mellanox IS5030 in Voltaire 4036)
• KVM preklopnik, za direktni grafi?ni dostop do vozliš?
• alternativni vir napajanja: UPS sistem 20kVA
• operacijski sistem gru?e: SUSE Linux Enterprise Server 11 (x86_64)

 

 

 

 

 

Stran ureja: Matej Tekav?i?