Sunfire6800/3800 (Ultra Sparc-Prozessoren)
* SUN FIRE 3800
SunFire 3800 (8 * US III+/900 MHz + 8 GB Memory
SUNFIRE 6800/3800 =S24/S8 wurde am 31.02.07, nach 7 Jahren außer Betrieb genommen.
* SUN FIRE 6800
SunFire 6800 (24 * US III+/900 MHz + 24 GB Memory
* SUN FIRE 3800
SunFire 3800 (8 * US III+/900 MHz + 8 GB Memory
| Rechnertyp | SUN FIRE6800 + FIRE3800: jeweils SMP |
| Prozessoren | SUN FIRE6800: 24 * UltraSPARC-III/750 MHz seit 01.02.02 USIII+/900MHz SUN FIRE3800: 8 * UltraSPARC-III/750 MHz seit 01.02.02 USIII+/900MHz Agenda: 1. +for copper technology 2. USIII+/900MHz:prefetch on (bei USIII/750 MHz prefetch off) |
| Leistung mit USIII/750MHz GFLOPs Peak/Rmax Leistung mit USIII+/900MHz (seit 01.02.02) GFLOPs Peak/Rmax | SUN FIRE6800: 36 GFLOPs Peak; SUN FIRE3800: 12 GFLOPs Peak insges.: ca. 48 GFLOPS Peak und ca.40 GFLOPS Rmax SUN FIRE 6800: 43,2 GFLOPs Peak; SUN FIRE 3800: 14,4 GFLOPs Peak insges. ca. 57,6 GFLOPS Peak und ca. 50 GFLOPS Rmax |
| Memory Caches pro CPU | SUN FIRE6800: 24 GB SUN FIRE3800: 8 GB L1 (Icache/Dcache): 32 KB/64 KB L2 (Ecache) : 8 MB |
| Mediatrays und (System)disk | |
| Mediatrays mit Systemdisk Disk | FIRE6800/3800 je: interne Systemplatten: 2*18,2 GB Disk 10000 u/min; 40 MB/s Ultra SCSI; 1* DVD + 1* DDS4;+ FIRE6800: 2.Mediatray für weitere Domains 4*18,2 GB disk (ab 9/2001) RAID System: SUN Store Edge Array A5100 via 2* Fibre channel (a 100 MB/s): 182 GB (5*36,4 GB) FC-AL PLatten 10000 u/min |
| Kommunikation | |
| intern: | SUN FIRE6800/3800: |
| Typ: | SUN FIREplane Interconnect: hierarchisches point-to-point Netzwerk, Snoop Protokoll für Cache Coherence (jede CPU direkt am Adreßbus) |
| Bestandteile: | Repeater/Crossbar - Board |
| Performance: | |
| Bandbreiten: | Memory Bandbreite pro CPU: 2,4 GB/s Fireplane Switch (Repeater/Crossbar - Board): - SUN FIRE 6800: 67,2 GB/s aggregate, 9,6 GB/s sutained - SUN FIRE 3800: 24,0 GB/s aggregate, 9,6 GB/s sutained Cache Coherence bandwith: 9,6 GB/s |
| Latency local memory (same board = 4 CPU/4GB memory) Latency remote memory (other board) zum Vergleich (MPI ping-pong): | 180 ns - 207 ns 240 ns gigabit ethernet: ca. 30 000-200 000 ns; myrinet: ca. 16 500 ns; myrinet2: ca.10 000 ns |
| Kommunikation extern | SUN FIRE6800: 1 * GigabitEthernet + 1* FastEthernet; + 2. Domain (ab 9/2001): 1* GigabitEthernet + 1* FastEthernet SUN FIRE3800: 1* Fast Ethernet; + 1* GigabitEthernet (ab 02/2002) + SUN FIRE6800/3800: je 1* Gigabit Ethernet (intern: point to point) (ab 02/2002) |
| Verfügbarkeit bzw. Ausfallsicherheit | |
| SUN FIRE6800/3800 je: | |
| Stromversorgung: | redundant mit autom. takeover (1* via USV) |
| Netzteile + Lüfter: | redundant mit autom. takeover |
| System Controller: | mit eigenem Echtzeit OS und separater Netzkommunikation redundant vorhanden |
| Disk: | redundant durch Mirror |
| Domains: | Unterteilung in mehrere Domains mit n* 4 CPU's + n* GB Memory möglich (Voraussetzung: entspr. Mediatrays mit Netzkarte (n) + SCSI Adapter(n)). 1 Domain = 1 SMP System: d.h. die einzelne Domain hat eigenes OS und ist u.a. separat bootbar. Mehrere aktive Domains sind wie ein cluster von SMP-Knoten. Dynamische Domainverwaltung (Domain(s) im laufenden Betrieb aktivieren / deaktivieren,vergrößern, verkleinern, switchen usw.) minimiert u.a. Downtime und ist v.a. vorteilhaft für kritische Nutzung wie Tests, Wartung (Patches usw.) und evtl. Reparaturen. Dynamisches Domaining für SUN FIRE6800/3800 war zunächst nicht ohne booten möglich. |
| Hot Plug: | - redundante Komponenten hot pluggable /welche siehe oben/ - CPUs und Memory: (kleinste Einheit 4 CPUs mit jeweils lokalem Memory (bei uns entspr. 1 CPU --> 1GB Memory) |
Software
| Betriebsystem | SOLARIS 8 (4/01) |
| Disk Management | Veritas Volume Manager (z.Z. u.a. aktiv: Logging, Stripes, Mirror - scratch nicht gespiegelt) |
| Zugriff zum zentralen Fileservice: Backupservice: | NFS3 via GigabitEthernet ADSM (ohne scratch) via GigabitEthernet |
| Kommunikation (extern) | NFS3 via GigabitEthernet; Login via TCP/IP und FastEthernet - alternativ via GigabitEthernet |
| Resourcemanagement SRM (Solaris Resource Mannager) | tandart: gerechte nutzerbezogene Vergabe der Resourcen in Abhängigkeit von aktuell freien Resourcen einer Domain (z.B. bekommt 1 user alle Resourcen = 100%, wenn z.Z. keine weiteren Anforderungen vorliegen oder 1 user bekommt mindestens 10 % der Resourcen,wenn z.Z. insges. 10 user etwa identische Resourcen benötigen) --> andere berechtigte Anforderungen sind via Admin realisierbar |
| Batchsystem | perspektivisch: CODINE bzw. GRID-Engine |
| Compiler / Developer | Fortran 77/90/95 C, C++ parallele Developer Tools -> Workshop 6.2= Forte Developer 6.2: (22.10.01 update workshop 6.1 -> 6.2) |
| Dokumentationen/Answerbook: | Answerbook lokal: http://S24-1TP:8888/ http://S8-1TP:8888/ siehe -> /opt/SUNWspro/READMEs und /opt/SUNWspro/examples siehe auch --> help in Workshop Internet: http://docs.sun.com/ (siehe Compilers and Tools - Forte Developer) |
| Parallelisierung | Übersicht parallele Entwicklungswerkzeuge Shared Memory: * (automatische) Parallelisierung: Compiler and Directives * Open MP (de-facto standard for shared memory parallelization) in F95 und in C vorhanden (C: ab Workshop 6.2) siehe $man f95 siehe auch http://openmp.org/ Message Passing * MPI (MPI-2 Standard, MPI-I/O) /siehe unten HPC 3.1/ Tools: * Workshop 6.2 /siehe oben - Compiler/Developer/ |
| Dokumentationen/Answerbook | Answerbook lokal: http://S24-1TP:8888/ oder http://s8-1TP:8888/ siehe -> /opt/SUNWhpc/examples Internet: http://docs.sun.com/ Sun HPC Cluster Tools 3.1 User's Guide: http://docs.sun.com/ |
| Bibliotheken | S3L /siehe HPC/; Performance Library /siehe Workshop/ |
| Applikationen | kommerzielle parallele Applikationen von Drittanbietern: ANSYS, GAUSSIAN, TURBOMOLE, Q-CHEM AMBER, JAGUAR → jeweils aktuell installierte Version siehe 3. Hinweise zur Nutzung |
Hinweise zur Nutzung
| Nutzung Filesysteme | - HOME-DIR's: eingeschränkter Plattenplatz für "kleine" aktuelle Files und subdir's NFS3* --> von F3800 localo --> von F6800 - Cluster-filesysteme: für mittelfristige größere Files und subdir's Zugriff via NFS3* - Scratch-filesysteme: für große Files aktueller Jobs /scratch localo --> von F3800 NFS3* --> von F6800 /scratch1 localo --> von F6800 NFS3* --> von F3800 Agenda: * NFS3 via Gigabit Ethernet o local entspr. Plattenzugriff auf A5100 via Fibre Channel (a 100MB/s) |
| Performance | Compileroptionen + Performance: SUN legt großen Wert auf Abwärtskompatibilität. Das hat zur Folge, das alte Codes auf neuen Architekturen zwar i.d.R. laufen aber oft nicht mit bester Performance. Um die jeweils optimale Performance eigenen Codes zu erreichen sind beim Compilieren architekturspezifische Optionen anzugeben! /für Compileroptionen siehe u.a. man pages: $ man cc|~CC|~f77|~f90|~f95| siehe auch $ fpversion und $ man fpversion usw. höhere Taktrate CPU, prefetch on CPU + Performance: Durch den CPU upgrade von USIII/750 MHz auf USIII+/900 MHz seit 01.02.2002 kann wegen prefetch on bei 900 MHz je nach Anwendung der Leistungsgewinn gegenüber der 750 MHz Variante deutlich mehr als die 44% sein, die sich schon aus der Erhöhung der Taktrate ergeben. |
| Workshop6.2 = Forte Deloper6.2 | Aufruf: $ workshop {help via workshop} (22.10.01 update workshop 6.1 -> 6.2) |
| Java 1.2 | default: $ java -version $ java version "1.2.2" |
| Java 1.3 | PATH=/usr/j2se/bin:/usr/bin: .... $ java -version java version "1.3.0" Java(TM) 2 Runtime Environment, Standard Edition (build 1.3.0) Java HotSpot(TM) Client VM (build 1.3.0, mixed mode) |
| Java 1.4 | PATH=/opt/java-14/j2sdk1.4.0_02/bin:... $ java -version java version "1.4.0_02" Java(TM) 2 Runtime Environment, Standard Edition (build 1.4.0_02-b02) Java HotSpot(TM) Client VM (build 1.4.0_02-b02, mixed mode) |
| ANSYS | - setzen der Umgebung (aus "ksh" bzw. "sh" /nach login) : $ ANSYS - Aufruf help: $ anshelp56 - Aufruf z.B. : $ xansys56 |
| ANSYS61 | - setzen der Umgebung (aus "ksh" bzw. "sh" /nach login) : $ ANSYS61 - Aufruf help: $ anshelp61 - Aufruf z.B. : $ tansys61 |
| Q-Chem 2.02 (parallel) | - setzen Umgebung (aus "ksh" bzw. "sh" /nach login) : $ QCHEM202 - Aufruf z. B. für 1 CPU: $ qchem -np 1 B3LYP_water.in B3LYP_water.out für 4 CPU: $ qchem -np 4 B3LYP_water.in B3LYP_water.out4 - Dokumentation lokal: als pdf-files in $QC/aux/doc Internet: http://www.q-chem.com/tech/usersguide.html |
| GAUSSIAN98 | -setzen der Umgebung und Aufruf siehe Nutzerhinweise: siehe --> /usrurz/g98/README.uni-halle |
| JAGUAR | -setzen der Umgebung und Aufruf siehe Nutzerhinweise: siehe --> /usrurz/jaguar/README.Halle |
| AMBER6 | -setzen der Umgebung und Aufruf siehe Nutzerhinweise: siehe --> /usrurz/amber/README.Halle |
Mehr Informationen zur SUN FIRE (direkte Links zu SUN):
go to
SUN FIRE6800: http://www.sun.com/servers/midrange/sunfire6800/
SUN FIRE3800: http://www.sun.com/servers/midrange/sunfire3800/
4. Hardware-Upgrades:
Am 31.01.02 + 01.02.02 sind folgende Upgrade's erfolgt:
- von z.Z insgesamt 32* Ultra SPARC-III/750 MHz auf 32* Ultra SPARC-III+/900 MHz
- Ergänzung der SUN FIRE3800 mit 1* GigabitEthernet
- eine weitere zusätzliche GigabitEthernet Verbindung (dediziert) zwischen den SUN FIRE6800/3800.
13.08.2001