Cross-Platform Benchmarks

Hier eine neue Threadausgründung, welche sich speziell mit Benchmarks für Machinen beschäftigt, welche keine x86- oder x86-64-CPU enthalten. Fehlpostings werden verschoben oder gelöscht!

Für die Benchmarks empfehle ich hiermit offiziell:

• nbench: ein port des BYTEmarks für Unix-basierte Systeme, welcher auf einer sehr großen palette von alten und neuen Plattformen läuft, vielseitige Tests macht und aussagekräftige Ergebnisse liefert
• OpenSSL mit dem Aufruf openssl speed. Bitte gebt an, woher ihr euer Binary bekommen habt, oder ob ihr es selbst compiliert habt (idealerweise mit den verwendeten CFLAGS)
• pi_css5: eine art quelloffenes Super-Pi. Ihr kennt das Programm, es ist sehr simpel, der Benchmark hingegen weniger aussagekräftig. Gebenchmarkt werden i.d.R. 1M Stellen: pi_css5 1000000 (er nimmt dann automatisch Mega im sinne von 2^20) (abweichende Größen in begründeten Fällen (C64 anyone?:)) erlaubt, aber bitte mit angeben)

(die benchmarks sind nochmal an dieses Posting angehangen und ihr könnt mich auch fragen, ich hab sie auch selbst gemirrort. sorry für die tar in der zip, das forum erlaubt keine tar.gz-anhänge)

Weitere Benchmark-Tools sind prinzipiell zulässig und insbesondere auf sehr exotischen Plattformen wohl eh notwendig. Wenn möglich, solltet ihr aber dennoch zumindest einen Referenzbenchmark mit einem der empfohlenen Tools anhängen. Im übrigen dürft ihr gern weitere Benchmark-Suiten empfehlen, solange sie plattformunabhängig genug und leicht zu compilieren sind.

zum Compilieren: Optimierungen sind erlaubt, optimiert so hart es geht, gebt dabei aber zusätzlich zum OS bitte immer Compiler (incl. Version) mit an!
Binaries nutzen ist natürlich auch erlaubt.

aufgrund von faulheit und eh mangelnder Vergleichbarkeit werde ich hier kein ranking führen. Falls jemand lust hat, darf er das gern machen, ansonsten würd ich das hier nur als lose Sammlung ansehen.

ich beginne dann mal:
wollte pi_css5 auf meiner SPARCclassic laufen lassen, aber habe im moment keinen compiler und obwohl die solaris-binary eine ELF 32-bit MSB executable SPARC32PLUS Version 1, V8+ Required, dynamically linked, stripped ist, braucht sie wohl wirklich nen UltraSPARC, den ich nicht hab...
aber das ist natürlich kein grund, den kleinen 50mhz microSPARC nicht trotzdem zu benchen, gibt ja schließlich noch Java

45min 17,5sec ist das Ergebnis mit Java 1.4.2 auf meiner SPARCclassic unter Solaris 9

und noch einer aus der Runde

diesmal meine HP 712 mit 100mhz PA-7100LC PA-RISC 1.1 CPU (32bit), und diesmal nativ, nicht per java (mal schauen, ob ich mal noch java hier installier, ums bissl besser mit der classic vergleichen zu können)

4min 41,7sec für HP-UX 11.11 auf der HP 712/100

EDIT: nur mal als referenz mein Thinkpad T61 mit Core2Duo 2GHz braucht unter Windows 7 8,2sec (unoptimiert) bzw. 6,4sec (SSE2-optimiert).

Zitat von SSE2

kannst dus vll noch auf nen ftp-server tun? viele richtig alte systeme haben ja kein wget, aber ftp hat einfach mal jedes IP-taugliche Unix

Zitat von Xaar

Und? Wieso das Rad nochmal neu erfinden, wenns schon da ist?

bessere optimierung

Zitat von Xaar

Ich würde das pi_css5 ja auf meiner VAXstation laufen lassen, aber weder cc noch vcc ist mit dem Quellcode einverstanden

mal nbench probiert? wie portabel dieses pi_css5 wirklich ist in bezug auf alte plattformen weiß ich nicht, der typ hat binaries ja nur für eher aktuelle plattformen bereitgestellt

neuer tiefenrekord mit nativem pi_css5 in diesem thread

Wieder die SPARCclassic, diesmal unter Solaris 2.4 mit Sun WorkShop 3
compiliert wurde wie folgt: $ cc -fast -xtarget=sslx -xO5 pi_fftcs.c fftsg_h.c -lm -o pi_css5

Ergebnis:

$ ./pi_css5 1000000
Calculation of PI using FFT and AGM, ver. LG1.1.2-MP1.5.2a.memsave
initializing...
nfft= 262144
radix= 10000
error_margin= 0.00611182
calculating 1048576 digits of PI...
AGM iteration
precision= 48: 60.00 sec
precision= 80: 59.64 sec
precision= 176: 59.71 sec
precision= 352: 59.82 sec
precision= 688: 59.70 sec
precision= 1392: 59.75 sec
precision= 2784: 59.82 sec
precision= 5584: 59.71 sec
precision= 11168: 59.71 sec
precision= 22336: 59.84 sec
precision= 44688: 59.66 sec
precision= 89408: 59.74 sec
precision= 178816: 59.72 sec
precision= 357648: 59.71 sec
precision= 715312: 59.63 sec
precision= 1430640: 59.61 sec
writing pi1048576.txt...
1119.03 sec. (real time)

18min 39,03sec

ist insbesonders spannend, weil ich vorher mal mit 10kStellen getestet hab, und da wars unoptimiert um den faktor 2,49 langsamer als so optimiert wie oben. habs die volle million nich nochmal unoptimiert berechnet, aber wenn mans einfach mal linear hochrechnet, kommt man auf 2786.74sec, was sich ziemlich mit dem ergebnis von java auf der kiste deckt. Spannend, ne?

so und nun noch nbench (gleiche CFLAGS wie oben):

BYTEmark* Native Mode Benchmark ver. 2 (10/95)
Index-split by Andrew D. Balsa (11/97)
Linux/Unix* port by Uwe F. Mayer (12/96,11/97)


TEST                : Iterations/sec.  : Old Index   : New Index
                    :                  : Pentium 90* : AMD K6/233*
--------------------:------------------:-------------:------------
NUMERIC SORT        :          14.348  :       0.37  :       0.12
STRING SORT         :         0.34259  :       0.15  :       0.02
BITFIELD            :      3.9909e+06  :       0.68  :       0.14
FP EMULATION        :          1.1274  :       0.54  :       0.12
FOURIER             :          132.05  :       0.15  :       0.08
ASSIGNMENT          :         0.17909  :       0.68  :       0.18
IDEA                :          23.787  :       0.36  :       0.11
HUFFMAN             :          26.561  :       0.74  :       0.24
NEURAL NET          :         0.12034  :       0.19  :       0.08
LU DECOMPOSITION    :          5.0566  :       0.26  :       0.19
==========================ORIGINAL BYTEMARK RESULTS==========================
INTEGER INDEX       : 0.451
FLOATING-POINT INDEX: 0.197
Baseline (MSDOS*)   : Pentium* 90, 256 KB L2-cache, Watcom* compiler 10.0
==============================LINUX DATA BELOW===============================
CPU                 : microSPARC 50 MHz   <= von Hand eingetragen
L2 Cache            :
OS                  : SunOS 5.4
C compiler          : cc
libc                :
MEMORY INDEX        : 0.084
INTEGER INDEX       : 0.140
FLOATING-POINT INDEX: 0.109
Baseline (LINUX)    : AMD K6/233*, 512 KB L2-cache, gcc 2.7.2.3, libc-5.4.38
* Trademarks are property of their respective holder.

übrigens lief nbench nicht per default, beim linken gabs einen fehler über ein fehlendes symbol namens "bzero"...erster google-treffer dafür brachte:

Zitat

For maximum portability, it is recommended to replace the function call to bzero() as follows:
#define bzero(b,len) (memset((b), '\0', (len)), (void) 0)

Also einfach diese Zeile ganz oben in die nbench1.c einfügen, dann gehts

schade, dass Sun keine schnelleren Lunchboxen gemacht hat, meine SPARCclassic ist eine von der letzten Generation dieser Rechnerbauform. mit ein bisschen mehr power wär die echt cute, z.B. als Jukebox oder so, aber mp3 kannste bei der performance mal total knicken (von 8bit audio mal abgesehen, aber die ansonsten ähnliche SPARCstation LX hätte 16bit audio, wär natürlich aber genauso zu lahm für mp3)

Multi-CPU leistet der benchmark halt nicht...vll könnte man mit autoparallelisierenden Compilern noch ein kleines bisschen was rausholen, aber was mich eher wundert ist dass HP (PA-RISC) binaries auf SPARC laufen

jo ist schon komisch, Faktor 2 ist ziemlich heftig. vll punktet der PA mit seinem dicken cache
vll ist der PA aber auch einfach für microbenchmarks dieser sorte optimiert und zeigt daher im benchmark ein im alltag nie erreichbares ergebnis. fahr am besten mal nbench, das liefert umfassendere Ergebnisse.

habe noch einen schönen kandidaten als SuperPi-Ersatz gefunden: Mathematica
Früher war das mal richtig krass cross-plattform über alle modernen architekturen, das modern hat sich auch beibehalten und so sind leider etliche alte Sachen dann rausgefallen. Hier mal ne Übersicht, welche versionen auf welchen (exotischen) Plattformen laufen:

• 4 und älter: kann ich selbst nichts zu sagen, da suche ich selbst noch
• 5: AIX, HP-UX, IRIX, Linux/IA64, Solaris, Tru64
• 6: AIX, HP-UX, Linux/IA64, Solaris
• 7: Solaris

daneben gibts natürlich noch Linux für x86(64), Windows und Mac. Bei den RISC-Plattformen sind immer 64bit gemeint, richtig alte Rechner kann man damit also nicht benchen, aber zumindest kann man die modernen RISCs nun mit zeitgemäßerer Software benchen Insbesondere interessant wäre mal zu schauen, in wiefern Mathematica mit mehreren CPUs skaliert.

der Benchmark geht in Mathematica wie folgt:

Timing[N[Pi,1048576]][[1]]

hab grad keine Mathematica-fähige RISC-Kiste hier, daher nur mal als Referenz, insbesondere sollte man auch den vergleich mit pi_css5 auf dem selben notebook beachten!

Zitat von Thinkpad T61

In[1]:= Timing[N[Pi, 1048576]][[1]]Out[1]= 1.872