Logo "blaue" Seiten

 
 
 
 
- Anzeige -
Für den Erwerb von Schachartikeln empfiehlt Ihnen der SC Leinzell den
 Schachversand Dreier 
 
 
Testen Sie Ihr Schach!
 
Diagramm 21-2006
 
Diagramm 21 – 2006
Weiß fand hier einen eleganten Weg, das Problem mit seiner angegriffenen Dame zu lösen. Sie können es ihm sicher gleichtun?!
 zur Lösung 
 
 
 
 
zur Startseite
 News | Sitekalender | Sitemap | Team | Kontakt 
Rochade-EuropaPeter Schreiner
 
 
Fritz 5 und die SSDF   Teil 2
von Peter Schreiner - April 1998
 
 
Der Autoplayer 232
Der Autoplayer 232 wurde von Chrilly Donninger entwickelt und ermöglicht das vollautomatische Austragen von Wettkampfserien zwischen Schachprogrammen auf verschiedenen Computern. Der Datenaustausch (die Spielzüge) läuft mit Hilfe eines Spezialkabels über die serielle Schnittstelle ab. Das Protokoll zur Implementierung dieser Schnittstelle steht jedem interessierten Programmierer zur Verfügung. Der Autoplayer wurde schnell zu einem unverzichtbaren Hilfsmittel für Tester und natürlich auch für Programmierer. Jeder Programmierer kann mit Hilfe des Autoplayers Wettkampfpartien gegen andere Programme ausspielen, um z.B. schnell die Auswirkungen neu implementierter Techniken auszutesten.
 
Auch Tester - insbesondere die SSDF! - profitierten in erheblichem Ausmaß von diesem unverzichtbaren Tool für die Erstellung ihrer Bewertungsgrundlagen. Noch nie zuvor war es so schnell möglich, eine statistisch möglichst relevante Anzahl von Partien für eine Einschätzung zu bekommen. Dies ging dann solange erst einmal gut, bis dann verstärkt Schachprogramme unter Windows auf den Markt kamen; der Einsatz eines Autoplayers unter Windows war vorerst nicht möglich. Unter Windows funktionierte der Autoplayer nicht, so dass die Schweden ein Problem mit dem Testen der Windows Programme hatten. Es gibt nämlich einen Aspekt, den ich aus eigener Erfahrung bestätigen kann: hat man sich erst einmal an das Testen via Autoplayer gewöhnt, kann man sich zum manuellen Testen und dem damit verbundenen Eingeben der Züge von Hand zwischen zwei Programmen kaum noch motivieren.
 
Das war z.B. auch der Grund, warum die Schweden zum damaligen Zeitpunkt Richard Lang dringlichst gebeten hatten, ihnen eine Version des Genius 4 zur Verfügung zu stellen, die mit dem Autoplayer funktionierte. Mittlerweile geht der Trend eindeutig zu Windows-Programmen und die Tester der SSDF standen damit vor dem Problem, dass sie wieder verstärkt "Handarbeit" leisten sollten. Wie schon erwähnt: nach den schönen, bequemen Jahren mit dem Autoplayer eine Frage der Motivation und ein Problem für die Tester der SSDF. Die Rettung aus dieser misslichen Situation brachte dann eine Initiative von Stefan Meyer-Kahlen, der uneigennützig eine Schnittstelle für den Auto 232 unter 32 Bit-Windows entwickelte und diese Arbeit allen Interessierten frei zur Verfügung stellte!
 
Der Erfinder des Auto 232, Chrilly Donninger, ging dann noch einen Schritt weiter und entwickelte aus diesem frei verfügbaren Programm-Code eine für jeden Programmierer verfügbare Bibliothek der Benutzerschnittstelle. Mit Hilfe dieses Protokolls ist es für jeden erfahrenen Programmierer möglich, innerhalb weniger Stunden eine Schnittstelle zu diesem Standard unter Win95 oder NT zu integrieren. Halten wir also als Fazit zum Autoplayer fest: insbesondere die SSDF, Tester, Journalisten und natürlich auch die Programmierer profitierten in erheblichem Maße im Rahmen ihrer Arbeit von diesem System. Wo viel (in diesem Fall sehr viel) Licht ist, findet sich natürlich auch Schatten.
 
 
Auswirkungen des Autoplayers
Unmittelbar nach dem Erscheinen des Autoplayers wurde dieses Tool von jedem ernsthaft an Computerschach Interessierten genutzt. Gerade die SSDF war geradezu euphorisch über die - bedingt durch die statistisch große Anzahl von Partien in relativ kurzem Zeitraum - erhebliche Erleichterung ihrer Testarbeit. Viele Programmierer profitierten ebenfalls von dieser Neuerung in erheblichem Maß, da ja alle wichtigen Programme mit diesem System funktionieren. Natürlich kann die ursprüngliche Grundidee der SSDF, die reine Spielstärke eines Schachprogramms zu ermitteln. z.B. durch eine destruktive Implementierung des Autoplayers untergraben werden. Falls z.B. die These zutreffen sollte, dass die Resultate der Liste durch das gezielte "Outbooking" mit Hilfe des Autoplayers entwertet oder grob verzerrt sind, wäre dies ein typisches Beispiel für eine negative Auswirkung. Mal abgesehen von der durch Matthias Wüllenweber im Interview angesprochenen Problematik der Killerbibliotheken gibt es noch ein weiteres potentielles Problem.
 
In einer von Ossi Weiner veröffentlichten Gruppenemail spricht der Münchener die Möglichkeit an, dass es mit entsprechendem Programmier-KnowHow machbar wäre, gezielte Abfragen zur Schnittstelle des Auto232 zu implementieren; die Machbarkeit wurde z.B. von Ed Schröder im Rahmen einer Gruppenemail bestätigt. Man kann diese These natürlich in den Bereich der Spekulation verweisen: es kann so sein oder eben auch nicht! An dieser Stelle möchten wir klarstellen, dass hier in gar keinem Fall jemandem unterstellt wird, dass eine Manipulation vorgenommen wurde. Fakt ist aber, dass solche Spekulationen eben dadurch entstehen, wenn ein Teilnehmer in der SSDF mit einer Speziallösung getestet wird, die im Unterschied zu allen anderen Mitbewerbern nicht öffentlich zugänglich oder direkt überprüfbar ist.
 
 
Mögliche Konsequenzen
Unter Berücksichtigung der bisherigen Überlegungen sehe ich mögliche Konsequenzen für die SSDF. Verdeutlichen wir uns zunächst noch einmal die durchaus stichhaltige Argumentation von ChessBase, die hausinterne Schnittstelle ihres Autoplayers geheim zu halten und nur ausgewählten Testern (z.B. der SSDF) zur Verfügung zu stellen:
  1. Fritz 5 soll in einer optimalen Konfiguration (64 MB RAM und Powerbook) laufen, um eine aussagekräftige Bewertung innerhalb der Liste zu erhalten.
  2. Die Schnittstelle zum Autoplayer wird im Unterschied zu Konkurrenz nicht der Öffentlichkeit zur Verfügung gestellt, um eine gezielte Vorbereitung der Mitbewerber gegenüber Fritz 5 zu verhindern.
Das sind meiner Ansicht nach gewichtige Argumente und es steht ChessBase natürlich unbenommen das Recht zu, dies als Bedingung zu fordern. Wir kennen den Grund, warum die SSDF auf diese Forderung eingegangen ist, obwohl der Autoplayer für Fritz 5 nicht allgemein verfügbar ist. Auf den ersten Blick ist die Entscheidung der Schweden leicht nachvollziehbar: Wer will heutzutage noch die Züge von mehreren hundert Partien von Hand eingeben? Zudem sind laut Aussage von dem Vorsitzenden der SSDF, Thoralf Karlsson, die Partien jederzeit transparent und nachvollziehbar, da in den Partienotationen alle Bewertungen von Fritz 5 während der Partien eingetragen werden.
 
Berücksichtigt man aber den verschärften Wettbewerb auf dem kommerziellen Markt, so wird die Entscheidung der SSDF, den von ChessBase entwickelten Autoplayer bei der Testarbeit zu akzeptieren, nicht ohne Folgen bleiben. Dazu muss man sich einfach nur einmal in die Lage der anderen Top-Programmierer versetzen und versuchen, deren Überlegungen nachzuvollziehen. Der Gedankengang, z.B. vom fiktiven Programmierer E.Kalashnikov mit seinem Programm MonsterChess könnte so aussehen (durchaus real, wie die bisherigen Reaktionen zeigen):
  1. Bisher unterstützen alle Spitzenprogramme den Treiber für das Standard-Protokoll Auto232; mit einer einzigen Ausnahme: Fritz 5.
  2. Die SSDF akzeptiert für einen Test eine geheime Schnittstelle, die mir nicht zugänglich ist und von der kommerziellen Version von Fritz 5 nicht unterstützt wird.
  3. Weil mein Programm MonsterChess den Standard Auto232 unterstützt, hat ChessBase die Möglichkeit, via hauseigenem Autoplayer gegen mein Programm zu testen.
  4. Da die Schnittstelle vom Fritz 5-Autoplayer im Unterschied zu meinem Programm MonsterChess nicht verfügbar ist, kann ich nicht gegen Fritz 5 testen. Das scheint mir ein großer Nachteil für MonsterChess zu sein.
  5. Die schwedischen Tester von der SSDF akzeptieren diesen geheimen Autoplayer.
  6. Wie soll ich jetzt vorgehen? Ich denke, es wird am besten sein, wenn ich bei MonsterChess die Schnittstelle zum Auto232 nicht mehr implementiere. Dann können die Entwickler von Fritz 5 auch nicht mehr gegen MonsterChess via Autoplayer spielen.
  7. Wenn ich den Autoplayer aus MonsterChess entferne, müssen die Schweden mit der neuen Version von Hand spielen. Da sie das nicht wollen, sollte ich vielleicht eine spezielle Schnittstelle für die Schweden machen. Das ist wieder viel Arbeit. Ich überlege es mir noch. Wenn ich aber in MonsterChess eine Schnittstelle zum Autoplayer mache, dann läuft die in Schweden nur mit einem P II/300 MHz und mindestens 128 MB RAM; nur dann kann MonsterChess seine Stärken optimal entfalten ...
Sie halten diese fiktiven Überlegungen für übertrieben? Dies ist mitnichten der Fall. So hat beispielsweise Ed Schröder bereits öffentlich angekündigt, in seinen zukünftigen Versionen die Unterstützung des Auto232 zu streichen; auch von Richard Lang sind bereits Überlegungen in dieser Hinsicht bekannt. Verständlich, denn bei einer weiteren Unterstützung des Auto232 wäre dies für diese Autoren ja zu ihrem eigenen Nachteil! Sollte es zu dieser Situation kommen - das ist sehr wahrscheinlich - betrachten wir einmal die möglichen Auswirkungen für die weltweit respektierte SSDF.
 
Wenn sämtliche Spitzenprogrammierer die Unterstützung des Auto232 streichen, wäre dies ein gewaltiger Rückschlag für die SSDF, da dann wieder nur das manuelle Testen von Programmen möglich wäre. Es würde bei dieser Methode sehr lange dauern, bis die erforderliche Anzahl von Partien für die Einstufung in der Liste gespielt wären. Bei dieser Entwicklung kann man davon ausgehen, dass das Auto232-System erledigt ist. Dies wäre sehr tragisch, da gerade dieses innovative Tool einen beträchtlichen Beitrag zur Weiterentwicklung des Computerschachs ermöglicht hat, auch für unsere Beiträge nutzen wir intensiv die Möglichkeiten des Autoplayers.
 
Alternativ kommt noch eine zweite Möglichkeit in Betracht. Wie wir aus eigener Erfahrung wissen, ist es sehr schwer, einen Power-User des Auto232 wieder zum manuellen Testen zu bewegen. Gerade die Power-User der SSDF würden unter Umständen von den Autoren vielleicht noch eine Autoplayer - Schnittstelle bekommen, die aber dann - wie im Beispiel Fritz 5 - mit Sicherheit nicht allgemein zugänglich wäre. Damit wäre dann wiederum Spekulationen, wie jetzt im aktuellen Fall, Tür und Tor geöffnet und die Glaubwürdigkeit der Liste auf Dauer nachhaltig untergraben.
 
 
Persönliches Fazit
Wie schon die Reaktionen im Internet zeigten, wurde die Thematik kontrovers, teilweise sehr emotional, diskutiert. Ich persönlich denke, dass die SSDF mit der Akzeptanz des geheimen Autoplayers beim Test von Fritz 5 die langfristigen Auswirkungen nicht hinlänglich bedacht und einen Fehler gemacht hat. Meiner Ansicht nach sollte man ChessBase keinen Vorwurf machen; schließlich ist es aus Sicht eines Herstellers völlig legitim, nach optimalen Testvoraussetzungen zu streben. Die Bedeutung der SSDF liegt unserer Ansicht nach aber darin, dass kommerzielle Programme ausschließlich so getestet werden, wie sie auch beim Kunden nach Auslieferung ankommen.
 
Die in dem offenen Brief vorgebrachte Kritik bezüglich der Powerbooks oder der Engine sind für mich in der Auseinandersetzung eher nebensächlich. Wenn ChessBase dahingehend argumentiert, dass die beiden Komponenten kommerziell verfügbar sind, ist das sicherlich richtig. Immerhin hat der Kunde ja durch Zukauf die Möglichkeit, das Powerbook und - als Besitzer der ersten Fritz-Version - mit dem Update auf der Junior-CD beide Plugins nachträglich zu erwerben.
 
Kritisch beurteile ich die Akzeptanz der Schweden beim Einsatz dieses Spezial-Autoplayers, der eben im Unterschied zur Konkurrenz nicht verfügbar ist. Die Argumente von der SSDF für die Akzeptanz sind verständlich: sie wollten möglichst schnell zu einer Einstufung von Fritz 5 kommen. Die Argumente von ChessBase für die Geheimhaltung sind ebenfalls verständlich: sie möchten eine gezielte Vorbereitung gegen ihr Programm verhindern. Allerdings sind für mich auch die Reaktionen der anderen Top-Programmierer verständlich, die sich bei der Akzeptanz dieser speziellen Konfiguration im Fall von Fritz 5 benachteiligt sehen.
 
Es ist doch logisch, dass die momentane Situation für einen im kommerziellen Wettbewerb stehenden Programmierer nicht akzeptabel ist. Implementiert er den Auto232-Standard auch in Zukunft, unterstützt dies ChessBase für weitere Tests gegen sein Programm mit deren hausinternen Autoplayer. Im umgekehrten Fall hat er die Möglichkeit nicht, warum sollte er es dann tun? Für mich selbst ist die Tatsache entscheidend, dass bei einem weiteren Einsatz des Fritz 5-Spezialautoplayers in der SSDF das Auto232-System in jedem Fall erledigt ist; eben auch mit den entsprechend negativen Auswirkungen nicht nur für die SSDF, sondern für viele Computerschachfreaks. Die ganzen Aufregungen, Spekulationen und Diskussionen wären niemals aufgekommen, wenn die Schweden den Einsatz des F5-Autoplayers mit Hinweis auf dessen mangelnde Verfügbarkeit abgelehnt hätten.
 
 
Hinweis
Ich möchte an dieser Stelle aus gegebenem Anlass darauf hinweisen, dass die oben gemachten Ausführungen lediglich ein Problem beschreiben. Meine Kritik richtet sich ausschließlich gegen die ansonsten von mir hochgeschätzte SSDF, die meiner Meinung nach mit der Akzeptanz des geheimen Autoplayers für den Fritz-Test die ganze Diskussion entfacht und die damit verbundenen Konsequenzen nicht ausreichend bedacht haben. Auf gar keinen Fall sollte die oben vorgenommene Problembeschreibung als Kritik an ChessBase aufgefasst werden.
 
Noch einmal: ich erachte es für legitim und auch für völlig normal, dass ein Hersteller möglichst optimale Bedingungen für einen Test haben möchte. Es lag in keinem Fall die Absicht vor, das Abschneiden von Fritz 5 in der SSDF-Rangliste vom 22.02.98 in irgendeiner Form negativ zu bewerten oder den Fritz 5-Fans das Abschneiden ihres Favoriten madig zu machen. Ich kritisiere hier ausschließlich die mangelnde Voraussicht der SSDF in Hinsicht auf eine mögliche zukünftige Entwicklung der anerkanntesten Ratingliste. Eine Lösung des Problems könnte beispielsweise sein, dass ChessBase unter Berücksichtigung der aufgeführten Aspekte sich vielleicht doch dazu entschließen kann, ihren Autoplayer der Öffentlichkeit zugänglich zu machen, die zukünftige Testarbeit der Schweden mit diesem Schritt abzusichern und transparenter zu machen.
 
Peter Schreiner
 
zum Seitenanfang zurück |