Return to Hugh Loebner's Homepage

Translated by Bob Richmond

Profundity with Typos

What computer is successful in simulating conversation with a human being? In a contest in New York there was no winner.

"I am trapped on the magic isle of the Phoenix'. Can you help me? "Repeatedly Julie Stewart types in her question, hoping that someone on the other end will give her the clues she needs to escape. Wondrous sentences appear on the screen. "When the Phoenix' recovers his feathers, then the isle will be a splendid place." The messages on the screen inform us that the girl with the overwrought fantasies is 14 years old. She plays tennis with her father, it says, likes school, loves the movie "Pocahontas". But the deception is easily seen through: Julie is just a piece of software. Last week in New York five programs competed for the Loebner Prize. The $100,000 prize will be claimed by the any programmer who succeeds in convincing the jurors that the messages on the screen come from a human being and not from a computer.

In the stuffy billiards cellar of the Salmagundi Club, the tradition-filled meeting place for Manhattan's artistic scene sit computers, each with a juror in front of it. One of them is actually a terminal connected to Janet Skinner, the only human being, who engages in dialog from behind a curtain. The other PC's contain programs designed to simulate the human brain.

This sort of test was conceived by the British mathematician Alan Turing, in the fifties. If a computer through a terminal can plausibly communicate the impression that it is a human being, then one may attribute intelligence and consciousness to the machine. Ever since then the "Turing Test" has been thought of as the ultimate measure of artificial intelligence (AI).

"What did you have for breakfast this morning?" asks "Barry" of one of the jurors, chatting on "sometimes I skip breakfast." This inquiry into basics causes the conversation to collapse.

Lively small talk, with apparently casual changes in the subject, is the favorite strategy of the AI gurus. So "Bob," in the opinion of all the jurors the worst of the programs, laconically answers a request for a last name laconically with "I don't know, and it doesn't interest me".

"Something like that shouldn't have been allowed to compete," is the opinion of juror Elliott about this digital taking of the line of least resistance.

Usually programs try to turn the inquirer's question around. This technique was invented by the AI researcher Joseph Weizenbaum in the sixties. His Program "Eliza" was supposed to be a parody of a dialog with a psychiatrist, responding to an input like "I feel cold" with the question "What would your mother say about your feeling cold?"

Weizenbaum was frustrated to find that human partners readily fell into the deception, and began to carry on intimate conversations with the phony psychiatrist. As if by reflex the human brain projects a personality into the meager computer's. A participant named Clay believes for fully ten minutes that he's arguing with a politically like-minded person at terminal 6.

As "Catherine" the computer asks his opinion about the sensational woman-to-woman kiss that the lesbian activist Ellen Degeneres tried to shock President Clinton with, at a party at the White House. Programmer Bobby Batacharia explains later that she had entered this up-to-the-minute topic of conversation just the night before.

Turing himself believed that a computer would pass his test by the year 2000. AI researchers place the fulfillment of this dream farther in the future. Most scientists are contemptuous of the Loebner Prize, believing that in the present fragmentary state of research, nothing can be expected of suchsoftware but primitive straining for effects.

Thus most programs simulate human typographical errors, or strain for profundity with pronouncements like "Barry's" "I think that most people with wrong opinions are right."*

Indeed, practically speaking it is still impossible to give a computer comprehensive understanding of human speech. Within a few sentences it becomes obvious which terminal is wired to Janet. Only she understands why the juror from Germany is jet-lagged, and knows about the quality of the food at the Salmagundi Club.

Hugh Loebner, 55, doesn't worry about the disdain of the academics. True, he hasn't had to pay out the grand prize since the contest began in1991, though he awards an annual prize for the "most nearly human" program.

The bearded sociologist is a scintillating public figure. The AI activist campaigns just as vehemently for the legalization of prostitution. "Computers will get better, he says, and there will be contests with bigger prizes, but mine will be the oldest," he announces self-assuredly, pressing the prize medal into the winner's hand. The heavy medal has Loebner's likeness in front, and Turing's portrait on its reverse side.

The jury unanimously awards this year's prize to "Converse," the program with the apparently comprehensive understanding of politics. The London software house Intelligent Research project leader David Levy, 52,explains that almost eight man-years of work has already gone into the project.

Chess master Levy has been involved in the AI scene for decades. In1968 the researcher John McCarthy bet him that in within ten years a computer would beat him at chess. Levy remained unbeaten, however, for 21 years. Not until 1989 did he lost to the chess computer "Deep Thought," the forerunnerof "Deep Blue" that just this week took on Gary Kasparov (Spiegel, No. 18, 1997).

Levy is convinced that Converse is of practical use. He believes that the program can be used, for example, to assist software users, in natural language. A halfway intelligent conversation would be ample in most cases."I'm certain," he believes, "that in 20 or 30 years people will be falling in love with these programs."

*Complete transcripts of conversations in the contest are available on the Internet at http://acm.org/-Loebner/Loebner-prize.html'

Captions:

Loebner prize contest in New York: "What would your mother say about your feeling cold?"

Contest organizer Loebner: The line of least resistance doesn't payoff.

.
Der Spiegel 19/1997

Tiefsinn mit Tippfehlern

Welcher Computer schafft es, täuschend echt wie ein Mensch zu parlieren? Bei einem Wettkampf in New York gab es keinen Sieger.

Ich sitze auf dem magischen Archipel des Phoenix fest. Kannst du mir nicht helfen?" Immer wieder tippt Julie Stewart ihre Bitte in die Tatstatur and hofft, daß jemand am anderen Ende der Datenleitung dem Flehen nachgibt. Wunderliche Sätze erscheinen auf dem Bildschirm. "Wenn der Phoenix seine Feder zurückbekommt, wird der Archipel ein wunderbarer Ort sein." Das Mädchen mit der überspannten Phantasie, so behaupten die Botschaften auf dem Bildschirm, sei 14 Jahre alt. Sie spiele oft Tennis mit ihrem Vater, gehe gern zur Schule, und liebe den Film "Pocahontas". Doch die Lüge ist schnell durchschaut: Julie ist nur ein Stück Software. Letzte Woche traten in New York fünf Programme zum Wettkampf um den "Loebner Preis" an. Das Preisgeld von 100,000 Dollar erhält derjenige Programmierer, dem es gelingt, Juroren davon zu überzeugen, daß die Nachrichten auf dem Bildschirm nicht von einem Rechner, sondern von einem Menschen stammen.

Im stickigen Billardkeller des Salmagundi Clubs, dem traditionsreichen Treffpunkt der Künstlerszene Manhattans, stehen sechs Computer, bedient von den Juroren. Einer ist mit dem Terminal von Janet Skinner verbunden, dem einzigen Menschen, der hinter einem Vorhang als Gesprächspartner im Dialog antritt. Die anderen PC beherbergen Schummelprogramme, die humanes Hirn nur vortäuschen.

Diese Art von Test ersann der britische Mathematiker Alan Turing schon in den fünfziger Jahren. Wenn ein Computer, so eine Idee, bei der Konversation über das Terminal glaubhaft vermitteln könne, er sei ein Mensch, müsse man der Maschine Intelligenz und Bewußtsein zusprechen. Der "Turing-Test" gilt seither also ultimativer Gradmesser für Künstliche Intelligenz (KI).

"Was hast du heute morgen gegessen?" will etwa "Barry" von einem Juror wissen, und plaudert weiter, "also ich lasse das Frühstück oft ganz ausfallen." Die Frage nach den Gründen führt das Gespräch jedoch in den Zusammenbruch.

Munterer Small talk, bei dem scheinbar beiläufig das Gesprächsthema gewechselt wird, ist die beliebteste Strategie der Intelligenzatrappen. So beantwortet "Bob", nach Meinung aller Juroren das schlechteste Programm, die Frage nach Nachnamen lakonisch mit: "Weiß ich nicht, interessiert mich auch nicht."

"So was sollte gar nicht teilnehmen dürfen", findet Juror Elliott
angesichts des digitalen Dünnbrettbohrers.

Meist versuchen die Programme die Fragen der Tester zu Antworten
umzuformulieren. Diese Technik erdachte der KI-Forscher Joseph Weizenbaum in den sechziger Jahren. Sein Programm "Eliza" sollte Therapiegespräche von Psychiatern parodieren, in dem es etwa auf die Eingabe "Mir ist kalt" mit der Gegenfrage kontert: "Was würde deine Mutter dazu sagen, daß dir kalt ist?"

Weizenbaum mußte frustriert feststellen, daß viele Partner bereitwillig auf die Täuschung hereinfielen und begannen, intime Gespräche mit dem falschen Seelendoktor zu führen. Geradezu reflexartig projiziert das menschliche Hirn eine Persönlichkeit in die kargen Computertexte. So glaubt Teilnehmer Clay volle zehn Minuten lang, an Terminal sechs mit einem politisch Gleichgesinnten zu debattieren.

Der Computer fragt als "Catherine" nach seiner Meinung über den aufsehenerregenden Kuß von Frau zu Frau, mit der die Lesbenaktivistin Ellen DeGeneres Präsident Clinton auf einer Party im Weißen Haus schocken wollte. Den tagesaktuellen Gesprächsstoff, so stellt sie später heraus, hatte der Programmierer Bobby Batacharia in der Nacht in die "Converse" Datenbank eingegeben.

Turing selbst glaubte, bis zur Jahrtausendwende werde ein Rechner seinen Test bestehen. Doch die KI-Forscher vertagten die Erfüllung dieses Traums inzwischen bis auf weiteres. Für den Loebner-Wettbewerb haben die meisten Wissenschaftler nur Spott übrig: Beim gegenwärtigen mangelhaften Forschungsstand sei von der Soft-ware bestenfalls primitive Effekthascherei zu erwarten.

So simulieren die meisten Programme menschliche Tippfehler oder täuschen Tiefsinn vor, indem sie wie "Barry" Sentenzen von sich geben wie "Ich glaube, die meisten falsch denkenden Menschen haben recht."* Tatsächlich ist es derzeit praktisch unmöglich, einem Rechner
umfassendes Verständnis menschlicher Sprache beizubringen. Schon nach wenigen Sätzen zeigt sich, welches Terminal den Draht zu Janet hat. Nur sie versteht, warum der deutsche Juror durch die Zeitumstellung müde ist, und kann über die Qualität der Speisen im Klub Auskunft geben.

Hugh Loebner, 55, läßt sich durch die Mißachtung der Akademiker nicht stören. Zwar mußte er seit dem ersten Wettbewerb 1991 den Hauptpreis noch nie auszahlen, doch das "menschenähnlichste" Programm belohnt er jedes Jahr mit 2000 Dollar.

Der bärtige Soziologe ist eine schillernde Figur. Der KI-Aktivist kämpft
nebenher vehement für die Legalisierung der Prostitution. "Die Computer werden besser werden, und es wird aufwendigere Wettkämpfe geben, aber meiner wird der älteste sein", verkündet er selbstbewußt und drückt dem Gewinner die wuchtige Loebner-Medaille in die Hand, die auf der Vorderseite sein Konterfei, auf der Rückseite Turings Porträt zeigt.

"Converse", das Programm mit dem scheinbar umfangreichen Politikverständnis, gewinnt den Wettbewerb nach einstimmiger Juryentscheidung. Fast acht Mannjahre Arbeit hat die Londoner Softwarefirm Intelligent Research, wie Projektleiter David Levy, 52, erklärt, in das Vorhaben schon investiert.

Levy ist in der KI-Szene schon seit Jahrzehnten verbunden. Der Schachmeister nahm 1968 die Wette des Forschers John McCarthy an, der prophezeite, schon binnen zehn Jahren werde Levy im Schach von einem Computer besiegt werden. Doch Levy blieb 21 Jahre ungeschlagen. Erst 1989 unterlag er dem Schachkomputer "Deep Thought", dem Vorläufer von "Deep Blue", der diese Woche gegen Gari Kasparow antritt (Spiegel-Titel 18/1997).

Levy ist vom praktischen Nützen der Converse-Entwicklung überzeugt. Aus dem Konversationsprogramm sollen zum Beispiel Hilfssysteme hervorgehen, die Software-Benützern in natürlicher Sprache Bedienhinweise geben können. Eine halbwegs intelligente Unterhaltung sei in den meisten Fällen ausreichend. "Ich bin mir sicher", meint Levy, "in 20 bis 30 Jahren werden sich Menschen
in diese Programme verlieben."

*Die vollständigen Transkripte der Testgespräche sind im Internet abrufbar unter http://acm.org/-Loebner/Loebner-prize.htmlx.

Der Spiegel 19/1997

Caption: Loebner-Wettbewerb in New York: "Was würde deine Mutter dazu sagen, daß du kalt bist?"

Caption: Veranstalter Loebner. Kein Geld für digitale Dünnbrettbohrer.