McCulloch und Pitts – das erste neuronale Netz

Der Mediziner Warren McCulloch und der junge Logiker Walter Pitts trafen sich in den frühen 1940er-Jahren in der Universität von Chicago. Im Dezemberheft 1943 der Zeitschrift „Bulletin of Mathematical Biophysics“ veröffentlichten sie einen Artikel mit dem Titel „Ein logisches Kalkül für die Prinzipien des Nervensystems“. Er gilt als die erste mathematische Beschreibung eines neuronalen Netzes.

Neuronale Netze zählen zu den Grundbausteinen der Künstlichen Intelligenz; eine solche Software ermöglicht die verblüffenden Leistungen heutiger Chat-Programme. Der Ursprung des Konzepts liegt im 19. Jahrhundert, es wurde aber zunächst nur mit der Biologie und der Neurologie verbunden.1943 legten zwei Wissenschaftler, inspiriert durch das menschliche Nervensystem, das erste mathematische und digitale Modell eines neuronalen Netzes vor.

Warren Sturgis McCulloch wurde am 16. November 1898 in Orange/New Jersey geboren. Er studierte Philosophie und Psychologie an der Yale-Universität bis zum Bachelor. 1927 erwarb er den medizinischen Doktorgrad in New York, anschließend arbeitete er in einer großen psychiatrischen Klinik. Ab 1934 war McCulloch im Labor für Neurophysiologie der Yale-Universität tätig; 1941 unterrichtete er Psychiatrie an der Universität von Illinois in Chicago. Dort lernte er ein Jahr später Walter Pitts kennen.

Pitts kam am 23. April 1923 als Sohn eines Kesselschmieds in Detroit zur Welt. Er brachte sich Mathematik und Logik sowie Latein und Griechisch bei; mit fünfzehn verließ er seine Familie und schlug sich in Chicago durch. Hier saß er vor allem in der Universität. Er hatte Kontakt zum englischen Philosophen Bertrand Russell und seinem deutschen Kollegen Rudolf Carnap, außerdem hörte Pitts den ukrainischen Biophysiker Nicolas Raschewski, der seit 1924 in den USA lebte; 1939 gründete er das Fachjournal „Bulletin of Mathematical Biophysics“ (heute Bulletin of Mathematical Biology).

Von September 1942 bis März 1943 veröffentlichte Walter Pitts – er war gerade neunzehn Jahre alt – drei Artikel in Raschewskis Zeitschrift. Sie behandelten Netze von Nervenzellen, sind aber nicht online. 1942 traf er auch Warren McCulloch; die zwei entdeckten ihr gemeinsames Interesse für die Hirnforschung. Ein weiteres Bindeglied war die logische Philosophie von Gottfried Wilhelm Leibniz. McCulloch wohnte mit seiner Frau und seinen Kindern in einem Vorort von Chicago, und er nahm nahm den jungen Mann bei sich auf.

Ihre Zusammenarbeit führte zum Artikel „A logical calculus of the ideas immanent in nervous activity“, was man mit „Ein logisches Kalkül für die Prinzipien des Nervensystems“ übersetzen kann. Er erschien im Dezember 1943 im „Bulletin of Mathematical Biophysics“, man kann ihn hier nachlesen. Dasselbe Heft enthielt zwei andere Beiträge, an denen Pitts als Co-Autor mitwirkte. Der Kalkül-Artikel füllte 18 Seiten, dazu kam ein Literaturverzeichnis mit drei Titeln, die alle aus der mathematischen Logik stammten.

Zellen aus einem McCulloch-Pitts-Netzwerk

McCulloch und Pitts erläuterten zu Beginn den Aufbau und die Tätigkeit von Nervenzellen, wie im Jahr 1943 bekannt und in unserem Eingangsbild angedeutet. Vom Zellkörper (Soma) geht ein Fortsatz (Axon) aus, der über Synapsen eine Nachbarzelle anspricht. Die Autoren leiteten aus dem Nervensystem nun ein Netzmodell ab, das mit Takten arbeitete. Im Takt t „feuert“ eine Zelle, einen Takt später erreicht der Impuls über das Axon und seine Synapsen die nächste Zelle. Falls sie genügend erregende Signale erhält, feuert sie ebenfalls, läuft allerdings ein hemmendes Signal ein, geschieht gar nichts.

Die obige Zeichnung zeigt vier Beispiele; wir folgen der Grafik auf PDF-Seite 16 des Artikels. Im einfachsten Fall links oben läuft das Signal über das Axon und zwei Synapsen zu der nächsten Zelle, die den Impuls weitergibt. Wir nehmen dabei an, dass mindestens zwei Signale eintreffen müssen, und genau das passiert. Im Fall rechts oben erhält Zelle 3 von Zelle 1 und Zelle 2 vier Signale. Dies kann man als eine logische ODER-Verknüpfung deuten: wenn Zelle 1 oder Zelle 2 oder beide Zellen feuern, dann feuert auch Zelle 3.

Die UND-Verknüpfung ist links unten dargestellt. Nur wenn Zelle 1 und Zelle 2 aktiv werden, kommen die beiden Signale zusammen, die Zelle 3 zum Feuern bringen. (Im Bild sind Axone und Synapsen zu jeweils einem Strich verschmolzen.) Im Fall rechts unten schickt Zelle 2 ein hemmendes Signal los, erkennbar an dem kleinen Kreis am Ende des Axons. Zelle 3 feuert deshalb nicht, selbst wenn zugleich ein Impuls von Zelle 1 eintrifft. Die entsprechende logische Formel lautet:  Zelle 1 UND (NICHT Zelle 2)

Warren McCulloch und Walter Pitts schrieben noch einiges mehr, unsere vier Fälle machen aber die Botschaft ihres Artikels deutlich: Mit einem neuronalen Netzwerk lässt sich die Aussagenlogik realisieren. Da die Zellen nur die Zustände Feuern und Nicht-Feuern kennen, können wir das System digital nennen. McCulloch und Pitts kannten auch den Begriff des Schwellenwerts, auf Englisch Threshold, wie aber schon der Titel ihres Aufsatzes sagte, ging es ihnen primär um die logischen Hintergründe.

Mit „A logical calculus of the ideas immanent in nervous activity“ begann die moderne Erforschung neuronaler Netze. Warren McCulloch stieg zu einem Star der Kybernetik auf; dieses Foto zeigt ihn 1951 mit Norbert Wiener, dem Begründer der Wissenschaft. Ab 1952 lehrte er am Massachusetts Insitute of Technology MIT. Er starb am 22. September 1969, im gleichen Jahr entstand noch ein Fernsehinterview  (oberster Link). Wer sich im Internet Archive anmeldet, kann seine Aufsatzsammlung Embodiments of Mind lesen. Im Jahr 2000 erschien die deutsche Fassung „Verkörperungen des Geistes“.

Walter Pitts zog es schon Ende 1943 ans MIT, wo er bei Norbert Wiener studierte und arbeitete. Die Ankunft von Warren McCulloch ermöglichte eine erneute Zusammenarbeit, doch akademische Streitereien – 1952 verkrachten sich Wiener und McCulloch – und wohl auch Selbstzweifel nagten an Pitts. Er verbrannte den Entwurf seiner Dissertation und wurde zum Alkoholiker. Zwar setzte er seine Forschungen fort, doch die Resultate erschütterten sein wissenschaftliches Weltbild; mehr steht hier und hier. Er starb am 14. Mai 1969 als ein tragischer Held der KI-Geschichte.

Walter Pitts im Jahr 1954