COMPUTING MACHINERY AND INTELLIGENCE

BY A. M. TURING

1. The Imitation Game.

I PROPOSE to consider the question, ‘Can machines think?’ This should begin with definitions of the meaning of the terms ‘machine’ and ‘think’. The definitions might be framed so as to reflect so far as possible the normal use of the words, but this attitude is dangerous. If the meaning of the words ‘machine’ and ‘think’ are to be found by examining how they are commonly used it is difficult to escape the conclusion that the meaning and the answer to the question, ‘Can machines think?’ is to be sought in a statistical survey such as a Gallup poll. But this is absurd. Instead of attempting such a definition I shall replace the question by another, which is closely related to it and is expressed in relatively unambiguous words.
 
 

The new form of the problem can be described in terms of a game which we call the ‘imitation game’. It is played with three people, a man (A), a woman (B), and an interrogator (C) who may be of either sex. The interrogator stays in a room apart from the other two. The object of the game for the interrogator is to determine which of the other two is the man and which is the woman. He knows them by [8]labels X and Y, and at the end of the game he says either ‘X is A and Y is B’ or ‘X is B and Y is A’. The interrogator is allowed to put questions to A and B thus:

C: Will X please tell me the length of his or her hair?

Now suppose X is actually A, then A must answer. It is A’s [434] object in the game to try and cause C to make the wrong identification. His answer might therefore be
 

‘My hair is shingled, and the longest strands are about nine inches long.’

In order that tones of voice may not help the interrogator the answers should be written, or better still, typewritten. The ideal arrangement is to have a teleprinter communicating between the two rooms. Alternatively the question and answers can be repeated by an intermediary. The object of the game for the third player (B) is to help the interrogator. The best strategy for her is probably to give truthful answers. She can add such things as ‘I am the woman, don’t listen to him!’ to her answers, but it will avail nothing as the man can make similar remarks.

We now ask the question, ‘What will happen when a machine takes the part of A in this game?’ Will the interrogator decide wrongly as often when the game is played like this as he does when the game is played between a man and a woman? These questions replace our original, ‘Can machines think?’

[10]2. Critique of the New Problem.

As well as asking, ‘What is the answer to this new form of the question’, one may ask, ‘Is this new question a worthy one to investigate?’ This latter question we investigate without further ado, thereby cutting short an infinite regress.

The new problem has the advantage of drawing a fairly sharp line between the physical and the intellectual capacities of a man. No engineer or chemist claims to be able to produce a material which is indistinguishable from the human skin. It is possible that at some time this might be done, but even supposing this invention available we should feel there was little point in trying to make a ‘thinking machine’ more human by dressing it up in such artificial flesh. The form in which we have set the problem reflects this fact in the condition which prevents the interrogator from seeing or touching the other competitors, or hearing their voices. Some other advantages of the proposed criterion may be shown up by specimen questions and answers. Thus:

Q: Please write me a sonnet on the subject of the Forth Bridge.

A: Count me out on this one. I never could write poetry.

Q: Add 34 957 to 70 764.

A: (Pause about 30 seconds and then give as answer) 105 621.

Q: Do you play chess?

[12]A: Yes. [435]

Q: I have K at my K1, and no other pieces. You have only K at K6 and R at R1. It is your move. What do you play?

A: (After a pause of 15 seconds) R-R8 mate.

The question and answer method seems to be suitable for introducing almost any one of the fields of human endeavour that we wish to include. We do not wish to penalise the machine for its inability to shine in beauty competitions, nor to penalise a man for losing in a race against an aeroplane. The conditions of our game make these disabilities irrelevant. The ‘witnesses’ can brag, if they consider it advisable, as much as they please about their charms, strength or heroism, but the interrogator cannot demand practical demonstrations.

The game may perhaps be criticised on the ground that the odds are weighted too heavily against the machine. If the man were to try and pretend to be the machine he would clearly make a very poor showing. He would be given away at once by slowness and inaccuracy in arithmetic. May not machines carry out something which ought to be described as thinking but which is very different from what a man does? This objection is a very strong one, but at least we can say that if, nevertheless, a machine can be constructed to play the imitation game satisfactorily, we need not be troubled by this objection.

It might be urged that when playing the ‘imitation game’ the best strategy for the machine may possibly be [14]something other than imitation of the behaviour of a man. This may be, but I think it is unlikely that there is any great effect of this kind. In any case there is no intention to investigate here the theory of the game, and it will be assumed that the best strategy is to try to provide answers that would naturally be given by a man

3. The Machines concerned in the Game.

The question which we put in § 1 will not be quite definite until we have specified what we mean by the word ‘machine’. It is natural that we should wish to permit every kind of engineering technique to be used in our machines. We also wish to allow the possibility that an engineer or team of engineers may construct a machine which works, but whose manner of operation cannot be satisfactorily described by its constructors because they have applied a method which is largely experimental. Finally, we wish to exclude from the machines men born in the usual manner. It is difficult to frame the definitions so as to satisfy these three conditions. One might for instance insist that the team of [436] engineers should be all of one sex, but this would not really be satisfactory, for it is probably possible to rear a complete individual from a single cell of the skin (say) of a man. To do so would be a feat of biological technique deserving of the very highest praise, but we would [16]not be inclined to regard it as a case of ‘constructing a thinking machine’. This prompts us to abandon the requirement that every kind of technique should be permitted. We are the more ready to do so in view of the fact that the present interest in ‘thinking machines’ has been aroused by a particular kind of machine, usually called an ‘electronic computer’ or ‘digital computer’. Following this suggestion we only permit digital computers to take part in our game.

This restriction appears at first sight to be a very drastic one. I shall attempt to show that it is not so in reality. To do this necessitates a short account of the nature and properties of these computers.

It may also be said that this identification of machines with digital computers, like our criterion for ‘thinking’, will only be unsatisfactory if (contrary to my belief), it turns out that digital computers are unable to give a good showing in the game.

There are already a number of digital computers in working order, and it may be asked, ‘Why not try the experiment straight away? It would be easy to satisfy the conditions of the game. A number of interrogators could be used, and statistics compiled to show how often the right identification was given.’ The short answer is that we are not asking whether all digital computers would do well in the game nor whether the computers at present available would do well, but whether there are imaginable computers which would do well. But this is only the short answer. We shall see this question in a different light later.

[18]4. Digital Computers.

The idea behind digital computers may be explained by saying that these machines are intended to carry out any operations which could be done by a human computer. The human computer is supposed to be following fixed rules; he has no authority to deviate from them in any detail. We may suppose that these rules are supplied in a book, which is altered whenever he is put on to a new job. He has also an unlimited supply of paper on which he does his calculations. He may also do his multiplications and additions on a ‘desk machine’, but this is not important.

If we use the above explanation as a definition we shall be in [437] danger of circularity of argument. We avoid this by giving an outline of the means by which the desired effect is achieved. A digital computer can usually be regarded as consisting of three parts:

(i) Store.(ii) Executive unit.(iii) Control.

The store is a store of information, and corresponds to the human computer’s paper, whether this is the paper on which he does his calculations or that on which his book of rules is printed. In so far as the human computer does calculations in his head a part of the store will correspond to his memory.

[20]The executive unit is the part which carries out the various individual operations involved in a calculation. What these individual operations are will vary from machine to machine. Usually fairly lengthy operations can be done such as ‘Multiply 3540675445 by 7076345687’ but in some machines only very simple ones such as ‘Write down 0’ are possible.

We have mentioned that the ‘book of rules’ supplied to the computer is replaced in the machine by a part of the store. It is then called the ‘table of instructions’. It is the duty of the control to see that these instructions are obeyed correctly and in the right order. The control is so constructed that this necessarily happens.

The information in the store is usually broken up into packets of moderately small size. In one machine, for instance, a packet might consist of ten decimal digits. Numbers are assigned to the parts of the store in which the various packets of information are stored, in some systematic manner. A typical instruction might say–

‘Add the number stored in position 6809 to that in 4302 and put the result back into the latter storage position’.

Needless to say it would not occur in the machine expressed in English. It would more likely be coded in a form such as 6809430217. Here 17 says which of various possible operations is to be performed on the two numbers. In this [22]case the operation is that described above, viz. ‘Add the number …’ It will be noticed that the instruction takes up 10 digits and so forms one packet of information, very conveniently. The control will normally take the instructions to be obeyed in the order of the positions in which they are stored, but occasionally an instruction such as [438]

‘Now obey the instruction stored in position 5606, and continue from there’

may be encountered, or again

‘If position 4505 contains 0 obey next the instruction stored in 6707, otherwise continue straight on.’

Instructions of these latter types are very important because they make it possible for a sequence of operations to be repeated over and over again until some condition is fulfilled, but in doing so to obey, not fresh instructions on each repetition, but the same ones over and over again. To take a domestic analogy. Suppose Mother wants Tommy to call at the cobbler’s every morning on his way to school to see if her shoes are done, she can ask him afresh every morning. Alternatively she can stick up a notice once and for all in the hall which he will see when he leaves for school and which tells him to call for the shoes, and also to destroy the notice when he comes back if he has the shoes with him.

[24]The reader must accept it as a fact that digital computers can be constructed, and indeed have been constructed, according to the principles we have described, and that they can in fact mimic the actions of a human computer very closely.

The book of rules which we have described our human computer as using is of course a convenient fiction. Actual human computers really remember what they have got to do. If one wants to make a machine mimic the behaviour of the human computer in some complex operation one has to ask him how it is done, and then translate the answer into the form of an instruction table. Constructing instruction tables is usually described as ‘programming’. To ‘programme a machine to carry out the operation A’ means to put the appropriate instruction table into the machine so that it will do A. An interesting variant on the idea of a digital computer is a ‘digital computer with a random element’. These have instructions involving the throwing of a die or some equivalent electronic process; one such instruction might for instance be, ‘Throw the die and put the resulting number into store 1000’. Sometimes such a machine is described as having free will (though I would not use this phrase myself). It is not normally possible to determine from observing a machine whether it has a random element, for a similar effect can be produced by such devices as making the choices depend on the digits of the decimal for π. [26]Most actual digital computers have only a finite store. There is no theoretical difficulty in the idea of a computer with an unlimited store. Of course only a finite part can have been used at any one time. Likewise only a finite amount can have been [439] constructed, but we can imagine more and more being added as required. Such computers have special theoretical interest and will be called infinitive capacity computers. The idea of a digital computer is an old one. Charles Babbage, Lucasian Professor of Mathematics at Cambridge from 1828 to 1839, planned such a machine, called the Analytical Engine, but it was never completed. Although Babbage had all the essential ideas, his machine was not at that time such a very attractive prospect. The speed which would have been available would be definitely faster than a human computer but something like 100 times slower than the Manchester machine, itself one of the slower of the modern machines. The storage was to be purely mechanical, using wheels and cards. The fact that Babbage’s Analytical Engine was to be entirely mechanical will help us to rid ourselves of a superstition. Importance is often attached to the fact that modern digital computers are electrical, and that the nervous system also is electrical. Since Babbage’s machine was not electrical, and since all digital computers are in a sense equivalent, we see that this use of electricity cannot be of [28]theoretical importance. Of course electricity usually comes in where fast signalling is concerned, so that it is not surprising that we find it in both these connections. In the nervous system chemical phenomena are at least as important as electrical. In certain computers the storage system is mainly acoustic. The feature of using electricity is thus seen to be only a very superficial similarity. If we wish to find such similarities we should look rather for mathematical analogies of function. 5. Universality of Digital Computers. The digital computers considered in the last section may be classified amongst the ‘discrete state machines’. These are the machines which move by sudden jumps or clicks from one quite definite state to another. These states are sufficiently different for the possibility of confusion between them to be ignored. Strictly speaking there are no such machines. Everything really moves continuously. But there are many kinds of machine which can profitably be thought of as being discrete state machines. For instance in considering the switches for a lighting system it is a convenient fiction that each switch must be definitely on or definitely off. There must be intermediate positions, but for most [30]purposes we can forget about them. As an example of a discrete state machine we might consider a wheel which clicks [440] round through 120° once a second, but may be stopped by a lever which can be operated from outside; in addition a lamp is to light in one of the positions of the wheel. This machine could be described abstractly as follows. The internal state of the machine (which is described by the position of the wheel) may be q1, q2 or q3. There is an input signal i0 or i1 (position of lever). The internal state at any moment is determined by the last state and input signal according to the table The output signals, the only externally visible indication of the internal state (the light) are described by the table This example is typical of discrete state machines. They can be described by such tables provided they have only a finite number of possible states. [32]It will seem that given the initial state of the machine and the input signals it is always possible to predict all future states. This is reminiscent of Laplace’s view that from the complete state of the universe at one moment of time, as described by the positions and velocities of all particles, it should be possible to predict all future states. The prediction which we are considering is, however, rather nearer to practicability than that considered by Laplace. The system of the ‘universe as a whole’ is such that quite small errors in the initial conditions can have an overwhelming effect at a later time. The displacement of a single electron by a billionth of a centimetre at one moment might make the difference between a man being killed by an avalanche a year later, or escaping. It is an essential property of the mechanical systems which we have called ‘discrete state machines’ that this phenomenon does not occur. Even when we consider the actual physical machines instead of the idealised machines, reasonably accurate knowledge of the state at one moment yields reasonably accurate knowledge any number of steps later. [441] As we have mentioned, digital computers fall within the class of discrete state machines. But the number of states of which such a machine is capable is usually enormously large. For instance, the number for the machine now working at Manchester is about 2165,000, i. e. about 1050,000. Compare this with our example of the clicking wheel described [34]above, which had three states. It is not difficult to see why the number of states should be so immense. The computer includes a store corresponding to the paper used by a human computer. It must be possible to write into the store any one of the combinations of symbols which might have been written on the paper. For simplicity suppose that only digits from 0 to 9 are used as symbols. Variations in handwriting are ignored. Suppose the computer is allowed 100 sheets of paper each containing 50 lines each with room for 30 digits. Then the number of states is 10100x50x30, i. e. 10150,000. This is about the number of states of three Manchester machines put together. The logarithm to the base two of the number of states is usually called the ‘storage capacity’ of the machine. Thus the Manchester machine has a storage capacity of about 165,000 and the wheel machine of our example about 1.6. If two machines are put together their capacities must be added to obtain the capacity of the resultant machine. This leads to the possibility of statements such as ‘The Manchester machine contains 64 magnetic tracks each with a capacity of 2560, eight electronic tubes with a capacity of 1280. Miscellaneous storage amounts to about 300 making a total of 174,380.’ Given the table corresponding to a discrete state machine it is possible to predict what it will do. There is no reason why this calculation should not be carried out by [36]means of a digital computer. Provided it could be carried out sufficiently quickly the digital computer could mimic the behaviour of any discrete state machine. The imitation game could then be played with the machine in question (as B) and the mimicking digital computer (as A) and the interrogator would be unable to distinguish them. Of course the digital computer must have an adequate storage capacity as well as working sufficiently fast. Moreover, it must be programmed afresh for each new machine which it is desired to mimic. This special property of digital computers, that they can mimic any discrete state machine, is described by saying that they are universal machines. The existence of machines with this property has the important consequence that, considerations of speed apart, it is unnecessary to design various new machines to do various computing processes. They can all be [442] done with one digital computer, suitably programmed for each case. It will be seen that as a consequence of this all digital computers are in a sense equivalent. We may now consider again the point raised at the end of § 3. It was suggested tentatively that the question, ‘Can machines think?’ should be replaced by ‘Are there imaginable digital computers which would do well in the imitation game?’ If we wish we can make this superficially more general and ask ‘Are there discrete state machines which would [38]do well?’ But in view of the universality property we see that either of these questions is equivalent to this, ‘Let us fix our attention on one particular digital computer C. Is it true that by modifying this computer to have an adequate storage, suitably increasing its speed of action, and providing it with an appropriate programme, C can be made to play satisfactorily the part of A in the imitation game, the part of B being taken by a man?’ 6. Contrary Views on the Main Question. We may now consider the ground to have been cleared and we are ready to proceed to the debate on our question, ‘Can machines think?’ and the variant of it quoted at the end of the last section. We cannot altogether abandon the original form of the problem, for opinions will differ as to the appropriateness of the substitution and we must at least listen to what has to be said in this connexion. It will simplify matters for the reader if I explain first my own beliefs in the matter. Consider first the more accurate form of the question. I believe that in about fifty years’ time it will be possible to programme computers, with a storage capacity of about 109, to make them play the imitation game so well that an average interrogator will not have more than 70 per cent chance of making the right identification after five minutes of questioning. The original [40]question, ‘Can machines think?’ I believe to be too meaningless to deserve discussion. Nevertheless I believe that at the end of the century the use of words and general educated opinion will have altered so much that one will be able to speak of machines thinking without expecting to be contradicted. I believe further that no useful purpose is served by concealing these beliefs. The popular view that scientists proceed inexorably from well-established fact to well-established fact, never being influenced by any unproved conjecture, is quite mistaken. Provided it is made clear which are proved facts and which are conjectures, no harm can result. Conjectures are of great importance since they suggest useful lines of research. [443] I now proceed to consider opinions opposed to my own. (1) The Theological Objection. Thinking is a function of man’s immortal soul. God has given an immortal soul to every man and woman, but not to any other animal or to machines. Hence no animal or machine can think. I am unable to accept any part of this, but will attempt to reply in theological terms. I should find the argument more convincing if animals were classed with men, for there is a greater difference, to my mind, between the typical animate and the inanimate than there is between man and the other animals. The arbitrary character of the orthodox view [42]becomes clearer if we consider how it might appear to a member of some other religious community. How do Christians regard the Moslem view that women have no souls? But let us leave this point aside and return to the main argument. It appears to me that the argument quoted above implies a serious restriction of the omnipotence of the Almighty.1 It is admitted that there are certain things that He cannot do such as making one equal to two, but should we not believe that He has freedom to confer a soul on an elephant if He sees fit? We might expect that He would only exercise this power in conjunction with a mutation which provided the elephant with an appropriately improved brain to minister to the needs of this soul. An argument of exactly similar form may be made for the case of machines. It may seem different because it is more difficult to “swallow”. But this really only means that we think it would be less likely that He would consider the circumstances suitable for conferring a soul. The circumstances in question are discussed in the rest of this paper. In attempting to construct such machines we should not be irreverently usurping His power of creating souls, any more than [44]we are in the procreation of children: rather we are, in either case, instruments of His will providing mansions for the souls that He creates. However, this is mere speculation. I am not very impressed with theological arguments whatever they may be used to support. Such arguments have often been found unsatisfactory in the past. In the time of Galileo it was argued that the texts, “And the sun stood still … and hasted not to go down about a whole day” (Joshua x. 13) and “He laid the foundations of the earth, [444] that it should not move at any time” (Psalm cv. 5) were an adequate refutation of the Copernican theory. With our present knowledge such an argument appears futile. When that knowledge was not available it made a quite different impression. (2) The ‘Heads in the Sand’ Objection. “The consequences of machines thinking would be too dreadful. Let us hope and believe that they cannot do so.” This argument is seldom expressed quite so openly as in the form above. But it affects most of us who think about it at all. We like to believe that Man is in some subtle way superior to the rest of creation. It is best if he can be shown to be necessarily superior, for then there is no danger of him losing his commanding position. The popularity of the theological argument is clearly connected with this feeling. It is likely to be quite strong in intellectual people, since they value the power of thinking more highly than others, [46]and are more inclined to base their belief in the superiority of Man on this power. I do not think that this argument is sufficiently substantial to require refutation. Consolation would be more appropriate: perhaps this should be sought in the transmigration of souls. (3) The Mathematical Objection. There are a number of results of mathematical logic which can be used to show that there are limitations to the powers of discrete-state machines. The best known of these results is known as Gödel’s theorem,2 and shows that in any sufficiently powerful logical system statements can be formulated which can neither be proved nor disproved within the system, unless possibly the system itself is inconsistent. There are other, in some respects similar, results due to Church, Kleene, Rosser, and Turing. The latter result is the most convenient to consider, since it refers directly to machines, whereas the others can only be used in a comparatively indirect argument: for instance if Gödel’s theorem is to be used we need in addition to have some means of describing logical systems in terms of machines, and machines in terms of logical systems. The result in question refers to a type of machine which is essentially a digital computer with an infinite capacity. It states that there are certain things that such a machine cannot do. If it is rigged up to give answers to questions as in the imitation game, there [48]will be some questions to which it will either give a wrong answer, or fail to give an answer at all however much time is allowed for a reply. There may, of course, be many such questions, and questions which cannot be answered by one machine may be satisfactorily [445] answered by another. We are of course supposing for the present that the questions are of the kind to which an answer ‘Yes’ or ‘No’ is appropriate, rather than questions such as ‘What do you think of Picasso?’ The questions that we know the machines must fail on are of this type, “Consider the machine specified as follows. … Will this machine ever answer ‘Yes’ to any question?” The dots are to be replaced by a description of some machine in a standard form, which could be something like that used in § 5. When the machine described bears a certain comparatively simple relation to the machine which is under interrogation, it can be shown that the answer is either wrong or not forthcoming. This is the mathematical result: it is argued that it proves a disability of machines to which the human intellect is not subject. The short answer to this argument is that although it is established that there are limitations to the powers of any particular machine, it has only been stated, without any sort of proof, that no such limitations apply to the human intellect. But I do not think this view can be dismissed quite so lightly. Whenever one of these machines is asked the appropriate critical question, and gives a definite answer, we know that this answer must be wrong, and this gives us a certain feeling of superiority. Is this feeling [50]illusory? It is no doubt quite genuine, but I do not think too much importance should be attached to it. We too often give wrong answers to questions ourselves to be justified in being very pleased at such evidence of fallibility on the part of the machines. Further, our superiority can only be felt on such an occasion in relation to the one machine over which we have scored our petty triumph. There would be no question of triumphing simultaneously over all machines. In short, then, there might be men cleverer than any given machine, but then again there might be other machines cleverer again, and so on. Those who hold to the mathematical argument would, I think, mostly be willing to accept the imitation game as a basis for discussion. Those who believe in the two previous objections would probably not be interested in any criteria. (4) The Argument from Consciousness. This argument is very well expressed in Professor Jefferson’s Lister Oration for 1949, from which I quote. “Not until a machine can write a sonnet or compose a concerto because of thoughts and emotions felt, and not by the chance fall of symbols, could we agree that machine equals brain – that is, not only write it but know that it had written it. No mechanism could feel (and not merely [446] artificially signal, an easy contrivance) pleasure at its successes, grief when its valves fuse, be warmed by flattery, be made miserable by its [52]mistakes, be charmed by sex, be angry or depressed when it cannot get what it wants.” This argument appears to be a denial of the validity of our test. According to the most extreme form of this view the only way by which one could be sure that a machine thinks is to be the machine and to feel oneself thinking. One could then describe these feelings to the world, but of course no one would be justified in taking any notice. Likewise according to this view the only way to know that a man thinks is to be that particular man. It is in fact the solipsist point of view. It may be the most logical view to hold but it makes communication of ideas difficult. A is liable to believe ‘A thinks but B does not’ whilst B believes ‘B thinks but A does not’. Instead of arguing continually over this point it is usual to have the polite convention that everyone thinks. I am sure that Professor Jefferson does not wish to adopt the extreme and solipsist point of view. Probably he would be quite willing to accept the imitation game as a test. The game (with the player B omitted) is frequently used in practice under the name of viva voce to discover whether someone really understands something or has ‘learnt it parrot fashion’. Let us listen in to a part of such a viva voce: Interrogator: In the first line of your sonnet which reads ‘Shall I compare thee to a summer’s day’, would not ‘a spring day’ do as well or better? [54]Witness: It wouldn’t scan. Interrogator: How about ‘a winter’s day,’ That would scan all right. Witness: Yes, but nobody wants to be compared to a winter’s day. Interrogator: Would you say Mr. Pickwick reminded you of Christmas? Witness: In a way. Interrogator: Yet Christmas is a winter’s day, and I do not think Mr. Pickwick would mind the comparison. Witness: I don’t think you’re serious. By a winter’s day one means a typical winter’s day, rather than a special one like Christmas. And so on. What would Professor Jefferson say if the sonnet-writing machine was able to answer like this in the viva voce? I do not know whether he would regard the machine as ‘merely [447] artificially signalling’ these answers, but if the answers were as satisfactory and sustained as in the above passage I do not think he would describe it as ‘an easy contrivance’. This phrase is, I think, intended to cover such devices as the inclusion in the machine of a record of someone reading a sonnet, with appropriate switching to turn it on from time to time. In short then, I think that most of those who support the argument from consciousness could be persuaded to abandon it rather than be forced into the solipsist position. They will then probably be willing to accept our test. [56]I do not wish to give the impression that I think there is no mystery about consciousness. There is, for instance, something of a paradox connected with any attempt to localise it. But I do not think these mysteries necessarily need to be solved before we can answer the question with which we are concerned in this paper. (5) Arguments from Various Disabilities. These arguments take the form, “I grant you that you can make machines do all the things you have mentioned but you will never be able to make one to do X”. Numerous features X are suggested in this connexion. I offer a selection: Be kind, resourceful, beautiful, friendly (p. 448), have initiative, have a sense of humour, tell right from wrong, make mistakes (p. 448), fall in love, enjoy strawberries and cream (p. 448), make some one fall in love with it, learn from experience (pp. 456 f.), use words properly, be the subject of its own thought (p. 449), have as much diversity of behaviour as a man, do something really new (p. 450). (Some of these disabilities are given special consideration as indicated by the page numbers.) No support is usually offered for these statements. I believe they are mostly founded on the principle of scientific induction. A man has seen thousands of machines in his lifetime. From what he sees of them he draws a number of [58]general conclusions. They are ugly, each is designed for a very limited purpose, when required for a minutely different purpose they are useless, the variety of behaviour of any one of them is very small, etc., etc. Naturally he concludes that these are necessary properties of machines in general. Many of these limitations are associated with the very small storage capacity of most machines. (I am assuming that the idea of storage capacity is extended in some way to cover machines other than discrete-state machines. [448] The exact definition does not matter as no mathematical accuracy is claimed in the present discussion.) A few years ago, when very little had been heard of digital computers, it was possible to elicit much incredulity concerning them, if one mentioned their properties without describing their construction. That was presumably due to a similar application of the principle of scientific induction. These applications of the principle are of course largely unconscious. When a burnt child fears the fire and shows that he fears it by avoiding it, I should say that he was applying scientific induction. (I could of course also describe his behaviour in many other ways.) The works and customs of mankind do not seem to be very suitable material to which to apply scientific induction. A very large part of space-time must be investigated, if reliable results are to [60]be obtained. Otherwise we may (as most English children do) decide that everybody speaks English, and that it is silly to learn French. There are, however, special remarks to be made about many of the disabilities that have been mentioned. The inability to enjoy strawberries and cream may have struck the reader as frivolous. Possibly a machine might be made to enjoy this delicious dish, but any attempt to make one do so would be idiotic. What is important about this disability is that it contributes to some of the other disabilities, e. g. to the difficulty of the same kind of friendliness occurring between man and machine as between white man and white man, or between black man and black man. The claim that “machines cannot make mistakes” seems a curious one. One is tempted to retort, “Are they any the worse for that? ” But let us adopt a more sympathetic attitude, and try to see what is really meant. I think this criticism can be explained in terms of the imitation game. It is claimed that the interrogator could distinguish the machine from the man simply by setting them a number of problems in arithmetic. The machine would be unmasked because of its deadly accuracy. The reply to this is simple. The machine (programmed for playing the game) would not attempt to give the right answers to the arithmetic problems. It would deliberately introduce mistakes in a manner calculated to confuse the interrogator. A mechanical fault would [62]probably show itself through an unsuitable decision as to what sort of a mistake to make in the arithmetic. Even this interpretation of the criticism is not sufficiently sympathetic. But we cannot afford the space to go into it much further. It seems to me that this criticism depends [449] on a confusion between two kinds of mistake. We may call them ‘errors of functioning’ and ‘errors of conclusion’. Errors of functioning are due to some mechanical or electrical fault which causes the machine to behave otherwise than it was designed to do. In philosophical discussions one likes to ignore the possibility of such errors; one is therefore discussing ‘abstract machines’. These abstract machines are mathematical fictions rather than physical objects. By definition they are incapable of errors of functioning. In this sense we can truly say that ‘machines can never make mistakes’. Errors of conclusion can only arise when some meaning is attached to the output signals from the machine. The machine might, for instance, type out mathematical equations, or sentences in English. When a false proposition is typed we say that the machine has committed an error of conclusion. There is clearly no reason at all for saying that a machine cannot make this kind of mistake. It might do nothing but type out repeatedly ‘0 = 1’. To take a less perverse example, it might have some method for drawing conclusions by scientific induction. We must expect such a method to lead occasionally to erroneous results. [64]The claim that a machine cannot be the subject of its own thought can of course only be answered if it can be shown that the machine has some thought with some subject matter. Nevertheless, ‘the subject matter of a machine’s operations’ does seem to mean something, at least to the people who deal with it. If, for instance, the machine was trying to find a solution of the equation x2 - 40x - 11 = 0 one would be tempted to describe this equation as part of the machine’s subject matter at that moment. In this sort of sense a machine undoubtedly can be its own subject matter. It may be used to help in making up its own programmes, or to predict the effect of alterations in its own structure. By observing the results of its own behaviour it can modify its own programmes so as to achieve some purpose more effectively. These are possibilities of the near future, rather than Utopian dreams. The criticism that a machine cannot have much diversity of behaviour is just a way of saying that it cannot have much storage capacity. Until fairly recently a storage capacity of even a thousand digits was very rare. The criticisms that we are considering here are often disguised forms of the argument from consciousness. Usually if one maintains that a machine can do one of these things, and describes the kind of method that the machine could use, one will not make [450] much of an impression. It is [66]thought that the method (whatever it may be, for it must be mechanical) is really rather base. Compare the parenthesis in Jefferson’s statement quoted on p. 21. (6) Lady Lovelace’s Objection. Our most detailed information of Babbage’s Analytical Engine comes from a memoir by Lady Lovelace. In it she states, “The Analytical Engine has no pretensions to originate anything. It can do whatever we know how to order it to perform” (her italics). This statement is quoted by Hartree (p. 70) who adds: “This does not imply that it may not be possible to construct electronic equipment which will ‘think for itself’, or in which, in biological terms, one could set up a conditioned reflex, which would serve as a basis for ‘learning’. Whether this is possible in principle or not is a stimulating and exciting question, suggested by some of these recent developments. But it did not seem that the machines constructed or projected at the time had this property”. I am in thorough agreement with Hartree over this. It will be noticed that he does not assert that the machines in question had not got the property, but rather that the evidence available to Lady Lovelace did not encourage her to believe that they had it. It is quite possible that the machines in question had in a sense got this property. For suppose that some discrete-state machine has the property. The Analytical Engine was a universal digital computer, so that, if its storage capacity and speed were adequate, it [68]could by suitable programming be made to mimic the machine in question. Probably this argument did not occur to the Countess or to Babbage. In any case there was no obligation on them to claim all that could be claimed. This whole question will be considered again under the heading of learning machines. A variant of Lady Lovelace’s objection states that a machine can ‘never do anything really new’. This may be parried for a moment with the saw, ‘There is nothing new under the sun’. Who can be certain that ‘original work’ that he has done was not simply the growth of the seed planted in him by teaching, or the effect of following well-known general principles. A better variant of the objection says that a machine can never ‘take us by surprise’. This statement is a more direct challenge and can be met directly. Machines take me by surprise with great frequency. This is largely because I do not do sufficient calculation to decide what to expect them to do, or rather because, although I do a calculation, I do it in a hurried, slipshod fashion, taking risks. Perhaps I say to myself, ‘I suppose the voltage here ought to be the same as there: anyway let’s assume it is’. [451] Naturally I am often wrong, and the result is a surprise for me for by the time the experiment is done these assumptions have been forgotten. These admissions lay me open to lectures on the subject of my vicious ways, but do [70]not throw any doubt on my credibility when I testify to the surprises I experience. I do not expect this reply to silence my critic. He will probably say that such surprises are due to some creative mental act on my part, and reflect no credit on the machine. This leads us back to the argument from consciousness, and far from the idea of surprise. It is a line of argument we must consider closed, but it is perhaps worth remarking that the appreciation of something as surprising requires as much of a ‘creative mental act’ whether the surprising event originates from a man, a book, a machine or anything else. The view that machines cannot give rise to surprises is due, I believe, to a fallacy to which philosophers and mathematicians are particularly subject. This is the assumption that as soon as a fact is presented to a mind all consequences of that fact spring into the mind simultaneously with it. It is a very useful assumption under many circumstances, but one too easily forgets that it is false. A natural consequence of doing so is that one then assumes that there is no virtue in the mere working out of consequences from data and general principles. (7) Argument from Continuity in the Nervous System. The nervous system is certainly not a discrete-state machine. A small error in the information about the size of a nervous impulse impinging on a neuron, may make a large difference to the size of the outgoing impulse. It may be [72]argued that, this being so, one cannot expect to be able to mimic the behaviour of the nervous system with a discrete-state system. It is true that a discrete-state machine must be different from a continuous machine. But if we adhere to the conditions of the imitation game, the interrogator will not be able to take any advantage of this difference. The situation can be made clearer if we consider some other simpler continuous machine. A differential analyser will do very well. (A differential analyser is a certain kind of machine not of the discrete-state type used for some kinds of calculation.) Some of these provide their answers in a typed form, and so are suitable for taking part in the game. It would not be possible for a digital computer to predict exactly what answers the differential analyser would give to a problem, but it would be quite capable of giving the right sort of answer. For instance, if asked to give the value of π (actually about 3.1416) it would be reasonable [452] to choose at random between the values 3.12, 3.13, 3.14, 3.15, 3.16 with the probabilities of 0.05, 0.15, 0.55, 0.19, 0.06 (say). Under these circumstances it would be very difficult for the interrogator to distinguish the differential analyser from the digital computer. (8) The Argument from Informality of Behaviour. It is not possible to produce a set of rules purporting to describe what a man should do in every conceivable set of circumstances. One might for instance have a rule that one is to stop when one sees a red traffic light, and to go if one sees a [74]green one, but what if by some fault both appear together? One may perhaps decide that it is safest to stop. But some further difficulty may well arise from this decision later. To attempt to provide rules of conduct to cover every eventuality, even those arising from traffic lights, appears to be impossible. With all this I agree. From this it is argued that we cannot be machines. I shall try to reproduce the argument, but I fear I shall hardly do it justice. It seems to run something like this. ‘If each man had a definite set of rules of conduct by which he regulated his life he would be no better than a machine. But there are no such rules, so men cannot be machines.’ The undistributed middle is glaring. I do not think the argument is ever put quite like this, but I believe this is the argument used nevertheless. There may however be a certain confusion between ‘rules of conduct’ and ‘laws of behaviour’ to cloud the issue. By ‘rules of conduct’ I mean precepts such as ‘Stop if you see red lights’, on which one can act, and of which one can be conscious. By ‘laws of behaviour’ I mean laws of nature as applied to a man’s body such as ‘if you pinch him he will squeak’. If we substitute ‘laws of behaviour which regulate his life’ for ‘laws of conduct by which he regulates his life’ in the argument quoted the undistributed middle is no longer insuperable. For we believe that it [76]is not only true that being regulated by laws of behaviour implies being some sort of machine (though not necessarily a discrete-state machine), but that conversely being such a machine implies being regulated by such laws. However, we cannot so easily convince ourselves of the absence of complete laws of behaviour as of complete rules of conduct. The only way we know of for finding such laws is scientific observation, and we certainly know of no circumstances under which we could say, ‘We have searched enough. There are no such laws.’ We can demonstrate more forcibly that any such statement would be unjustified. For suppose we could be sure of finding [453] such laws if they existed. Then given a discrete-state machine it should certainly be possible to discover by observation sufficient about it to predict its future behaviour, and this within a reasonable time, say a thousand years. But this does not seem to be the case. I have set up on the Manchester computer a small programme using only 1000 units of storage, whereby the machine supplied with one sixteen figure number replies with another within two seconds. I would defy anyone to learn from these replies sufficient about the programme to be able to predict any replies to untried values. (9) The Argument from Extra-Sensory Perception. I assume that the reader is familiar with the idea of [78]extra-sensory perception, and the meaning of the four items of it, viz. telepathy, clairvoyance, precognition and psycho-kinesis. These disturbing phenomena seem to deny all our usual scientific ideas. How we should like to discredit them! Unfortunately the statistical evidence, at least for telepathy, is overwhelming. It is very difficult to rearrange one’s ideas so as to fit these new facts in. Once one has accepted them it does not seem a very big step to believe in ghosts and bogies. The idea that our bodies move simply according to the known laws of physics, together with some others not yet discovered but somewhat similar, would be one of the first to go. This argument is to my mind quite a strong one. One can say in reply that many scientific theories seem to remain workable in practice, in spite of clashing with E. S. P.; that in fact one can get along very nicely if one forgets about it. This is rather cold comfort, and one fears that thinking is just the kind of phenomenon where E. S. P. may be especially relevant. A more specific argument based on E. S. P. might run as follows: “Let us play the imitation game, using as witnesses a man who is good as a telepathic receiver, and a digital computer. The interrogator can ask such questions as ‘What suit does the card in my right hand belong to?’ The [80]man by telepathy or clairvoyance gives the right answer 130 times out of 400 cards. The machine can only guess at random, and perhaps gets 104 right, so the interrogator makes the right identification.” There is an interesting possibility which opens here. Suppose the digital computer contains a random number generator. Then it will be natural to use this to decide what answer to give. But then the random number generator will be subject to the psycho-kinetic powers of the interrogator. Perhaps this psycho-kinesis might cause the machine to guess right more often than would be expected on a probability calculation, so that the interrogator [454] might still be unable to make the right identification. On the other hand, he might be able to guess right without any questioning, by clairvoyance. With E. S. P. anything may happen. If telepathy is admitted it will be necessary to tighten our test up. The situation could be regarded as analogous to that which would occur if the interrogator were talking to himself and one of the competitors was listening with his ear to the wall. To put the competitors into a ‘telepathy-proof room’ would satisfy all requirements. [82]7. Learning Machines. The reader will have anticipated that I have no very convincing arguments of a positive nature to support my views. If I had I should not have taken such pains to point out the fallacies in contrary views. Such evidence as I have I shall now give. Let us return for a moment to Lady Lovelace’s objection, which stated that the machine can only do what we tell it to do. One could say that a man can ‘inject’ an idea into the machine, and that it will respond to a certain extent and then drop into quiescence, like a piano string struck by a hammer. Another simile would be an atomic pile of less than critical size: an injected idea is to correspond to a neutron entering the pile from without. Each such neutron will cause a certain disturbance which eventually dies away. If, however, the size of the pile is sufficiently increased, the disturbance caused by such an incoming neutron will very likely go on and on increasing until the whole pile is destroyed. Is there a corresponding phenomenon for minds, and is there one for machines? There does seem to be one for the human mind. The majority of them seem to be ‘sub-critical,’ i. e., to correspond in this analogy to piles of sub-critical size. An idea presented to such a mind will on average give rise to less than one idea in reply. A smallish proportion are [84]super-critical. An idea presented to such a mind may give rise to a whole ‘theory’ consisting of secondary, tertiary and more remote ideas. Animals minds seem to be very definitely sub-critical. Adhering to this analogy we ask, ‘Can a machine be made to be super-critical?’ The ‘skin of an onion’ analogy is also helpful. In considering the functions of the mind or the brain we find certain operations which we can explain in purely mechanical terms. This we say does not correspond to the real mind: it is a sort of skin which we must strip off if we are to find the real mind. But then in what remains we find a further skin to be stripped off, and so on. [455] Proceeding in this way do we ever come to the ‘real’ mind, or do we eventually come to the skin which has nothing in it? In the latter case the whole mind is mechanical. (It would not be a discrete-state machine however. We have discussed this.) These last two paragraphs do not claim to be convincing arguments. They should rather be described as ‘recitations tending to produce belief’. The only really satisfactory support that can be given for the view expressed at the beginning of § 6, will be that provided by waiting for the end of the century and then doing the experiment described. But what can we say in the meantime? What steps should be taken now if the experiment is to be successful? [86]As I have explained, the problem is mainly one of programming. Advances in engineering will have to be made too, but it seems unlikely that these will not be adequate for the requirements. Estimates of the storage capacity of the brain vary from 1010 to 1015 binary digits. I incline to the lower values and believe that only a very small fraction is used for the higher types of thinking. Most of it is probably used for the retention of visual impressions. I should be surprised if more than 109 was required for satisfactory playing of the imitation game, at any rate against a blind man. (Note – The capacity of the Encyclopaedia Britannica, 11th edition, is 2 × 109.) A storage capacity of 107 would be a very practicable possibility even by present techniques. It is probably not necessary to increase the speed of operations of the machines at all. Parts of modern machines which can be regarded as analogues of nerve cells work about a thousand times faster than the latter. This should provide a ‘margin of safety’ which could cover losses of speed arising in many ways. Our problem then is to find out how to programme these machines to play the game. At my present rate of working I produce about a thousand digits of programme a day, so that about sixty workers, working steadily through the fifty years might accomplish the job, if nothing went into the waste-paper basket. Some more expeditious method seems desirable. [88]In the process of trying to imitate an adult human mind we are bound to think a good deal about the process which has brought it to the state that it is in. We may notice three components, (a) The initial state of the mind, say at birth,(b) The education to which it has been subjected,(c) Other experience, not to be described as education, to which it has been subjected. [456] Instead of trying to produce a programme to simulate the adult mind, why not rather try to produce one which simulates the child’s? If this were then subjected to an appropriate course of education one would obtain the adult brain. Presumably the child-brain is something like a note-book as one buys it from the stationers. Rather little mechanism, and lots of blank sheets. (Mechanism and writing are from our point of view almost synonymous.) Our hope is that there is so little mechanism in the child-brain that something like it can be easily programmed. The amount of work in the education we can assume, as a first approximation, to be much the same as for the human child.

We have thus divided our problem into two parts. The child-programme and the education process. These two remain very closely connected. We cannot expect to find a good child-machine at the first attempt. One must experiment with teaching one such machine and see how well it [90]learns. One can then try another and see if it is better or worse. There is an obvious connection between this process and evolution, by the identifications

One may hope, however, that this process will be more expeditious than evolution. The survival of the fittest is a slow method for measuring advantages. The experimenter, by the exercise of intelligence, should be able to speed it up. Equally important is the fact that he is not restricted to random mutations. If he can trace a cause for some weakness he can probably think of the kind of mutation which will improve it.

It will not be possible to apply exactly the same teaching process to the machine as to a normal child. It will not, for instance, be provided with legs, so that it could not be asked to go out and fill the coal scuttle. Possibly it might not have eyes. But however well these deficiencies might be overcome by clever engineering, one could not send the creature to school without the other children making excessive fun of it. It must be given some tuition. We need not be too [92]concerned about the legs, eyes, etc. The example of Miss Helen Keller shows that education can take place provided that communication in both directions between teacher and pupil can take place by some means or other. [457]

We normally associate punishments and rewards with the teaching process. Some simple child-machines can be constructed or programmed on this sort of principle. The machine has to be so constructed that events which shortly preceded the occurrence of a punishment-signal are unlikely to be repeated, whereas a reward-signal increased the probability of repetition of the events which led up to it. These definitions do not presuppose any feelings on the part of the machine. I have done some experiments with one such child-machine, and succeeded in teaching it a few things, but the teaching method was too unorthodox for the experiment to be considered really successful.

The use of punishments and rewards can at best be a part of the teaching process. Roughly speaking, if the teacher has no other means of communicating to the pupil, the amount of information which can reach him does not exceed the total number of rewards and punishments applied. By the time a child has learnt to repeat ‘Casabianca’ he would probably feel very sore indeed, if the text could only be discovered by a ‘Twenty Questions’ technique, every ‘NO’ taking the form of a blow. It is necessary therefore to have some other ‘unemotional’ channels of [94]communication. If these are available it is possible to teach a machine by punishments and rewards to obey orders given in some language, e. g. a symbolic language. These orders are to be transmitted through the ‘unemotional’ channels. The use of this language will diminish greatly the number of punishments and rewards required.

Opinions may vary as to the complexity which is suitable in the child machine. One might try to make it as simple as possible consistently with the general principles. Alternatively one might have a complete system of logical inference ‘built in’.3 In the latter case the store would be largely occupied with definitions and propositions. The propositions would have various kinds of status, e. g. well-established facts, conjectures, mathematically proved theorems, statements given by an authority, expressions having the logical form of proposition but not belief-value. Certain propositions may be described as ‘imperatives’. The machine should be so constructed that as soon as an imperative is classed as ‘well-established’ the appropriate action automatically takes place. To illustrate this, suppose the teacher says to the machine, ‘Do your homework now’. This may cause “Teacher says ‘Do your homework now’” [96]to be included amongst the well-established facts. Another such fact might be, [458] “Everything that teacher says is true”. Combining these may eventually lead to the imperative, ‘Do your homework now’, being included amongst the well-established facts, and this, by the construction of the machine, will mean that the homework actually gets started, but the effect is very satisfactory. The processes of inference used by the machine need not be such as would satisfy the most exacting logicians. There might for instance be no hierarchy of types. But this need not mean that type fallacies will occur, any more than we are bound to fall over unfenced cliffs. Suitable imperatives (expressed within the systems, not forming part of the rules of the system) such as ‘Do not use a class unless it is a subclass of one which has been mentioned by teacher’ can have a similar effect to ‘Do not go too near the edge’.

The imperatives that can be obeyed by a machine that has no limbs are bound to be of a rather intellectual character, as in the example (doing homework) given above. Important amongst such imperatives will be ones which regulate the order in which the rules of the logical system concerned are to be applied. For at each stage when one is using a logical system, there is a very large number of alternative steps, any of which one is permitted to apply, so far as obedience to the rules of the logical system is concerned. These choices make the difference between a brilliant and a footling reasoner, not the difference between a sound and a [98]fallacious one. Propositions leading to imperatives of this kind might be “When Socrates is mentioned, use the syllogism in Barbara” or “If one method has been proved to be quicker than another, do not use the slower method”. Some of these may be ‘given by authority’, but others may be produced by the machine itself, e. g. by scientific induction. The idea of a learning machine may appear paradoxical to some readers. How can the rules of operation of the machine change? They should describe completely how the machine will react whatever its history might be, whatever changes it might undergo. The rules are thus quite time-invariant. This is quite true. The explanation of the paradox is that the rules which get changed in the learning process are of a rather less pretentious kind, claiming only an ephemeral validity. The reader may draw a parallel with the Constitution of the United States. An important feature of a learning machine is that its teacher will often be very largely ignorant of quite what is going on inside, although he may still be able to some extent to predict his pupil’s behaviour. This should apply most strongly to the [459] later education of a machine arising from a child-machine of well-tried design (or programme). This is in clear contrast with normal procedure when using a machine to do computations: one’s object is then to have a clear mental picture of the state of the machine at each moment in the computation. This object can [100]only be achieved with a struggle. The view that ‘the machine can only do what we know how to order it to do’,4 appears strange in face of this. Most of the programmes which we can put into the machine will result in its doing something that we cannot make sense of at all, or which we regard as completely random behaviour. Intelligent behaviour presumably consists in a departure from the completely disciplined behaviour involved in computation, but a rather slight one, which does not give rise to random behaviour, or to pointless repetitive loops. Another important result of preparing our machine for its part in the imitation game by a process of teaching and learning is that ‘human fallibility’ is likely to be omitted in a rather natural way, i. e. without special ‘coaching’. (The reader should reconcile this with the point of view on pp. 24, 25.) Processes that are learnt do not produce a hundred per cent certainty of result; if they did they could not be unlearnt. It is probably wise to include a random element in a learning machine (see p. 438). A random element is rather useful when we are searching for a solution of some problem. Suppose for instance we wanted to find a number between 50 and 200 which was equal to the square of the sum of its digits, we might start at 51 then try 52 and go on until [102]we got a number that worked. Alternatively we might choose numbers at random until we got a good one. This method has the advantage that it is unnecessary to keep track of the values that have been tried, but the disadvantage that one may try the same one twice, but this is not very important if there are several solutions. The systematic method has the disadvantage that there may be an enormous block without any solutions in the region which has to be investigated first. Now the learning process may be regarded as a search for a form of behaviour which will satisfy the teacher (or some other criterion). Since there is probably a very large number of satisfactory solutions the random method seems to be better than the systematic. It should be noticed that it is used in the analogous process of evolution. But there the systematic method is not possible. How could one keep track [460] of the different genetical combinations that had been tried, so as to avoid trying them again? We may hope that machines will eventually compete with men in all purely intellectual fields. But which are the best ones to start with? Even this is a difficult decision. Many people think that a very abstract activity, like the playing of chess, would be best. It can also be maintained that it is best to provide the machine with the best sense organs that money can buy, and then teach it to understand and speak English. This process could follow the normal [104]teaching of a child. Things would be pointed out and named, etc. Again I do not know what the right answer is, but I think both approaches should be tried. We can only see a short distance ahead, but we can see plenty there that needs to be done. [106]BIBLIOGRAPHY Samuel Butler, Erewhon, London, 1865. Chapters 23, 24, 25, The Book of the Machines. Alonzo Church, “An Unsolvable Problem of Elementary Number Theory”, American J. of Math., 58 (1936), 345–363. K. Gödel, “Über formal unentscheidbare Sätze der Principia Mathematica und verwandter Systeme, I”, Monatshefte für Math. und Phys., (1931), 173–189. D. R. Hartree, Calculating Instruments and Machines, New York, 1949. S. C. Kleene, “General Recursive Functions of Natural Numbers”, American J. of Math., 57 (1935), 153–173 and 219–244. G. Jefferson, “The Mind of Mechanical Man”. Lister Oration for 1949. British Medical Journal, vol. i (1949), 1105–1121. Countess of Lovelace, ‘Translator’s notes to an article on Babbage’s Analytical Engine’, Scientific Memoirs (ed. by R. Taylor), vol. 3 (1842), 691–731. Bertrand Russell, History of Western Philosophy, London, 1940. A. M. Turing, “On Computable Numbers, with an Application to the Entscheidungsproblem”, Proc. London Math. Soc. (2), 42 (1937), 230–265. Victoria University of Manchester.

KÖNNEN MASCHINEN DENKEN?
 

BY A. M. TURING

1. Das Imitationsspiel.

ICH SCHLAGE VOR, dass wir uns mit der Frage »Können Maschinen denken?« auseinandersetzen. Am Anfang einer solchen Betrachtung sollten eigentlich Definitionen der Begriffe »Maschine« und »denken« stehen. Man könnte diese Definitionen so formulieren, dass sie so weit wie möglich den normalen Gebrauch dieser Worte widerspiegeln. Doch diese Haltung ist gefährlich. Will man die Bedeutung der Wörter »Maschine« und »denken« am allgemeinen Sprachgebrauch ausrichten, kommt man kaum umhin, die Bedeutung und die Antwort auf die Frage »Können Maschinen denken?« auf dem Wege einer statistischen Erhebung wie zum Beispiel einer Gallup Poll zu ermitteln. Aber das ist absurd. Anstatt mich um solch eine Definition zu bemühen, werde ich daher die Frage durch eine andere ersetzen, die eng mit ihr verwandt und in recht eindeutigen Worten formuliert ist.

In seiner neuen Form lässt sich das Problem als ein Spiel beschreiben, das wir als »Imitationsspiel« bezeichnen wollen. Es wird von drei Personen gespielt, einem Mann (A), einer Frau (B) und einem Fragesteller (C), der männlichen oder weiblichen Geschlechts sein kann. Der Fragesteller befindet sich in einem separaten Raum. Ziel des Spiels für den Fragesteller ist es festzustellen, wer von den anderen beiden der Mann und wer die Frau ist. Er kennt sie zunächst [9]als X und Y. Am Ende des Spiels sagt er entweder »X ist A und Y ist B« oder »X ist B und Y ist A«. Der Fragesteller darf an A und B Fragen stellen wie:

C: Würde mir X bitte sagen, wie lang sein oder ihr Haar ist?

Angenommen, X sei de facto A, dann muss A antworten. Die Aufgabe von A [434] bei diesem Spiel besteht nun darin, C möglichst zur falschen Identifizierung zu veranlassen. Entsprechend könnte seine Antwort lauten:

»Ich trage eine Bubikopffrisur und die längsten Strähnen sind ungefähr 20 cm lang.«

Damit der Fragesteller die Befragten nicht an der Stimme erkennt, sollten die Antworten geschrieben oder besser noch maschinengeschrieben sein. Im Idealfall verläuft die Kommunikation zwischen beiden Räumen über einen Fernschreiber. Alternativ könnte ein Mittler die Fragen und die Antworten wiederholen. Das Ziel der Spielerin (B) besteht darin, dem Fragesteller zu helfen. Die beste Strategie für sie besteht wahrscheinlich darin, wahrheitsgetreu zu antworten. Sie kann ihren Antworten Anmerkungen hinzufügen, wie z. B. »Ich bin die Frau, höre nicht auf ihn«. Das nützt jedoch nichts, da der Mann ja Ähnliches sagen kann.

Fragen wir uns nun Folgendes: »Was passiert, wenn eine Maschine in diesem Spiel die Rolle von A übernimmt?« Wird sich der Fragesteller in diesem Fall ebenso oft falsch entscheiden wie dann, wenn das Spiel von einem Mann und einer Frau gespielt wird? Diese Fragen treten an die Stelle unserer Ausgangsfrage: »Können Maschinen denken?«

[11]2. Kritische Bemerkungen zum neuen Problem.

Anstelle von »Was ist die Antwort auf diese neue Frage?« könnte man auch fragen: »Ist diese neue Frage überhaupt eine Untersuchung wert?« Widmen wir uns ohne weiteres Getue dieser letzten Frage, um einen infiniten Regress zu vermeiden.

Das neue Problem besitzt den Vorteil, dass es eine ziemlich scharfe Trennungslinie zwischen den physischen und den intellektuellen Fähigkeiten eines Menschen zieht. Kein Ingenieur oder Chemiker wird von sich behaupten, er könne ein Material produzieren, das von der menschlichen Haut nicht zu unterscheiden ist. Möglich, dass dies irgendwann einmal gelingt; doch selbst dann, wenn man annimmt, dass eine derartige Erfindung existiert, sollte man doch meinen, dass es wenig sinnvoll wäre, eine »denkende Maschine« dadurch menschlicher gestalten zu wollen, dass man sie mit solch künstlichem Fleisch ausstaffiert. Die Form unserer Problemstellung trägt dieser Tatsache insofern Rechnung, als sie den Fragesteller daran hindert, die anderen Beteiligten zu sehen, zu berühren oder ihre Stimmen zu hören. Einige andere Vorteile des Kriteriums, das wir vorgeschlagen haben, lassen sich anhand von exemplarischen Fragen und Antworten aufzeigen, wie etwa:

F: Schreiben Sie mir bitte ein Sonett über die Forth-Brücke.

A: Da bin ich raus; ich könnte niemals Gedichte schreiben.

F: Addieren Sie die beiden Zahlen 34 957 und 70 764.

A: (warte etwa 30 Sekunden und gib dann als Antwort) 105 621.

F: Spielen Sie Schach?

[13]A: Ja. [435]

F: Mein König steht auf e8; sonst habe ich keine Figuren mehr. Sie haben nur noch Ihren König auf e6 und einen Turm auf h1. Sie sind am Zug. Wie ziehen Sie?

A: (nach einer Pause von 15 Sekunden) h1 nach h8 – matt.

Die Frage-und-Antwort-Methode scheint geeignet zu sein, fast jeden gewünschten Bereich menschlichen Verhaltens abzudecken. Wir wollen weder die Maschine für ihre Unfähigkeit bestrafen, in Schönheitswettbewerben zu glänzen, noch einen Menschen dafür, in einem Rennen gegen ein Flugzeug zu verlieren. Die Bedingungen unseres Spiels machen diese Unvermögen irrelevant. Die »Zeugen« mögen, wenn es ihnen ratsam erscheint, mit ihren Reizen, ihren Kräften oder ihrer Heldenhaftigkeit prahlen, so viel sie wollen, der Fragesteller kann schließlich keine praktischen Vorführungen verlangen.

Möglicherweise könnte man unser Spiel kritisieren, weil man der Meinung ist, dass die Maschine zu sehr im Nachteil sei. Wenn der Mensch versuchen sollte, so zu tun, als sei er die Maschine, würde er zweifellos einen miserablen Eindruck machen. Er würde sich sofort durch seine Langsamkeit und seine rechnerische Ungenauigkeit verraten. Könnten Maschinen nicht etwas tun, das zwar als Denken bezeichnet werden sollte, das sich jedoch stark von dem unterscheidet, was ein Mensch tut? Dies ist ein schwerwiegender Einwand. Zumindest aber können wir sagen, dass er uns nicht zu beunruhigen braucht, wenn dennoch eine Maschine konstruiert werden kann, die das Imitationsspiel befriedigend zu spielen vermag.

Man könnte einwenden, dass beim Imitationsspiel die [15]beste Strategie für die Maschine möglicherweise gar nicht darin besteht, menschliches Verhalten zu imitieren. Das mag sein, ich halte es jedoch für unwahrscheinlich, dass dies nennenswerte Auswirkungen haben würde. Auf jeden Fall geht es hier nicht darum, die Theorie des Spiels zu untersuchen. Wir nehmen schlicht an, dass die beste Strategie darin besteht, nach Möglichkeit so zu antworten, wie ein Mensch es natürlicherweise tun würde.

3. Um was für Maschinen geht es in dem Spiel?

Die in Abschnitt 1 gestellte Frage wird erst dann klar definiert sein, wenn wir spezifiziert haben, was wir unter dem Begriff »Maschine« verstehen. Selbstverständlich möchten wir in unseren Maschinen jede Art von Ingenieurstechnik zulassen. Wir möchten auch die Möglichkeit zulassen, dass ein Ingenieur oder ein Team von Ingenieuren eine funktionierende Maschine konstruieren darf, deren Arbeitsweise sie nicht zufriedenstellend beschreiben können, weil die von ihnen angewandte Methode weitgehend experimentell war. Und schließlich möchten wir Menschen, die auf übliche Weise geboren wurden, nicht zu den Maschinen zählen. Es ist schwierig, die Definitionen so zu formulieren, dass sie diese drei Bedingungen erfüllen. Man könnte z. B. darauf bestehen, dass das Ingenieursteam [436] aus Personen gleichen Geschlechts besteht. Das wäre jedoch nicht wirklich zufriedenstellend, da es wahrscheinlich möglich ist, ein vollständiges Individuum aus einer einzigen Hautzelle, etwa einer menschlichen, zu züchten. Das wäre zwar eine Meisterleistung biologischer Technik, die allerhöchstes Lob [17]verdiente, jedoch wären wir nicht geneigt, darin die »Konstruktion einer denkenden Maschine« zu sehen. Das veranlasst uns, die Forderung aufzugeben, dass jede Art von Technik zugelassen werden sollte. Wir sind dazu umso mehr bereit angesichts der Tatsache, dass das gegenwärtige Interesse an »denkenden Maschinen« durch eine ganz bestimmte Art von Maschinen geweckt wurde, die man gewöhnlich als »elektronische Rechner« oder als »digitale Rechner« bezeichnet. Dieser Überlegung folgend, lassen wir nur digitale Rechner an unserem Spiel teilnehmen.

Diese Einschränkung erscheint auf den ersten Blick sehr drastisch. Ich versuche jedoch zu zeigen, dass dem in Wirklichkeit nicht so ist. Dies erfordert eine kurze Betrachtung der Natur und Eigenschaften dieser Rechner.

Man sollte noch hinzufügen, dass diese Gleichsetzung von Maschinen mit digitalen Rechnern ebenso wie unser Kriterium für »Denken« nur dann unbefriedigend sein wird, wenn sich (was ich nicht glaube) herausstellt, dass digitale Rechner nicht fähig sind, bei dem Spiel gut abzuschneiden.

Es gibt bereits eine Reihe digitaler Rechner im betriebsfähigen Zustand, und man könnte fragen: »Warum das Experiment nicht einfach durchführen? Es wäre ein Leichtes, die Bedingungen des Spiels zu erfüllen. Man könnte einige Fragesteller heranziehen und statistisch erheben, wie oft die richtige Identifizierung gelang.« Die kurze Antwort hierauf ist, dass wir weder fragen, ob alle digitalen Rechner im Spiel gut abschneiden würden, noch, ob die derzeit verfügbaren Rechner gut abschneiden würden, sondern ob Rechner vorstellbar sind, die gut abschneiden würden. Aber das ist nur die kurze Antwort. Wir werden diese Frage später in einem anderen Licht sehen.

[19]4. Digitale Rechner.

Die Idee, die hinter digitalen Rechnern steht, ließe sich erklären, indem man sagt, dass diese Maschinen dafür gedacht sind, jede Operation auszuführen, die von einem menschlichen Rechner ausgeführt werden könnte. Vom menschlichen Rechner wird erwartet, dass er festen Regeln folgt; von diesen darf er nicht im Geringsten abweichen. Wir können annehmen, dass diese Regeln in einem Buch zur Verfügung gestellt werden, das stets angepasst wird, wenn er eine neue Aufgabe erhält. Er verfügt außerdem über einen unbeschränkten Papiervorrat für seine Berechnungen. Seine Multiplikationen und Additionen darf er auch auf einer »Tischrechenmaschine« ausführen, doch das ist nicht von Bedeutung.

Wenn wir die oben gegebene Erklärung als Definition verwenden, laufen wir [437] Gefahr, zirkulär zu argumentieren. Dies vermeiden wir, indem wir umreißen, mit welchen Mitteln das gewünschte Ergebnis erreicht wird. Digitale Rechner bestehen gewöhnlich aus drei Bestandteilen:

(i) Speicher.(ii) Ausführende Einheit.(iii) Steuereinheit.

Der Speicher ist ein Informationsspeicher und entspricht dem Papier des menschlichen Rechners, und zwar entweder dem Papier, auf dem er rechnet, oder dem Papier des Buches, in dem die Regeln festgehalten sind. In dem Umfang, in dem der menschliche Rechner Berechnungen im Kopf ausführt, entspricht ein Teil des Speichers dessen Gedächtnis.

[21]Die ausführende Einheit ist derjenige Teil, der die verschiedenen einzelnen Operationen einer Berechnung ausführt. Worin diese einzelnen Operationen bestehen, variiert von Maschine zu Maschine. In der Regel können ziemlich lange Operationen ausgeführt werden, wie etwa »Multipliziere 3540675445 mit 7076345687«, bei einigen Maschinen sind dagegen nur ganz einfache Operationen möglich, wie etwa »Schreibe 0«.

Wie erwähnt, wird das dem menschlichen Rechner zur Verfügung gestellte »Regelbuch« in der Maschine durch einen Teil des Speichers ersetzt. Dieser wird dann als »Befehlsliste« bezeichnet. Die Steuereinheit hat dafür zu sorgen, dass die Befehle korrekt und in der richtigen Reihenfolge abgearbeitet werden. Sie ist so konstruiert, dass dies notwendigerweise geschieht.

Die im Speicher enthaltene Information ist gewöhnlich in relativ kleine Pakete aufgeteilt. In einer bestimmten Maschine könnte ein solches Paket beispielsweise aus zehn Dezimalziffern bestehen. Den Teilen des Speichers, in denen die verschiedenen Informationspakete gespeichert werden, werden nach einem bestimmten System Nummern zugewiesen. Ein typischer Befehl könnte lauten: »Addiere die an Position 6809 gespeicherte Zahl zu der an Position 4302 gespeicherten Zahl und lege das Ergebnis an der letztgenannten Speicherposition ab.« Es versteht sich von selbst, dass ein solcher Befehl nicht in natürlicher Sprache in der Maschine erscheint. Er wird eher in einer Form wie 6809430217 kodiert, wobei 17 hier angibt, welche der verschiedenen möglichen Operationen [23]mit den beiden Zahlen ausgeführt werden soll. In diesem Fall also »Addiere die Zahl …«. Wie man sieht, besteht der Befehl aus zehn Ziffern und bildet, praktischerweise, ein Informationspaket. Die Steuereinheit wird die Befehle gewöhnlich in der Reihenfolge ihrer Speicherposition ausführen, gelegentlich trifft man jedoch auch auf Befehle wie [438]: »Führe jetzt den an Position 5606 gespeicherten Befehl aus und fahre von dort aus fort« oder »Falls Position 4505 den Wert 0 enthält, führe als Nächstes den an Position 6707 stehenden Befehl aus, andernfalls fahre weiter fort.« Befehle der letzteren Art sind sehr wichtig, da sie es ermöglichen, eine Folge von Operationen so lange zu wiederholen, bis eine bestimmte Bedingung erfüllt ist – und zwar nicht, indem sie für jeden Wiederholungsschritt neuen Befehlen folgen, sondern indem sie dieselben Befehle immer wieder ausführen. Um einen Vergleich aus dem täglichen Leben zu nehmen: Wenn die Mutter beispielsweise möchte, dass Thomas jeden Morgen auf seinem Schulweg beim Schuster nachfragt, ob ihre Schuhe fertig sind, kann sie ihm dies jeden Morgen aufs Neue sagen. Sie könnte aber auch ein für alle Mal eine Notiz in den Flur hängen, die ihn beim Verlassen des Hauses daran erinnert, auf dem Weg zur Schule nach den Schuhen zu fragen, und ihn zudem auffordert, die Notiz zu vernichten, wenn er die Schuhe dabeihat. [25]Der Leser muss es als eine Tatsache hinnehmen, dass digitale Rechner nach den von uns beschriebenen Prinzipien gebaut werden können und auch gebaut wurden, und dass sie tatsächlich die Handlungen eines menschlichen Rechners sehr genau nachahmen können. Das Regelbuch, das der menschliche Rechner unserer Beschreibung nach nutzt, ist natürlich nur eine zweckdienliche Fiktion. Echte menschliche Rechner haben im Kopf, was sie tun müssen. Möchte man, dass sich eine Maschine bei einer komplexen Operation wie ein menschlicher Rechner verhält, muss man ihn fragen, wie er diese ausführt, und die Antwort dann in die Form einer Befehlsliste übersetzen. Das Erstellen solcher Befehlslisten bezeichnet man gewöhnlich als »programmieren«. »Eine Maschine so zu programmieren, dass sie die Operation A ausführt« bedeutet, der Maschine die geeignete Befehlsliste einzugeben, damit sie A ausführt. Eine interessante Variante der Idee eines digitalen Rechners ist ein »digitaler Rechner mit einem Zufallselement«. Die Befehle solcher Rechner schließen das Werfen eines Würfels oder einen äquivalenten elektronischen Vorgang ein. So könnte ein solcher Befehl etwa lauten: »Würfle und lege die gewürfelte Zahl an Position 1000 ab«. Manchmal wird einer solchen Maschine ein freier Wille zugeschrieben (obwohl ich diesen Ausdruck selbst nicht verwenden würde). Gewöhnlich ist es nicht möglich, durch Beobachtung einer Maschine festzustellen, ob sie ein Zufallselement besitzt, da ähnliche Effekte etwa auch durch Vorrichtungen erzeugt werden können, bei denen die Entscheidung von den Ziffern der Dezimalbruchentwicklung für π abhängig gemacht wird. [27]Modernste digitale Rechner haben nur einen endlichen Speicher. Theoretisch ist es nicht schwierig, sich eine Rechenmaschine mit unbegrenztem Speicher vorzustellen. Natürlich könnte zu jedem Zeitpunkt nur ein endlicher Teil des Speichers benutzt worden sein. Ebenso könnte [439] nur eine endliche Menge an Speicher hergestellt worden sein, doch können wir uns durchaus vorstellen, je nach Bedarf immer mehr hinzuzufügen. Solche Rechner sind von besonderem theoretischen Interesse und können als Rechner mit unendlicher Kapazität bezeichnet werden. Die Idee eines digitalen Rechners ist alt. Charles Babbage, von 1828 bis 1839 Lucasischer Professor für Mathematik in Cambridge, entwarf eine solche Maschine, »Analytische Maschine« genannt, die jedoch nie vollendet wurde. Obwohl Babbage alle wesentlichen Ideen entwickelt hatte, verband man mit seiner Maschine zu jener Zeit keine großen Erwartungen. Die erreichbare Geschwindigkeit hätte zwar die eines menschlichen Rechners gewiss übertroffen, sie wäre jedoch ungefähr hundert Mal geringer gewesen als die der »Manchester-Maschine«, die ihrerseits eine der langsameren modernen Maschinen ist. Der Speicher sollte, unter Verwendung von Zahnrädern und Karten, rein mechanisch sein. Die Tatsache, dass Babbages Analytische Maschine rein mechanisch sein sollte, wird helfen, uns von einem Aberglauben zu befreien. Oft wird der Tatsache Bedeutung beigemessen, dass digitale Rechner ebenso wie das Nervensystem auf der Basis elektrischer Prozesse arbeiten. Da Babbages Maschine keine elektrische Maschine war und da alle digitalen Rechner in einem gewissen Sinn äquivalent miteinander sind, sehen wir leicht ein, dass die Verwendung [29]von Elektrizität theoretisch nicht von Bedeutung ist. Natürlich spielt Elektrizität in der Regel dann eine Rolle, wenn es um eine schnelle Signalübertragung geht, so dass es nicht weiter überrascht, sie in diesen beiden Zusammenhängen anzutreffen. Im Nervensystem sind chemische Phänomene mindestens ebenso wichtig wie elektrische. In einigen Rechnern ist das Speichersystem hauptsächlich akustisch. Die Verwendung von Elektrizität erweist sich somit nur als eine sehr vordergründige Ähnlichkeit. Wenn wir echte Ähnlichkeiten ausmachen wollen, dann sollten wir eher nach mathematischen Analogien in ihrer Arbeitsweise Ausschau halten. 5. Die Universalität digitaler Rechner. Die im letzten Abschnitt betrachteten digitalen Rechner lassen sich als »Maschinen mit diskreten Zuständen« bezeichnen. Das sind solche Maschinen, bei denen der Übergang von einem eindeutigen Zustand zu einem anderen in plötzlichen Sprüngen erfolgt. Die Zustände sind dabei voneinander hinreichend verschieden, so dass man die Möglichkeit von Verwechslungen außer Acht lassen kann. Streng genommen gibt es keine solchen Maschinen. In Wirklichkeit verläuft alles stetig. Es gibt jedoch viele Maschinenarten, bei denen es von Nutzen sein kann, sie sich als Maschinen mit diskreten Zuständen vorzustellen. Betrachtet man z. B. die Schalter einer Beleuchtungsanlage, dann kann man sich der Einfachheit halber vorstellen, dass jeder Schalter eindeutig ein- oder ausgeschaltet sein muss. Es muss zwar Zwischenstellungen geben, die man jedoch [31]in den meisten Fällen vernachlässigen kann. Als Beispiel einer Maschine mit diskreten Zuständen können wir ein Rad nehmen, das sich pro Sekunde um 120° ruckartig weiterdreht [440], aber durch einen von außen bedienbaren Hebel angehalten werden kann; außerdem soll bei einer bestimmten Radstellung eine Lampe aufleuchten. Diese Maschine ließe sich wie folgt abstrakt beschreiben. Der interne Zustand der Maschine (der durch die Radstellung beschrieben ist) kann q1, q2 oder q3 sein. Es gibt ein Eingabesignal i0 oder i1 (die Hebelstellung). Zu jedem Zeitpunkt wird der interne Zustand durch den vorherigen Zustand und das Eingabesignal bestimmt, gemäß der folgenden Tabelle: Die Ausgabesignale, die die einzig äußerlich sichtbaren Zeichen des internen Zustands (Licht an oder aus) sind, werden durch die folgende Tabelle beschrieben: Dieses Beispiel ist charakteristisch für Maschinen mit diskreten Zuständen. Vorausgesetzt, sie können nur endlich viele Zustände annehmen, lassen sie sich durch solche Tabellen beschreiben. [33]Sind der Anfangszustand der Maschine und die Eingabesignale gegeben, scheint es immer möglich zu sein, alle zukünftigen Zustände vorherzusagen. Das erinnert an die Laplace’sche Ansicht, dass es möglich sein sollte, aus dem Gesamtzustand des Universums zu einem bestimmten Zeitpunkt, wie er durch die Position und die Geschwindigkeit jedes Teilchens beschrieben wird, alle zukünftigen Zustände vorherzusagen. Die von uns betrachtete Vorhersage ist jedoch praktikabler als die von Laplace. Das System des »Universum als Ganzes« ist so beschaffen, dass selbst kleinste Abweichungen in den Anfangsbedingungen zu einem späteren Zeitpunkt eine überwältigende Wirkung haben können. Die Verschiebung eines Elektrons um einen Milliardstel Zentimeter zu einem bestimmten Zeitpunkt kann darüber entscheiden, ob ein Jahr später ein Mensch von einer Lawine getötet wird oder ob er ihr entgeht. Es ist eine wesentliche Eigenschaft der mechanischen Systeme, die wir als »Maschinen mit diskreten Zuständen« bezeichnet haben, dass dieses Phänomen nicht auftritt. Selbst wenn wir tatsächliche physikalische Maschinen anstelle der idealisierten Maschinen betrachten, ergibt sich aus einer hinreichend genauen Kenntnis ihres Zustands zu einem bestimmten Zeitpunkt eine hinreichend genaue Kenntnis des Zustands beliebig viele Schritte später. [441] Wie erwähnt gehören digitale Rechner zur Klasse der Maschinen mit diskreten Zuständen. Die Anzahl der verschiedenen Zustände, die eine solche Maschine annehmen kann, ist jedoch normalerweise enorm groß. Beispielsweise beträgt diese Zahl bei der zurzeit in Manchester arbeitenden Maschine ungefähr 2165 000, also ungefähr 1050 000. Man vergleiche dies mit unserem Beispiel des sich ruckartig [35]bewegenden Rades, das drei Zustände annehmen kann. Es ist nicht schwer zu sehen, weshalb die Anzahl der Zustände so groß sein sollte. Der Rechner besitzt einen Speicher, der dem von einem menschlichen Rechner verwendeten Papier entspricht. Es muss möglich sein, in den Speicher jede beliebige Zeichenkombination zu schreiben, die auch auf Papier hätte geschrieben werden können. Der Einfachheit halber sei angenommen, dass als Zeichen nur die Ziffern von 0 bis 9 verwendet werden; handschriftliche Variationen werden ignoriert. Nehmen wir einmal an, dem Rechner stünden 100 Blatt Papier zur Verfügung, von denen jedes 50 Zeilen mit Platz für jeweils 30 Ziffern enthält. In diesem Fall ist die Anzahl der Zustände gleich 10100×50×30, also gleich 10150 000. Dies ist ungefähr die Anzahl der Zustände von drei Manchester-Maschinen zusammengenommen. Der Logarithmus zur Basis 2 der Anzahl der Zustände wird gewöhnlich als die »Speicherkapazität« der Maschine bezeichnet. Demzufolge besitzt die Manchester-Maschine eine Speicherkapazität von ungefähr 165 000 und die Radmaschine unseres Beispiels eine Speicherkapazität von etwa 1,6. Nimmt man zwei Maschinen zusammen, so muss man deren Kapazitäten addieren, um die Kapazität der resultierenden Maschine zu erhalten. Dies ermöglicht Feststellungen wie: »Die Manchester-Maschine enthält 64 Magnetspuren, jede mit einer Kapazität von 2560, und acht Elektronenröhren mit jeweils einer Kapazität von 1280. Die Kapazität sonstiger Speicher beläuft sich auf etwa 300, so dass sich eine Gesamtkapazität von 174 380 ergibt.« Ist die Tabelle einer Maschine mit diskreten Zuständen bekannt, so ist es möglich vorherzusagen, was sie tun wird. Es gibt keinen Grund, weshalb diese Berechnung nicht [37]mithilfe eines digitalen Rechners ausgeführt werden sollte. Vorausgesetzt, dass sie hinreichend schnell ausgeführt werden könnte, wäre der digitale Rechner in der Lage, das Verhalten jeder Maschine mit diskreten Zuständen nachzuahmen. Das Imitationsspiel ließe sich dann mit der betreffenden Maschine (als B) und dem sie nachahmenden digitalen Rechner (als A) spielen, und der Fragesteller wäre außerstande, sie voneinander zu unterscheiden. Natürlich muss der digitale Rechner eine angemessene Speicherkapazität haben und schnell genug arbeiten. Darüber hinaus muss er für jede Maschine, die er nachahmen soll, neu programmiert werden. Die besondere Eigenschaft digitaler Rechner, jede Maschine mit diskreten Zuständen nachahmen zu können, wird dadurch beschrieben, dass man sagt, sie seien universelle Maschinen. Die Existenz von Maschinen mit dieser Eigenschaft hat die wichtige Konsequenz, dass es, abgesehen von Überlegungen zu ihrer Geschwindigkeit, nicht erforderlich ist, jeweils neue Maschinen für verschiedene Rechenprozesse zu entwerfen. Diese können alle [442] von ein und demselben digitalen Rechner ausgeführt werden, der für jeden Fall entsprechend programmiert wird. Wir werden sehen, dass als Folge davon alle digitalen Rechner in gewisser Weise gleichwertig sind. Wir wollen nun nochmals an die am Ende von Abschnitt 3 vorgebrachte Überlegung anknüpfen. Es wurde vorsichtig angeregt, die Frage »Können Maschinen denken?« durch die Frage »Sind digitale Rechner vorstellbar, die beim Imitationsspiel gut abschneiden würden?« zu ersetzen. Wenn wir wollen, können wir dies vordergründig verallgemeinern und fragen: »Gibt es Maschinen mit diskreten [39]Zuständen, die gut abschneiden würden?« Angesichts der Universalitätseigenschaft zeigt sich jedoch, dass beide Fragen äquivalent zu der folgenden Frage sind: »Konzentrieren wir uns auf einen bestimmten digitalen Rechner C. Ist es wahr, dass dieser in die Lage versetzt werden kann, zufriedenstellend die Rolle von A im Imitationsspiel zu spielen, wobei Bs Rolle von einem Mann übernommen wird, wenn der Speicher des Rechners angemessen modifiziert, seine Verarbeitungsgeschwindigkeit erhöht und er mit einem angemessenen Programm ausgestattet wird?« 6. Gegensätzliche Ansichten über die zentrale Frage. Wir haben nun das Fundament gelegt und sind bereit, die Diskussion unserer Frage »Können Maschinen denken?« und jener Spielart davon, die am Ende des letzten Abschnitts ausgeführt wurde, fortzusetzen. Wir können die ursprüngliche Form des Problems nicht ganz aufgeben, da die Meinungen über die Angemessenheit dieser Ersetzung auseinandergehen werden; wir müssen uns zumindest anhören, was in diesem Zusammenhang vorzubringen ist. Um die Sache für den Leser zu vereinfachen, möchte ich zunächst meine eigenen Ansichten hierzu darlegen. Betrachten wir zunächst die genauere Fassung der Frage. Meiner Meinung nach wird es in etwa 50 Jahren möglich sein, Rechner mit einer Speicherkapazität von etwa 109 zu programmieren, die das Imitationsspiel so gut spielen werden, dass ein durchschnittlicher Fragesteller eine Chance von nicht mehr als 70 Prozent hat, die richtige Identifizierung nach fünf Minuten Befragung vorzunehmen. Die [41]ursprüngliche Frage »Können Maschinen denken?« halte ich für zu unbedeutend, um einer Diskussion wert zu sein. Dennoch glaube ich, dass sich am Ende des Jahrhunderts der Gebrauch der Worte und die allgemeine gebildete Auffassung derart stark gewandelt haben werden, dass man von denkenden Maschinen reden kann, ohne dass Widerspruch zu erwarten wäre. Auch erachte ich es für zwecklos, diese Ansichten zu verbergen. Der verbreiteten Meinung, dass Wissenschaftler unerbittlich von einer anerkannten Tatsache zur nächsten fortschreiten, ohne sich durch unbeweisbare Vermutungen beeinflussen zu lassen, liegt ein schlichter Irrtum zugrunde. Vorausgesetzt es wird klargestellt, was bewiesene Tatsachen und was Vermutungen sind, kann kein Schaden entstehen. Vermutungen sind sehr wichtig, da sie für die Forschung richtungsweisend sein können. [443] Ich möchte nun Meinungen betrachten, die meiner eigenen entgegenstehen. (1) Der theologische Einwand. »Denken ist eine Funktion der unsterblichen menschlichen Seele. Gott verlieh jedem Mann und jeder Frau eine unsterbliche Seele, nicht aber anderen Lebewesen oder Maschinen. Daher kann kein Tier und keine Maschine denken.« Ich sehe mich außerstande, auch nur einen Teil hiervon zu akzeptieren, will jedoch versuchen, mit theologischen Argumenten zu antworten. Ich hielte den Einwand für überzeugender, wenn Tiere und Menschen in einer Kategorie zusammengefasst würden, da meiner Meinung nach zwischen dem typisch Lebenden und dem Unbelebten ein größerer Unterschied besteht als zwischen Menschen und anderen Lebewesen. Der willkürliche Charakter der [43]orthodoxen Ansicht tritt klarer hervor, wenn wir betrachten, wie sie dem Anhänger einer anderen religiösen Gemeinschaft erscheinen mag. Wie stehen Christen zu der muslimischen Ansicht, dass Frauen keine Seele haben? Aber lassen wir diesen Punkt beiseite und kehren zum Hauptargument zurück. Mir scheint, dass das oben angeführte Argument eine ernsthafte Einschränkung der Allmacht des Allmächtigen impliziert.5 Zugegeben, es gibt gewisse Dinge, die Gott nicht tun kann, z. B. eins gleich zwei machen; aber sollten wir nicht glauben, dass Gott die Freiheit hat, einem Elefanten eine Seele zu verleihen, wenn er es für passend hält? Wir dürfen erwarten, dass Gott diese Macht nur in Verbindung mit einer Veränderung ausübt, die dem Elefanten ein entsprechend verbessertes Gehirn verleiht, um den Bedürfnissen dieser Seele gerecht zu werden. Ein Argument der exakt gleichen Form kann für Maschinen vorgebracht werden. Es mag im Vergleich zu diesen verschieden erscheinen, da es schwieriger zu schlucken ist. Tatsächlich bedeutet es aber nur, dass wir es für weniger wahrscheinlich halten, dass Gott diese Umstände für die Verleihung einer Seele als passend erachten würde. Die fraglichen Umstände werden im restlichen Teil dieses Artikels erörtert. Beim Versuch, solche Maschinen zu konstruieren, sollten wir uns nicht ehrfurchtslos die göttliche Macht, Seelen zu erschaffen, anmaßen, ebenso wenig wie wir dies bei der [45]Kinderzeugung tun: Vielmehr sind wir in beiden Fällen Instrumente seines Willens und stellen für die von Gott erschaffenen Seelen eine Behausung bereit. Dies ist jedoch bloße Spekulation. Ich bin nicht sehr beeindruckt von theologischen Argumenten, was auch immer sie stützen mögen. Solche Argumente haben sich in der Vergangenheit oft als unbefriedigend erwiesen. Zu Galileis Zeiten wurde argumentiert, dass die Bibelstellen »Da stand die Sonne […] still […] und verzog unterzugehen beinahe einen ganzen Tag« (Josua 10,13) sowie »der du das Erdreich gegründet hast auf seinen Boden, [444] dass es bleibt immer und ewiglich« (Psalm 104,5) eine adäquate Widerlegung der Kopernikanischen Theorie darstellen. Mit unserem gegenwärtigen Wissen erscheint ein solches Argument nichtig. Als dieses Wissen noch nicht vorhanden war, hinterließ es einen ganz anderen Eindruck. (2) Der Vogel-Strauß-Einwand. »Die Konsequenzen, die denkende Maschinen mit sich bringen, wären zu schrecklich. Wir wollen hoffen und glauben, dass sie nicht denken können.« Dieses Argument wird selten so offen ausgesprochen. Doch bewegt es die meisten von uns, die überhaupt über das Problem nachdenken. Wir möchten gerne glauben, dass der Mensch in irgendeiner subtilen Weise der übrigen Schöpfung überlegen sei. Am besten wäre es, man könnte zeigen, dass er notwendigerweise überlegen ist, denn dann besteht für ihn keine Gefahr mehr, dass er seine beherrschende Rolle verliert. Die Beliebtheit des theologischen Arguments ist eindeutig mit diesem Gefühl verbunden. Wahrscheinlich ist es bei Intellektuellen sehr stark ausgeprägt, da sie die Kraft des Denkens weit höher bewerten als [47]andere, und mehr dazu geneigt sind, ihren Glauben an die Überlegenheit des Menschen auf jene Kraft zu gründen. Ich halte dieses Argument für zu unwesentlich, als dass es der Widerlegung bedürfte. Trost wäre angebrachter: Vielleicht sollte man ihn in der Seelenwanderung suchen. (3) Der mathematische Einwand. Es gibt in der mathematischen Logik eine Reihe von Ergebnissen, mit deren Hilfe man zeigen kann, dass die Fähigkeiten von Maschinen mit diskreten Zuständen beschränkt sind. Das bekannteste dieser Ergebnisse ist das Gödel’sche Theorem6 (Gödel 1931). Demnach können in jedem hinreichend mächtigen logischen System Sätze formuliert werden, die innerhalb des Systems weder bewiesen noch widerlegt werden können, es sei denn womöglich, das System selbst ist inkonsistent. Es gibt andere, in gewisser Hinsicht ähnliche Ergebnisse von Church (1936), Kleene (1936), Rosser und Turing (1936/37). Letzteres ist für unsere Zwecke am geeignetsten, da es sich direkt auf Maschinen bezieht, wohingegen sich die anderen nur für ein vergleichsweise indirektes Argument verwenden lassen: Wenn z. B. das Gödel’sche Theorem angewendet werden soll, müssen wir zusätzlich noch in der Lage sein, logische Systeme durch Maschinen und umgekehrt Maschinen durch logische Systeme zu beschreiben. Turings (1936/37) Ergebnis hingegen bezieht sich auf eine Art Maschine, die im Wesentlichen ein digitaler Rechner mit unendlichem Speicher ist. Es besagt, dass es eine Reihe von Dingen gibt, die eine solche Maschine nicht tun kann. Sollte sie so aufgemotzt werden, dass sie wie im [49]Imitationsspiel Fragen beantworten kann, wird es einige Fragen geben, die sie entweder falsch oder überhaupt nicht beantwortet, egal wie viel Zeit man ihr lässt. Es mag freilich viele solcher Fragen geben, und Fragen, die von einer Maschine nicht beantwortet werden können, mag eine andere zufriedenstellend [445] beantworten. Im Moment gehen wir natürlich davon aus, dass nur solche Fragen gestellt werden, die sich mit »Ja« oder »Nein« beantworten lassen, und nicht Fragen wie »Was halten Sie von Picasso?«. Fragen, von denen wir wissen, dass die Maschine versagt, sind von folgender Art: »Betrachte die wie folgt beschriebene Maschine … Wird diese Maschine jemals mit ›Ja‹ auf eine Frage antworten?« Die drei Punkte sind durch die Beschreibung irgendeiner Maschine in Standardform zu ersetzen, wie sie z. B. in Abschnitt 5 verwendet wurde. Steht die beschriebene Maschine in einer gewissen, verhältnismäßig einfachen Beziehung zu der befragten Maschine, so lässt sich zeigen, dass diese entweder falsch oder gar nicht antwortet. Das ist das mathematische Ergebnis: Von diesem wird behauptet, dass es eine Unfähigkeit von Maschinen beweist, die den menschlichen Verstand nicht betrifft. Die kurze Antwort auf diesen Einwand lautet wie folgt: Es wurde zwar gezeigt, dass jede spezifische Maschine in ihren Fähigkeiten eingeschränkt ist, doch es wurde nur behauptet, und zwar ohne jeden Beweis, dass derartige Einschränkungen für den menschlichen Verstand nicht gelten. Aber ich glaube nicht, dass dieser Einwand so leicht abgetan werden kann. Wann immer einer dieser Maschinen die passende kritische Frage gestellt wird und sie eine definite Antwort gibt, wissen wir, dass diese falsch sein muss, und das gibt uns ein gewisses Gefühl der Überlegenheit. Ist [51]dieses Gefühl trügerisch? Es ist ohne Zweifel vollkommen echt, doch ich denke nicht, dass man ihm eine zu große Bedeutung beimessen sollte. Wir selbst beantworten Fragen zu oft falsch, als dass unsere Freude über den Nachweis der Fehlbarkeit von Maschinen gerechtfertigt wäre. Weiterhin können wir unsere Überlegenheit in einem solchen Fall nur gegenüber der einen Maschine empfinden, über die wir unseren belanglosen Sieg errungen haben. Von einem gleichzeitigen Sieg über alle Maschinen kann aber keine Rede sein. Kurz gesagt: Es mag Menschen geben, die klüger sind als jede vorliegende Maschine, doch dann könnte es wiederum andere Maschinen geben, die noch klüger sind usw. Diejenigen, die den mathematischen Einwand vorbringen, wären, so vermute ich, überwiegend bereit, das Imitationsspiel als Diskussionsgrundlage zu akzeptieren. Wer hingegen an die beiden vorhergehenden Einwände glaubt, wird an Kriterien wahrscheinlich überhaupt nicht interessiert sein. (4) Das Bewusstseinsargument. Dieses Argument kommt vorzüglich in Professor Jeffersons Lister-Rede aus dem Jahr 1949 zum Ausdruck, aus der ich zitiere: »Erst wenn eine Maschine ein Sonett schreiben oder ein Konzert komponieren kann, und zwar aus Gedanken und gefühlten Emotionen heraus und nicht als zufällige Anhäufung von Symbolen, können wir uns darauf einigen, dass Maschine gleich Gehirn ist – es also nicht nur schreibt, sondern auch weiß, dass sie es geschrieben hat. Kein Mechanismus kann angesichts seiner Erfolge ein Gefühl der Freude empfinden (und nicht nur [446] künstlich signalisieren, was ein fauler Trick wäre), Kummer empfinden, wenn seine Röhren durchbrennen, sich an Schmeicheleien erwärmen, wegen seiner [53]Fehler trübselig, von Sex angetan, wegen unerfüllter Wünsche zornig oder niedergeschlagen sein.« Dieses Argument scheint schlicht und einfach die Gültigkeit unseres Tests zu bestreiten. Gemäß der drastischsten Form dieser Ansicht könnte man nur dann wirklich sicher sein, dass eine Maschine denkt, wenn man selbst diese Maschine wäre und fühlt, dass man denkt. Man könnte diese Gefühle dann der Welt mitteilen, doch wäre natürlich niemand gerechtfertigt, dem irgendeine Bedeutung beizumessen. Ebenso kann man gemäß dieser Ansicht nur dann wissen, dass ein Mensch denkt, wenn man genau dieser Mensch ist. Genau genommen läuft das auf einen Solipsismus hinaus. Sich auf einen solipsistischen Standpunkt zu stellen, mag am logischsten sein, macht jedoch einen Gedankenaustausch schwierig. A wird glauben: »A denkt, aber B nicht«, während B glaubt: »B denkt, aber A nicht«. Statt fortwährend über diesen Punkt zu streiten, ist es üblich, die höfliche Übereinkunft zu treffen, dass jeder denkt. Ich bin sicher, dass sich Professor Jefferson die drastische und solipsistische Ansicht nicht zu eigen machen möchte. Wahrscheinlich wäre er durchaus willens, das Imitationsspiel als Test zu akzeptieren. Unter dem Namen viva voce wird dieses Spiel (bei dem man den Spieler B weglässt) in der Praxis verwendet, um herauszufinden, ob jemand etwas wirklich verstanden hat oder nur Gelerntes nachplappert. Schauen wir uns einmal einen Auszug aus einem solchen viva voce an: Fragesteller: In der ersten Zeile Ihres Sonetts steht »Soll ich dich mit einem Sommertag vergleichen«. Würde nicht »Tag im Frühling« genauso gut oder besser passen? [55]Teilnehmer: Es hätte nicht das richtige Versmaß. Fragesteller: Wie wäre es mit »Wintertag«? Das hätte das richtige Versmaß. Teilnehmer: Schon. Aber niemand möchte mit einem Wintertag verglichen werden. Fragesteller: Würden Sie sagen, dass Herr Pickwick Sie an Weihnachten erinnert? Teilnehmer: In gewisser Weise. Fragesteller: Weihnachten fällt aber auf einen Wintertag, und ich glaube nicht, dass Herr Pickwick sich an einem Vergleich stören würde. Teilnehmer: Ich glaube nicht, dass Sie das ernst meinen. Unter einem Wintertag versteht man einen typischen Wintertag, und nicht einen speziellen wie Weihnachten. Und so weiter. Was würde Professor Jefferson sagen, wenn die Sonett-schreibende Maschine in der Lage wäre, beim viva voce in dieser Weise zu antworten? Ich weiß nicht, ob er der Ansicht wäre, dass die Maschine diese Antworten »nur [447] künstlich signalisiert«; doch wenn die Antworten durchgehend so zufriedenstellend erfolgen wie oben, denke ich nicht, dass er das als »faulen Trick« bezeichnen würde. Ich denke, der Ausdruck soll sich auf Vorrichtungen in einer Maschine beziehen, von denen beispielsweise zu angemessener Zeit die Aufzeichnung eines Sonetts abgespielt werden kann. Kurz gesagt bin ich der Meinung, dass die Mehrzahl derer, die das Bewusstseinsargument verfechten, eher überzeugt werden könnten, es aufzugeben, als sich in eine solipsistische Position drängen zu lassen. Wahrscheinlich wären sie dann bereit, unseren Test zu akzeptieren. [57]Ich möchte nicht den Eindruck erwecken, als hätte Bewusstsein für mich nichts Mysteriöses. Zum Beispiel tritt im Zusammenhang mit jedem Versuch, es zu verorten, eine Art Paradoxon auf. Aber ich glaube nicht, dass wir diese Rätsel zwangsläufig lösen müssen, bevor wir die Frage beantworten können, um die es uns in dieser Arbeit geht. (5) Argumente bezüglich verschiedener Unfähigkeiten. Diese Argumente sind von folgender Form: »Ich gestehe Ihnen zu, dass Sie Maschinen dazu bringen können, all das zu tun, was Sie erwähnt haben. Doch werden Sie niemals in der Lage sein, eine Maschine dazu zu bringen, X zu tun.« Für X werden in diesem Zusammenhang verschiedene Merkmale vorgeschlagen. Hier ist eine Auswahl: Lieb, einfallsreich, schön, freundlich sein (S. 61 [448]), Initiative zeigen, einen Sinn für Humor haben, Richtiges von Falschem unterscheiden, Fehler machen (S. 61 [448]), sich verlieben, Erdbeeren mit Schlagsahne genießen (S. 61 [448]), jemanden in sich verliebt machen, aus Erfahrung lernen (S. 89 f. [456 f.]), Wörter richtig gebrauchen, Gegenstand seiner eigenen Gedanken sein (S. 65 [449]), über ebenso vielfältige Verhaltensweisen wie ein Mensch verfügen, etwas wirklich Neues tun (S. 69 [450]). (Auf einige dieser Unfähigkeiten wird auf den genannten Seiten näher eingegangen.) Gewöhnlich werden solche Feststellungen durch nichts untermauert. Meiner Meinung nach basieren sie größtenteils auf dem Prinzip wissenschaftlicher Induktion. Ein Mensch sieht im Laufe seines Lebens Tausende von Maschinen. Aus dem, was er von ihnen wahrnimmt, zieht er [59]eine Reihe allgemeiner Schlüsse. Sie sind hässlich, jede ist für einen eng umrissenen Zweck konstruiert und nutzlos, wenn sie für einen geringfügig abgeänderten Verwendungszweck herangezogen wird, die Vielfalt der Verhaltensweisen einer jeden von ihnen ist gering usw., usw. Es ist nur natürlich, wenn er daraus schließt, dass es sich hierbei um notwendige Eigenschaften von Maschinen im Allgemeinen handelt. Viele dieser Einschränkungen hängen mit der sehr geringen Speicherkapazität der meisten Maschinen zusammen. (Ich setze voraus, dass sich der Begriff der Speicherkapazität in irgendeiner Weise auch auf andere Maschinen als solche mit diskreten Zuständen [448] anwenden lässt. Auf die exakte Definition dieses Begriffs kommt es hier nicht an, da im vorliegenden Zusammenhang kein Anspruch auf mathematische Genauigkeit erhoben wird.) Vor ein paar Jahren, als man noch sehr wenig von digitalen Rechnern gehört hatte, konnte man eine gute Portion Ungläubigkeit hervorrufen, wenn man ihre Eigenschaften erwähnte, ohne ihre Konstruktion zu beschreiben. Vermutlich war dies in ähnlicher Weise der Anwendung des Prinzips der wissenschaftlichen Induktion geschuldet. Diese Anwendungen des Prinzips erfolgen natürlich weitgehend unbewusst. Wenn ein gebranntes Kind das Feuer scheut und seine Angst dadurch zum Ausdruck bringt, dass es das Feuer meidet, würde ich sagen, dass es wissenschaftliche Induktion anwendet. (Ich könnte sein Verhalten natürlich auch auf manch andere Weise beschreiben.) Das Tun und die Gepflogenheiten der Menschen scheinen als Gegenstand wissenschaftlicher Induktion allerdings nicht besonders gut geeignet zu sein. Um zuverlässige Resultate zu erhalten, müsste ein sehr großer [61]Teil der Raum-Zeit untersucht werden. Andernfalls könnten wir (wie die meisten englischen Kinder) zu dem Schluss kommen, dass alle Englisch sprechen und es töricht sei, Französisch zu lernen. Zu vielen der erwähnten Unfähigkeiten sind jedoch ein paar spezielle Bemerkungen angebracht. Die Unfähigkeit, Erdbeeren mit Schlagsahne zu genießen, mag der Leser als albern empfunden haben. Möglicherweise könnte man eine Maschine dazu bringen, sich an dieser köstlichen Speise zu erfreuen, doch jeder Versuch, dies zu tun, wäre idiotisch. Das Wesentliche an dieser Unfähigkeit besteht jedoch darin, dass sie auch bei einigen der anderen Unfähigkeiten sichtbar wird, z. B. bei der Schwierigkeit, zwischen Mensch und Maschine eine ähnliche Art von Freundlichkeit entstehen zu lassen, wie es sie jeweils unter Weißen oder unter Schwarzen gibt. Der Einwand, »Maschinen können keine Fehler machen«, scheint seltsam. Man ist versucht zu erwidern: »Sind sie deswegen schlechter?« Seien wir jedoch wohlwollend und versuchen wir zu verstehen, was wirklich gemeint ist. Meiner Meinung nach lässt sich dieser Einwand anhand des Imitationsspiels erläutern. Es wird behauptet, dass der Fragesteller die Maschine vom Menschen einfach dadurch unterscheiden kann, dass er beiden einige Rechenaufgaben vorlegt. Die Maschine würde aufgrund ihrer gnadenlosen Genauigkeit auffliegen. Hierauf gibt es eine einfache Erwiderung. Die (für das Spiel programmierte) Maschine würde gar nicht versuchen, die Rechenaufgaben richtig zu beantworten. Sie würde vielmehr absichtlich Fehler einbauen, die darauf abzielen, den Fragesteller zu verwirren. Ein mechanisches Versagen würde sich zwar wahrscheinlich in [63]einer unpassenden Entscheidung darüber äußern, welche Art von Fehler beim Rechnen zu machen wäre. Selbst diese Auslegung der Kritik ist jedoch nicht wohlwollend genug. Aus Platzgründen können wir dieses Thema aber nicht weiter vertiefen. Mir scheint, dass diese Kritik auf der Verwechslung von zwei Arten von Fehlern [449] beruht. Wir können sie als »Funktionsfehler« und »Fehlschlüsse« bezeichnen. Funktionsfehler werden durch ein mechanisches oder elektrisches Versagen hervorgerufen, das dazu führt, dass sich die Maschine nicht wie geplant verhält. Bei philosophischen Diskussionen ignoriert man die Möglichkeit solcher Fehler gerne und diskutiert daher lieber über »abstrakte Maschinen«. Bei diesen abstrakten Maschinen handelt es sich eher um mathematische Konstrukte als um physikalische Objekte. Als solche sind sie per definitionem nicht fähig zu Funktionsfehlern. In diesem Sinne lässt sich in der Tat sagen, dass »Maschinen nie Fehler machen können«. Fehlschlüsse können nur dann auftreten, wenn den Ausgabesignalen der Maschine eine gewisse Bedeutung beigemessen wird. Die Maschine könnte z. B. mathematische Gleichungen oder Sätze auf Englisch ausgeben. Wenn eine falsche Behauptung ausgegeben wird, sagen wir, die Maschine habe einen Fehlschluss begangen. Es gibt klarerweise keinen Grund zu behaupten, eine Maschine könne keine derartigen Fehler machen. Sie könnte beispielsweise fortwährend »0 = 1« ausgeben. Oder um ein weniger abwegiges Beispiel zu bemühen: Sie könnte eine bestimmte Methode haben, um auf der Basis wissenschaftlicher Induktion Schlüsse zu ziehen. Wir müssen erwarten, dass eine solche Methode gelegentlich zu fehlerhaften Ergebnissen führt. [65]Der Behauptung, eine Maschine könne nicht Gegenstand ihrer eigenen Gedanken sein, lässt sich natürlich nur dann begegnen, wenn gezeigt werden kann, dass sich die Maschine überhaupt irgendwelche Gedanken über irgendeinen Gegenstand macht. »Der Gegenstand der Operationen einer Maschine« scheint auf jeden Fall etwas zu bedeuten, zumindest für diejenigen, die sich mit ihr beschäftigen. Würde die Maschine z. B. nach einer Lösung der Gleichung x2 - 40x - 11 = 0 suchen, so wäre man versucht, diese Gleichung als Teil dessen anzusehen, was momentan Gegenstand der Maschine ist. In diesem Sinn kann eine Maschine zweifellos sich selbst zum Gegenstand haben. Sie kann verwendet werden, um bei der Erstellung ihrer eigenen Programme zu helfen oder um die Auswirkungen von Änderungen in ihrer Struktur vorherzusagen. Indem sie die Ergebnisse ihres eigenen Verhaltens beobachtet, ist sie in der Lage, ihre Programme so zu modifizieren, dass sie ein bestimmtes Ziel effizienter erreicht. Das sind mögliche Entwicklungen in der nahen Zukunft, keine utopischen Träume. Der Einwand, eine Maschine weise in ihrem Verhalten keine große Vielfalt auf, besagt im Grunde nur, dass sie keine große Speicherkapazität haben kann. Bis vor kurzem war selbst eine Speicherkapazität von tausend Ziffern sehr selten. Die hier betrachteten Kritikpunkte stellen oft verkappte Formen des Bewusstseinsarguments dar. Wenn man behauptet, dass eine Maschine eines dieser Dinge tun kann, und die Art der Methode beschreibt, die die Maschine dabei anwenden könnte, wird man gewöhnlich wenig Eindruck machen [450]. Es wird angenommen, dass die [67]Methode ziemlich primitiv sein muss (schließlich muss sie ja, unabhängig davon, worin sie besteht, mechanisch sein). Man vergleiche die Klammerbemerkung in der Feststellung Jeffersons auf Seite 51 [445 f.]. (6) Lady Lovelaces Einwand. Die detailliertesten Informationen über Babbages Analytische Maschine stammen aus einer Schrift von Lady Lovelace. Darin stellt sie fest: »Die Analytische Maschine erhebt keinen Anspruch, selbst irgendetwas zu erzeugen. Solange wir die entsprechenden Befehle kennen, kann sie alles tun.« Diese Feststellung wird von Hartree (1949, S. 70) zitiert, der hinzufügt: »Hieraus folgt nicht, dass es nicht doch möglich sein könnte, elektronische Geräte zu konstruieren, die ›für sich selbst denken‹ werden oder in denen sich, biologisch ausgedrückt, ein konditionierter Reflex implementieren ließe, der als Grundlage eines ›Lernprozesses‹ dienen könnte. Ob dies grundsätzlich möglich ist, ist eine an- und aufregende Frage, die durch einige neuere Entwicklungen aufgeworfen wird. Es hatte jedoch nicht den Anschein, als verfügten die damals konstruierten oder geplanten Maschinen über diese Eigenschaft.« Hierin stimme ich mit Hartree völlig überein. Es fällt auf, dass er nicht behauptet, die fraglichen Maschinen hätten die Eigenschaft nicht besessen; er sagt vielmehr, dass Lady Lovelace keine Veranlassung hatte zu glauben, sie hätten diese Eigenschaft. Es ist sehr gut möglich, dass die fraglichen Maschinen in einem gewissen Sinn diese Eigenschaft hatten. Angenommen, eine Maschine mit diskreten Zuständen besäße diese Eigenschaft: Da die Analytische Maschine ein universeller digitaler Rechner war, hätte sie bei geeigneter Speicherkapazität und Geschwindigkeit durch [69]geeignete Programmierung in die Lage versetzt werden können, die uns interessierende Maschine nachzuahmen. Wahrscheinlich ist dieses Argument weder Lady Lovelace noch Herrn Babbage in den Sinn gekommen. Es bestand für sie ja aber auch keine Verpflichtung, alles zu behaupten, was sie zu Recht hätten behaupten können. Dieser ganze Fragenkomplex wird im Abschnitt über lernende Maschinen erneut betrachtet werden. Eine Variante des Einwands von Lady Lovelace besagt, dass eine Maschine »nie etwas wirklich Neues vollbringen kann«. Man kann diesem Einwand vorläufig mit der Redewendung »Es gibt nichts Neues unter der Sonne« entgegentreten. Wer kann sicher sein, dass das »Neue«, das er geleistet hat, nicht nur die Frucht seiner Vorbildung ist oder der Befolgung wohlbekannter allgemeiner Prinzipien entspringt? Eine bessere Variante des Einwands besagt, dass eine Maschine uns niemals »überraschen« kann. Diese Behauptung stellt eine konkretere Herausforderung dar, der man direkt begegnen kann. Maschinen überraschen mich immer wieder. Das liegt größtenteils daran, dass das, was ich an Berechnungen anstelle, nicht ausreicht, um mir darüber im Klaren zu sein, was von ihnen zu erwarten ist, oder vielmehr daran, dass meine Berechnungen übereilt und schludrig sind und ich damit Risiken in Kauf nehme. Ich sage mir vielleicht: »Ich schätze, die Spannung sollte hier dieselbe sein wie dort; nehmen wir einfach mal an, dass es so ist«. [451] Natürlich irre ich mich oft, und das Ergebnis überrascht mich, weil solche Annahmen gewöhnlich vergessen sind, wenn das Experiment durchgeführt wird. Diese Eingeständnisse bieten einen Angriffspunkt, mir Vorträge über mein verwerfliches Vorgehen zu halten, ziehen [71]jedoch nicht meine Glaubwürdigkeit in Zweifel, wenn ich von den Überraschungen berichte, die ich erlebe. Ich erwarte nicht, dass diese Erwiderung meinen Kritiker zum Schweigen bringen wird. Er wird wahrscheinlich einwenden, dass solche Überraschungen auf irgendeinen kreativen mentalen Akt meinerseits und nicht auf eine Leistung der Maschine zurückzuführen seien. Dies führt uns wieder zum Bewusstseinsargument zurück und weit weg von der Frage nach der Überraschung. Diese Argumentationslinie müssen wir als abgeschlossen betrachten; doch verdient es vielleicht Beachtung, dass etwas überraschend zu finden gleich viel von einem »kreativen mentalen Akt« erfordert, ganz unabhängig davon, ob das überraschende Ereignis von einem Menschen, einem Buch, einer Maschine oder irgendetwas anderem stammt. Die Ansicht, Maschinen könnten nicht Anlass zu Überraschungen geben, ist, so glaube ich, die Folge eines Irrtums, für den Philosophen und Mathematiker besonders anfällig sind. Er besteht in der Annahme, dass dann, wenn dem Geist eine Tatsache dargeboten wird, sich ihm damit zugleich alle Folgen dieser Tatsache offenbaren. Bei vielen Gelegenheiten ist das eine sehr nützliche Annahme, man vergisst jedoch zu leicht, dass sie falsch ist. Eine natürliche Folge davon wäre, dass man damit annimmt, dass es keinen Wert hat, bloß Folgerungen aus Daten und allgemeinen Prinzipien zu ziehen. (7) Das Argument der Stetigkeit des Nervensystems. Das Nervensystem ist sicherlich keine Maschine mit diskreten Zuständen. Eine kleine Abweichung in der Größe eines Nervenimpulses, der eine Nervenzelle trifft, kann einen großen Unterschied in der Größe des austretenden Impulses [73]bewirken. Es mag argumentiert werden, dass man unter diesen Umständen nicht erwarten könne, das Verhalten des Nervensystems durch ein System mit diskreten Zuständen nachahmen zu können. Es stimmt, dass sich eine Maschine mit diskreten Zuständen von einer stetigen Maschine unterscheiden muss. Wenn wir uns aber an die Bedingungen des Imitationsspiels halten, wird der Fragesteller aus diesem Unterschied keinen Vorteil ziehen können. Die Situation lässt sich klarer darstellen, wenn wir eine andere, einfachere stetige Maschine betrachten. Ein Differenzialanalysator eignet sich hierfür sehr gut. (Ein Differenzialanalysator ist eine bestimmte Art von Maschine ohne diskrete Zustände, die für manche Berechnungen verwendet wird.) Einige von ihnen geben ihre Antworten in geschriebener Form und sind insofern geeignet, am Spiel teilzunehmen. Ein digitaler Rechner könnte zwar nicht genau vorhersagen, welche Antworten der Differenzialanalysator auf ein Problem geben wird, er könnte aber sehr wohl eine richtige Art von Antwort geben. Wenn man z. B. nach dem Wert von π fragt (ungefähr 3,1416), dann wäre es vernünftig, [452] zwischen den Zahlen 3,12; 3,13; 3,14; 3,15; 3,16 mit den Wahrscheinlichkeiten von, sagen wir, 0,05; 0,15; 0,55; 0,19; 0,06 eine Zufallswahl zu treffen. Unter diesen Umständen wäre es für den Fragesteller sehr schwierig, den Differenzialanalysator vom digitalen Rechner zu unterscheiden. (8) Der Einwand der Unmöglichkeit von Verhaltensregeln. Es ist nicht möglich, eine Menge von Regeln zu erstellen, die beschreiben, was ein Mensch unter allen erdenklichen Umständen tun soll. Es mag z. B. eine Regel geben, dass man anhalten soll, wenn man eine rote Ampel sieht, und [75]gehen soll, wenn man eine grüne sieht; was aber tun, wenn Rot und Grün infolge einer Störung gleichzeitig aufleuchten? Man könnte vielleicht entscheiden, dass anzuhalten am sichersten ist. Doch aus dieser Entscheidung könnten sich später durchaus weitere Schwierigkeiten ergeben. Es scheint unmöglich zu sein, für alle Eventualitäten Verhaltensregeln festzulegen, und sei es nur für jene, die bei Verkehrsampeln auftauchen. Mit alldem stimme ich überein. Davon ausgehend wird dafür argumentiert, dass wir keine Maschinen sein können. Ich werde versuchen, diesen Einwand wiederzugeben, fürchte jedoch, dass ich ihm kaum gerecht werden kann. Er lautet etwa so: »Wenn jeder Mensch eine Menge eindeutiger Verhaltensregeln hätte, denen er in seinem Leben folgt, so wäre er nicht besser als eine Maschine. Es gibt aber keine solchen Regeln, also können Menschen keine Maschinen sein.« Ganz offensichtlich handelt es sich hierbei um einen Fehlschluss, bei dem der Mittelbegriff an nicht verteilten Positionen vorkommt. Ich glaube nicht, dass das Argument jemals so formuliert wird; aber ich glaube, dass es darauf hinausläuft. Jedoch könnte eine Verwechslung zwischen »Verhaltensregeln« und »Verhaltensgesetzen« die Sache verschleiern. Unter »Verhaltensregeln« verstehe ich Vorschriften, etwa »Halte bei Rot an«, nach denen man handeln und deren man sich bewusst sein kann. Unter »Verhaltensgesetzen« verstehe ich Naturgesetze, die den menschlichen Körper betreffen, etwa »Wenn du ihn zwickst, quietscht er«. Ersetzen wir im erwähnten Argument »Verhaltensregeln, denen er in seinem Leben folgt«, durch »Verhaltensgesetze, die sein Leben bestimmen«, ist das Problem des nicht verteilten Mittelbegriffs nicht mehr unüberwindlich. Denn wir halten es nicht [77]nur für wahr, dass von Verhaltensgesetzen bestimmt zu werden impliziert, eine Art Maschine zu sein (wenn auch nicht notwendig eine Maschine mit diskreten Zuständen), sondern dass umgekehrt eine solche Maschine zu sein auch impliziert, von solchen Gesetzen bestimmt zu werden. Allerdings ist es schwerer, uns davon zu überzeugen, dass es keine vollständigen Verhaltensgesetze gibt, als uns davon zu überzeugen, dass es keine vollständigen Verhaltensregeln gibt. Die einzige uns bekannte Möglichkeit, solche Gesetze zu finden, besteht in wissenschaftlicher Beobachtung, und wir kennen sicher keine Umstände, unter denen wir behaupten könnten, »Wir haben genügend nachgeforscht. Es gibt keine derartigen Gesetze«. Wir können noch zwingender zeigen, dass jede derartige Aussage ungerechtfertigt wäre. Nehmen wir an, wir könnten sicher sein, solche Gesetze zu finden, [453] wenn sie existieren. Dann sollte es bei einer Maschine mit diskreten Zuständen gewiss möglich sein, durch Beobachtung genügend über sie herauszufinden, um ihr zukünftiges Verhalten vorherzusagen, und zwar innerhalb einer vernünftigen Zeitspanne, sagen wir: innerhalb von tausend Jahren. Dies scheint jedoch nicht der Fall zu sein. Ich habe auf der Manchester-Maschine ein kurzes Programm mit nur 1000 Speichereinheiten eingerichtet; die Maschine antwortet nach Eingabe einer 16-stelligen Zahl innerhalb von zwei Sekunden mit einer anderen. Ich möchte denjenigen sehen, der aus diesen Antworten hinreichend viel über das Programm lernen kann, um jede Antwort auf nicht getestete Werte vorhersagen zu können. (9) Das Argument von der außersinnlichen Wahrnehmung. Ich nehme an, dass der Leser vertraut ist mit der [79]Vorstellung außersinnlicher Wahrnehmung und der Bedeutung ihrer vier Erscheinungsformen, nämlich Telepathie, Hellsehen, Präkognition und Psychokinese. Diese verstörenden Phänomene scheinen allen unseren üblichen wissenschaftlichen Vorstellungen zu widersprechen. Wie gerne würden wir sie diskreditieren! Unglücklicherweise sind die statistischen Belege, zumindest für Telepathie, überwältigend. Es bereitet uns Schwierigkeiten, unsere Vorstellungen so zu verändern, dass diese neuen Tatsachen sich einpassen. Hat man diese jedoch erst einmal akzeptiert, so scheint es kein großer Schritt mehr zu sein, an Geister und Gespenster zu glauben. Die Vorstellung, dass unsere Körper sich nach bekannten physikalischen und anderen, bis jetzt noch unentdeckten, doch irgendwie ähnlichen Gesetzen bewegen, wäre eine der ersten Vorstellungen, die man aufgeben müsste. Ich halte dieses Argument für sehr gewichtig. Als Erwiderung darauf kann man anführen, dass viele wissenschaftliche Theorien weiterhin praktikabel zu sein scheinen, obwohl sie im Widerspruch zu der außersinnlichen Wahrnehmung stehen; man kommt in der Tat sehr gut zurecht, wenn man sie vernachlässigt. Das ist ein ziemlich schwacher Trost, und es ist zu befürchten, dass Denken gerade die Art von Phänomen ist, bei der außersinnliche Wahrnehmung besonders relevant sein könnte. Ein konkreteres Argument, das sich auf die Existenz außersinnlicher Wahrnehmung stützt, könnte folgendermaßen lauten: »Lass uns das Imitationsspiel mit einem Menschen, der als telepathischer Empfänger geeignet ist, sowie mit einem digitalen Rechner spielen. Der Fragesteller kann z. B. fragen: ›Zu welcher Farbe gehört die Karte in meiner [81]rechten Hand?‹ Der Mensch gibt dank Telepathie oder Hellseherei bei 400 Karten 130-mal die richtige Antwort. Die Maschine kann nur raten und gibt vielleicht 104 richtige Antworten, so dass der Fragesteller die beiden Teilnehmer richtig identifiziert.« An dieser Stelle eröffnet sich jedoch eine interessante Möglichkeit. Angenommen, der digitale Rechner verfüge über einen Zufallszahlengenerator. In diesem Fall wäre es selbstverständlich, diesen zu verwenden, um zu entscheiden, welche Antwort zu geben ist. Der Zufallszahlengenerator wird nun aber von den psychokinetischen Kräften des Fragestellers beeinflusst. Möglicherweise könnten diese Kräfte die Maschine öfter richtig raten lassen, als dies bei einer Wahrscheinlichkeitsberechnung zu erwarten wäre, so dass der Fragesteller [454] immer noch nicht in der Lage sein könnte, die Teilnehmer richtig zu identifizieren. Allerdings könnte er auch ohne zu fragen in der Lage sein, richtig zu raten, und zwar durch Hellsehen. Bei außersinnlicher Wahrnehmung ist alles möglich. Falls man Telepathie zulässt, müssten wir unseren Test verschärfen. Man könnte die Situation vergleichen mit einer Situation, bei der der Fragesteller laut denkt und ihn einer der Teilnehmer mit dem Ohr an der Wand belauscht. Alle Anforderungen ließen sich dann erfüllen, wenn man die Beteiligten jeweils in einen »telepathie-undurchlässigen Raum« brächte. [83]7. Lernende Maschinen. Dem Leser wird sicher klar sein, dass ich über keine sehr triftigen Argumente positiver Art verfüge, um meine Ansichten zu stützen. Hätte ich welche, hätte ich mir nicht solche Mühe gegeben, die Fehlschlüsse herauszuarbeiten, die anderslautenden Ansichten zugrunde liegen. Was ich an Argumenten habe, werde ich nun anführen. Kommen wir für einen Moment noch einmal auf Lady Lovelaces Einwand zurück, welcher besagte, dass die Maschine nur das tun kann, was wir ihr befehlen. Man könnte sagen, dass ein Mensch der Maschine eine Idee »injizieren« kann, und die Maschine in einem gewissen Umfang darauf reagiert und dann in den Ruhezustand verfällt, ähnlich wie eine von einem Hammer angeschlagene Klaviersaite. Ein weiterer Vergleich wäre ein Atomreaktorkern unterhalb der kritischen Größe: Die injizierte Idee entspräche einem Neutron, das von außen in den Reaktorkern eindringt. Jedes solche Neutron wird eine gewisse Störung verursachen, die schließlich abklingt. Wird der Reaktorkern jedoch hinreichend vergrößert, würde die durch das eingedrungene Neutron verursachte Störung prinzipiell immer weiter zunehmen bis schließlich der gesamte Reaktorkern zerstört wäre. Existiert ein entsprechendes Phänomen für den menschlichen Verstand sowie für Maschinen? Für den menschlichen Verstand scheint etwas Derartiges zu existieren. Der Verstand der meisten Menschen scheint »unter-kritisch« zu sein, d. h., er entspricht bei unserer Analogie den Reaktorkernen mit unterkritischer Größe: Eine einem solchen Verstand dargebotene Idee wird im Durchschnitt weniger als eine Idee als Erwiderung hervorbringen. Ein [85]recht kleiner Teil ist »über-kritisch«: Eine einem solchen Verstand dargebotene Idee kann eine ganze »Theorie« hervorbringen, die aus sekundären, tertiären und noch weiter entfernten Ideen besteht. Der Verstand von Tieren scheint auf jeden Fall »unter-kritisch« zu sein. In Anlehnung an diese Analogie können wir nun fragen: »Lässt sich eine Maschine dazu bringen, ›über-kritisch‹ zu sein?« Die »Zwiebelschalenanalogie« ist ebenfalls hilfreich. Wenn wir die Funktionen des Geistes oder des Gehirns betrachten, finden wir bestimmte Vorgänge, die wir rein mechanisch erklären können. Dies entspricht unseres Erachtens jedoch nicht dem wirklichen Geist: Es ist eine Art Schale, die wir abziehen müssen, wenn wir den wirklichen Geist finden wollen. Aber dann finden wir in dem, was noch übrig ist, eine weitere Schale, die wir abziehen müssen, und so weiter. [455] Wenn wir so weitermachen, werden wir dann jemals den »wirklichen« Geist finden oder treffen wir schließlich irgendwann auf eine Schale, die nichts mehr enthält? Im letzteren Fall ist der gesamte Geist mechanisch. (Er wäre jedoch keine Maschine mit diskreten Zuständen; wir haben dies diskutiert.) Die letzten beiden Absätze erheben nicht den Anspruch, triftige Argumente zu sein. Man sollte sie eher als »Überlegungen, die Zuversicht erwecken« betrachten. Wirklich zufriedenstellend lässt sich die am Anfang von Abschnitt 6 geäußerte Ansicht nur dadurch belegen, dass man die Jahrhundertwende abwartet und das beschriebene Experiment ganz einfach durchführt. Was aber können wir in der Zwischenzeit sagen? Welche Schritte sollten wir jetzt unternehmen, wenn das Experiment erfolgreich sein soll? [87]Wie ich bereits erklärt habe, ist das Problem hauptsächlich eine Frage der Programmierung. Fortschritte in der Ingenieurwissenschaft müssen zwar ebenfalls erzielt werden, doch ist es unwahrscheinlich, dass diese die Anforderungen nicht erfüllen werden. Schätzungen der Speicherkapazität des Gehirns schwanken zwischen 1010 und 1015 Bits. Ich tendiere eher zu den niedrigeren Werten und glaube, dass selbst bei höheren Denkvorgängen nur ein sehr kleiner Bruchteil davon verwendet wird. Das meiste davon wird wahrscheinlich zur Speicherung visueller Eindrücke verwendet. Es würde mich überraschen, wenn mehr als 109 erforderlich wären, um das Imitationsspiel befriedigend zu spielen, zumindest gegen einen Blinden. (Anmerkung: Die 11. Auflage der Encyclopaedia Britannica hat eine Kapazität von 2 × 109.) Eine Speicherkapazität von 107 wäre sogar beim gegenwärtigen Stand der Technik sehr gut machbar. Es ist wahrscheinlich nicht einmal erforderlich, die Arbeitsgeschwindigkeit der Maschinen überhaupt zu erhöhen. Teile moderner Maschinen, die als Analoga von Nervenzellen angesehen werden können, arbeiten etwa tausendmal schneller als letztere. Dies sollte uns einen »Sicherheitsspielraum« verschaffen, der Geschwindigkeitsverluste abdecken kann, die in vielerlei Hinsicht auftreten können. Unser Problem besteht schlicht und einfach darin herauszufinden, wie man die Maschinen für das Spiel programmiert. Bei meinem gegenwärtigen Arbeitstempo schreibe ich pro Tag etwa 1000 Zeichen eines Programms, so dass etwa 60 Arbeiter, die über 50 Jahre hinweg beständig arbeiten, die Aufgabe bewältigen könnten, wenn nichts in den Papierkorb fliegt. Eine schnellere Methode erscheint wünschenswert. [89]Bei dem Versuch, den Geist eines erwachsenen Menschen nachzuahmen, müssen wir uns eingehend über den Prozess Gedanken machen, der zu seinem gegenwärtigen Zustand geführt hat. Es lassen sich drei Komponenten ausmachen: (a) der Anfangszustand des Geistes, etwa bei Geburt,(b) die Ausbildung, der er unterzogen wird,(c) sonstige Erfahrungen, die nicht als Ausbildung zählen. [456] Warum versuchen wir nicht, ein Programm zu erstellen, das nicht den Geist eines Erwachsenen, sondern den eines Kindes simuliert? Würde dieses dann einer entsprechenden Ausbildung unterzogen, so erhielte man das erwachsene Gehirn. Vermutlich ist das kindliche Gehirn mit einem Notizbuch vergleichbar, das man beim Schreibwarenhändler kauft: wenig Mechanismus und viele leere Blätter. (Mechanismus und Geschriebenes sind aus unserer Sicht nahezu synonym.) Wir hoffen, dass das kindliche Gehirn so wenig Mechanismus hat, dass etwas ihm entsprechendes leicht programmiert werden kann. Wir können in erster Annäherung annehmen, dass der Aufwand bei dessen Ausbildung im Wesentlichen der gleiche ist wie beim menschlichen Kind. Wir haben unser Problem somit zweigeteilt: in das Kind-Programm und den Ausbildungsprozess. Beides bleibt sehr eng miteinander verbunden. Wir können nicht erwarten, dass es uns gelingt, auf Anhieb eine gute Kind-Maschine zu entwickeln. Man muss herumexperimentieren und müsste eine dieser Maschinen ausbilden und sich anschauen, wie [91]gut sie lernt; dann kann man es mit einer anderen versuchen und sehen, ob diese besser oder schlechter lernt. Es besteht ein offensichtlicher Zusammenhang zwischen diesem Prozess und der Evolution, und zwar mittels folgender Gleichsetzungen:

Man darf jedoch hoffen, dass unser Ausbildungsprozess zügiger verläuft als die Evolution. Das Überleben des Angepasstesten ist eine langsame Methode zur Bemessung von Vorteilen. Der Experimentator sollte durch die Ausübung seiner Intelligenz in der Lage sein, dies zu beschleunigen. Ebenso wichtig ist die Tatsache, dass er nicht auf zufällige Mutationen beschränkt ist. Gesetzt den Fall, dass er die Ursache für eine Schwäche ermitteln kann, so kann er sich wahrscheinlich auch eine Art der Mutation vorstellen, die dieser entgegenwirken würde.

Es wird nicht möglich sein, bei der Maschine exakt den gleichen Ausbildungsprozess anzuwenden wie bei einem gewöhnlichen Kind. Sie wird z. B. keine Beine haben, so dass man sie nicht auffordern könnte, hinauszugehen und den Kohlenkübel zu füllen. Möglicherweise hat sie keine Augen. Doch unabhängig davon, wie gut diese Mängel auch immer durch geschickte Ingenieurleistungen behoben werden mögen: Man könnte das Geschöpf nicht zur Schule schicken, ohne dass sich die anderen Kinder maßlos über es lustig machen. Es muss gesonderten Unterricht erhalten. [93]Um Beine, Augen usw. brauchen wir uns nicht zu sehr zu kümmern. Das Beispiel von Helen Keller zeigt, dass eine Ausbildung möglich ist, vorausgesetzt, es besteht irgendeine wechselseitige Kommunikation zwischen Lehrer und Schüler. [457]

Mit Unterricht verbinden wir normalerweise Bestrafungen und Belohnungen. Nach diesem Prinzip lassen sich einige einfache Kind-Maschinen konstruieren oder programmieren. Die Maschine muss so konstruiert werden, dass Ereignisse, die kurz vor einem Bestrafungs-Signal auftraten, eher nicht wiederholt werden, während ein Belohnungs-Signal die Wahrscheinlichkeit erhöht, dass das Ereignis, das zu ihm geführt hat, wiederholt wird. Diese Definitionen setzen keine Gefühle seitens der Maschine voraus. Ich habe einige Experimente mit einer derartigen Kind-Maschine durchgeführt und es geschafft, ihr ein paar Dinge beizubringen; die Lehrmethode war jedoch zu unorthodox, als dass das Experiment als wirklich erfolgreich angesehen werden könnte.

Die Verwendung von Bestrafungen und Belohnungen kann bestenfalls einen Teil des Ausbildungsprozesses ausmachen. Vereinfacht ausgedrückt: Verfügt der Lehrer gegenüber dem Schüler über keine anderen Kommunikationsmittel, so übersteigt die Informationsmenge, die diesen erreichen kann, nicht die Gesamtzahl der angewandten Belohnungen und Bestrafungen. Wenn sich ein Kind das Gedicht »Casabianca« nur mithilfe von »Ja-/Nein-Fragen« erarbeiten könnte, wobei jedes »Nein« die Form eines Schlages annimmt, dann wäre es ziemlich wund, wenn es den Text endlich aufsagen könnte. Es ist deshalb nötig, dass man über irgendwelche anderen, »nicht-emotionalen« [95]Kommunikationskanäle verfügt. Sind diese vorhanden, so ist es möglich, einer Maschine durch Bestrafungen und Belohnungen beizubringen, Befehle zu befolgen, die in irgendeiner Sprache erteilt werden, etwa einer symbolischen. Diese Befehle sollten über die »nicht-emotionalen« Kanäle übermittelt werden. Die Verwendung einer solchen Sprache wird die Anzahl der benötigten Bestrafungen und Belohnungen stark verringern.

Die Meinungen darüber, welche Komplexität für eine Kind-Maschine angemessen ist, mögen auseinandergehen. Man könnte versuchen, die Maschine im Einklang mit den allgemeinen Prinzipien so einfach wie möglich zu gestalten. Alternativ könnte man ein vollständiges System logischer Schlussweisen »einbauen«.7 Im letzteren Fall wäre der Speicher größtenteils mit Definitionen und Aussagesätzen belegt. Die Aussagesätze könnten verschiedener Art sein, etwa anerkannte Tatsachen, Vermutungen, mathematisch bewiesene Theoreme, Äußerungen von Autoritäten, Ausdrücke, die die logische Form von Aussagesätzen, aber keinen Überzeugungswert haben. Gewisse Aussagesätze könnten als »Befehle« beschrieben werden. Die Maschine sollte so konstruiert sein, dass jeder Befehl, der als »anerkannt« eingestuft wird, automatisch die entsprechende Aktion nach sich zieht. Nehmen wir beispielsweise an, dass der Lehrer zu der Maschine sagt: »Mach jetzt deine Hausaufgaben«. Das mag bewirken, dass »Der Lehrer sagt ›Mach jetzt deine Hausaufgaben‹« als anerkannte Tatsache [97]eingestuft wird. Eine weitere solche Tatsache könnte lauten: [458] »Alles, was der Lehrer sagt, ist wahr«. Beides zusammen könnte schließlich dazu führen, dass der Befehl »Mach jetzt deine Hausaufgaben« als anerkannte Tatsache eingestuft wird; aufgrund der Konstruktion der Maschine wird dies dazu führen, dass mit den Hausaufgaben tatsächlich begonnen wird – was ja durchaus etwas für sich hat. Die Schlussweisen, mit der die Maschine arbeitet, müssen nicht derart sein, dass sie den anspruchsvollsten Logikern genügen würden. Es könnte zum Beispiel sein, dass es keine Typhierarchie gibt. Das muss nicht zwingend bedeuten, dass es zu Typen-Fehlern kommen wird, ebenso wenig, wie wir unweigerlich von ungesicherten Klippen stürzen. Geeignete Befehle (ausgedrückt innerhalb der logischen Systeme, nicht als Teil der Regeln des Systems), wie etwa »Verwende keine Klasse, solange sie keine Unterklasse einer vom Lehrer ausdrücklich erwähnten ist«, können ähnliche Auswirkungen haben wie »Geh nicht zu nah am Rand«. Die Befehle, die von einer Maschine ohne Gliedmaßen befolgt werden können, werden zwangsläufig einen eher intellektuellen Charakter haben, wie bei dem obigen Beispiel der Hausaufgaben. Wichtig unter solchen Befehlen werden diejenigen sein, die die Reihenfolge festlegen, in der die Regeln des betreffenden logischen Systems anzuwenden sind. Denn wenn man ein solches logisches System verwendet, dann gibt es, was die Einhaltung der Regeln des logischen Systems anbelangt, auf jeder Stufe eine sehr große Zahl alternativer Schritte, von denen jeder angewendet werden darf. Die Auswahl der Schritte unterscheidet einen brillanten von einem törichten Denker, nicht einen, dessen Schlüsse gültig sind, von einem, dessen [99]Schlüsse ungültig sind. Aussagesätze, die zu derartigen Befehlen führen, könnten lauten: »Verwende den Modus Barbara, sobald Sokrates erwähnt wird« oder: »Erweist sich eine Methode schneller als eine andere, verwende nicht die langsamere«. Einige davon könnten »von einer Autorität vorgegeben« sein, andere hingegen könnten von der Maschine selbst aufgestellt werden, etwa durch wissenschaftliche Induktion. Die Vorstellung einer lernenden Maschine mag einigen Lesern paradox vorkommen. Wie können sich die Regeln der Arbeitsweise der Maschine ändern? Sie sollten vollständig beschreiben, wie die Maschine reagieren wird, unabhängig von ihrer Historie und möglichen Zustandsänderungen. Die Regeln sind demnach ziemlich zeitinvariant. Das ist durchaus richtig. Die Erklärung dieses Paradoxons lautet, dass die Regeln, die während des Lernprozesses geändert werden, von eher anspruchsloser Art sind und nur eine vorübergehende Gültigkeit beanspruchen. Der Leser mag eine Parallele zur Verfassung der Vereinigten Staaten ziehen. Ein wichtiges Merkmal einer lernenden Maschine besteht darin, dass ihr Lehrer oft reichlich wenig von dem weiß, was in ihr vorgeht, selbst wenn er dennoch in der Lage sein sollte, das Verhalten seines Schülers bis zu einem gewissen Grad vorauszusagen. Dies sollte am stärksten auf die spätere Ausbildung einer Maschine zutreffen, [459] die aus einer Kind-Maschine bewährter Konstruktion (oder Programmierung) hervorgegangen ist. Das steht in deutlichem Gegensatz zu der üblichen Vorgehensweise, wenn man eine Maschine zum Rechnen benutzt: Man ist dann bestrebt, eine klare Vorstellung vom Zustand der Maschine zu jedem Augenblick der Berechnung zu haben. Dieses Ziel [101]lässt sich nur mit Mühe erreichen. Die Ansicht, dass »die Maschine nur das tun kann, wofür wir die entsprechenden Befehle kennen«8, erscheint angesichts dessen seltsam. Die meisten Programme, die wir in die Maschine eingeben können, werden dazu führen, dass sie etwas tut, was für uns überhaupt keinen Sinn ergibt oder was uns als völlig zufälliges Verhalten erscheint. Intelligentes Verhalten besteht wahrscheinlich im Abweichen von dem völlig disziplinierten Verhalten, das mit Rechenvorgängen einhergeht; dieses Abweichen ist jedoch so geringfügig, dass es nicht zu zufälligem Verhalten oder sinnlosen, sich wiederholenden Schleifen führt. Wird unsere Maschine auf ihre Rolle im Imitationsspiel mithilfe eines Lehr- und Lernprozesses vorbereitet, dann wird sich auch das Problem der »menschlichen Fehlbarkeit« wahrscheinlich auf ziemlich natürliche Weise von selbst erledigen, also ohne dass wir sie der Maschine extra »antrainieren« müssen. (Der Leser sollte dies mit den Ausführungen auf Seite 87 [455] vergleichen.) Erlernte Prozesse führen nicht zu Ergebnissen, die hundertprozentig sicher sind; wenn sie es täten, könnten sie nicht verlernt werden. Es ist wahrscheinlich klug, ein Zufallselement in eine lernende Maschine mit aufzunehmen (vgl. S. 25 [438]). Ein Zufallselement ist ziemlich nützlich, wenn wir nach einer Lösung für irgendein Problem suchen. Angenommen, wir wollten eine Zahl zwischen 50 und 200 finden, die gleich dem Quadrat der Summe ihrer Ziffern ist, so könnten wir mit 51 anfangen, es dann mit 52 versuchen und so [103]weitermachen, bis wir eine Zahl finden, bei der es funktioniert. Alternativ könnten wir Zahlen zufällig auswählen, bis wir eine passende haben. Diese Methode hat den Vorteil, dass es nicht nötig ist, die bereits ausprobierten Werte nachzuverfolgen, jedoch den Nachteil, dass es sein kann, dass man Werte doppelt ausprobiert; aber das ist nicht so wichtig, wenn es mehrere Lösungen gibt. Die systematische Methode hat den Nachteil, dass es in der zuerst zu untersuchenden Region einen extrem großen Block ohne Lösungen geben kann. Der Lernprozess lässt sich jetzt als Suche nach einer Art von Verhalten betrachten, die den Lehrer zufriedenstellt (oder ein anderes Kriterium erfüllt). Da es wahrscheinlich eine sehr große Zahl zufriedenstellende Lösungen gibt, scheint die Zufallsmethode besser zu sein als die systematische. Beim analogen Evolutionsprozess beispielsweise wird die Zufallsmethode verwendet, aber dort ist die systematische Methode ja nicht möglich. Wie sollte man sich die verschiedenen, bereits ausprobierten genetischen Kombinationen merken, [460] um zu vermeiden, sie erneut zu testen? Wir dürfen hoffen, dass Maschinen letztlich auf allen rein intellektuellen Gebieten mit dem Menschen konkurrieren werden. Doch mit welchen Gebieten fangen wir am besten an? Bereits das ist eine schwierige Entscheidung. Viele Leute denken, dass eine sehr abstrakte Aktivität wie das Schachspielen am geeignetsten wäre. Es könnte auch behauptet werden, dass es das Beste sei, die Maschine mit den besten Sinnesorganen auszustatten, die man für Geld kaufen kann, und ihr dann beizubringen, Englisch zu verstehen und zu sprechen. Dieser Prozess könnte so ablaufen wie das normale Unterrichten eines Kindes. Wir würden [105]auf Dinge hinweisen und sie benennen usw. Auch hier weiß ich nicht, wie die richtige Antwort lautet, aber ich denke, beide Ansätze sollten ausprobiert werden. Wir können nicht sehr weit vorausschauen, aber wir können dort vieles sehen, was getan werden muss. [107]LITERATUR Samuel Butler, Erewhon: or, Over the Range, London 1872. [Dt.: Ergindwon oder Jenseits der Berge, Leipzig 1879.] Alonzo Church, »An Unsolvable Problem of Elementary Number Theory«, in: American Journal of Mathematics 58 (1936) Nr. 2, S. 345–363. Kurt Gödel, »Über formal unentscheidbare Sätze der Principia Mathematica und verwandter Systeme I«, in: Monatshefte für Mathematik und Physik 38 (1931) Nr. 1, S. 173–189. Douglas Rayner Hartree, Calculating Instruments and Machines, Urbana 1949. Geoffrey Jefferson, »The Mind of Mechanical Man«, in: British Medical Journal 1 (1949) Nr. 4616, S. 1105–1121. Stephen Cole Kleene, »General Recursive Functions of Natural Numbers«, in: Mathematische Annalen 112 (1936) S. 727–742. Countess of Lovelace, »Translator’s Notes to an Article on Babbage’s Analytical Engine«, in: Scientific Memoirs, hrsg. von Richard Taylor, Bd. 3, London 1842, S. 691–731. [Dt.: »Grundriß der von Charles Babbage erfundenen Analytical Engine«, in: Babbages Rechen-Automate. Ausgewählte Schriften, hrsg. von Bernhard Dotzler, Wien 1996, S. 309–381.] Bertrand Russell, History of Western Philosophy, London 1946. [Dt.: Philosophie des Abendlandes, übers. von Elisabeth Fischer-Wernecke und Ruth Gillischewski, München 2004.] Alan Mathison Turing, »On Computable Numbers, With an Application to the Entscheidungsproblem«, in: Proceedings of the London Mathematical Society 42 (1936/37) Nr. 1, S. 241–265. [Dt.: »Über berechenbare Zahlen mit einer Anwendung auf das Entscheidungsproblem«, in: Grundlagentexte der Medienkultur, hrsg. von Andreas Ziemann, Wiesbaden 2019, S. 169–182.] Victoria University of Manchester.