Negyedik fejezet
Az emberi intelligencia szoftverének megvalósítása:
hogyan fejtsük vissza az emberi agyat?

 
„Jó okunk van azt hinni, hogy fordulóponthoz értünk, és a következő két évtizedben megérthetjük az agy működését. Ez az optimista vélemény több mérhető trenden alapul, valamint azon az egyszerű megfigyelésen, ami már többször bizonyítást nyert a tudomány történetében: a tudományos előrelépéseket olyan technológiai előrelépések teszik lehetővé, melyek révén olyasmit láthatunk, amit korábban nem. Nagyjából a XXI. század fordulóján egy érzékelhető fordulóponthoz értünk mind az idegtudományokban, mind a számítási teljesítményben. A történelem során most először tudunk annyit az agyunkról, és olyan fejlett számítástechnika áll rendelkezésünkre, hogy most már komolyan nekiláthatunk intelligenciánk jelentős részeire nézve egy verifikálható, valós idejű, nagy felbontású modell megalkotásának.”
(Lloyd Watts, idegtudós{214})
 
„Most először globálisan figyelhetjük meg az agy működését, olyan tisztán, hogy valószínűleg fel tudjuk majd tárni a csodálatos képességei mögött rejlő programokat.”
(J. G. Taylor, B. Horwitz,
K. J. Friston, idegtudósok{215})
 
„Az agy jó – élő bizonyíték arra, hogy az anyag bizonyos elrendeződése képes tudatot létrehozni, intelligens érvelést folytatni, mintázatokat felismerni, tanulni és egyéb fontos, a mérnöki érdeklődés körébe eső feladatot ellátni. Így az agytól kölcsönvett ötletek segítségével új rendszereket építhetünk… Az agy rossz – evolúció során kialakult, zavaros rendszer, amelyben sok interakció csak az evolúció esetlegességei miatt történik meg… Másfelől robusztus (hiszen biztosítja a túlélésünket), képes elviselni jelentős változásokat és környezeti hatásokat, tehát az agytól megtanulható igazán értékes dolog az lehet, hogyan hozzunk létre rugalmas, összetett, hatékonyan önszervező rendszereket… Az idegsejteken belüli kölcsönhatások bonyolultak, de eggyel magasabb szintről nézve az idegsejtek elég egyszerű dolgok, melyeket sokféleképp hálózatba lehet szervezni. Lokálisan nézve az agykérgi hálózatok nagyon zűrzavarosak, de ismét csak magasabbról szemlélve nem is olyan bonyolultak a kapcsolódásaik. Valószínű, hogy az evolúció több modult vagy ismétlődő témát hozott létre, amelyeket újra és újra felhasznál, és amikor megértjük ezeket és a kölcsönhatásaikat, mi is létrehozhatunk valami hasonlót.”
(Anders Sandberg,
számítástechnikai idegtudós,
Svéd Királyi Műszaki Egyetem)

 

Az agy visszafejtése: a feladat áttekintése

 

Az emberi szintű intelligencia és a számítógépek eredendően magasabb rendű gyorsaságának, pontosságának és memóriamegosztási képességének az ötvözése óriási dolog lenne. Azonban a legtöbb MI-kutatás és -fejlesztés mindeddig nem feltétlenül az emberi agy működésén alapuló tervezési módszereket alkalmazott, azon egyszerű oknál fogva, hogy nem voltak meg az emberi gondolkodás részletes modelljének megalkotásához szükséges precíz eszközeink.

Képességünk az agy visszafejtésére – a belelátásra, a modellezésére és az egyes területeinek a szimulálására – exponenciális ütemben növekszik. Előbb-utóbb a gondolkodásunk teljes skálája mögött rejlő működési elveket meg fogjuk érteni, s ez a tudás hathatós módszereket fog biztosítani ahhoz, hogy kifejlesszük az intelligens gépek szoftvereit. Ezeket a technikákat módosítjuk, javítjuk és kiterjesztjük majd, miközben a biológiai idegsejtekben zajló elektrokémiai folyamatoknál sokkal nagyobb teljesítményű számítási technológiákban alkalmazzuk őket. Ennek a nagy ívű projektnek a legfontosabb eredménye saját magunk pontosabb megismerése lesz. Hatékony, új eszközeink lesznek az olyan idegrendszeri problémák kezelésére, mint az Alzheimer-kór, a szélütés, az agytrombózis, a Parkinson-kór, az érzékszervi fogyatékosságok, és végül óriási mértékben ki fogjuk tudni terjeszteni az intelligenciánkat is.

 

Új agyi képalkotó és modellező eszközök. Az agy visszafejtésében az első lépés az, hogy belenézünk, hogy megállapítsuk, mit csinál. Az ehhez használt eszközeink eddig durvák voltak, de a helyzet kezd megváltozni, mivel a jelentős számú új képalkotó eszköznek nagymértékben javult a tér- és időbeli felbontása, az ár–teljesítmény-aránya és a sávszélessége. Ezzel párhuzamosan gyorsan gyűlnek az adatok az agy alkotórészeinek és rendszereinek a pontos karakterisztikájáról és dinamikájáról, az egyes szinapszisoktól kezdve az olyan nagy területekig, mint a kisagy, amely az agy idegsejtjeinek több mint az olyan felét tartalmazza. Az aggyal kapcsolatos, exponenciálisan bővülő ismereteinket ma már kiterjedt adatbázisokban módszeresen katalogizálják.{216}

A kutatók munkája során az is bebizonyosodott, hogy modellek és működő szimulációk építése révén képesek vagyunk gyorsan megérteni és alkalmazni ezeket az információkat. Az agyterületek szimulációi a komplexitáselmélet és a káoszelmélet matematikai elveire épülnek, és már most olyan eredményeket mutatnak fel, melyek majdnem megegyeznek a valódi emberi és állati agyakon elvégzett kísérletek eredményeivel.

Ahogyan azt a 2. fejezetben már említettem, az agy visszafejtéséhez szükséges képalkotó és számítástechnikai eszközök teljesítménye egyre nő, hasonlóan annak a technológiának az egyre gyorsuló fejlődéséhez, amely lehetővé tette a genom projekt végrehajtását. Amikor elérünk a nanobotkorba (lásd a Szkennelés nanobotokkal című részt a későbbiekben), képesek leszünk belülről, rendkívül nagy tér- és időbeli felbontásban feltérképezni az agyat.{217} Nem léteznek inherens akadályok azzal szemben, hogy képesek legyünk visszafejteni az emberi intelligencia működésének alapelveit, és átültessük a képességeit az előttünk álló évtizedekben megszülető, sokkal nagyobb teljesítményű számítási közegekbe. Az emberi agy összetett rendszerek komplex hierarchiája, de komplexitásának szintje nem haladja meg azt, amit már most képesek vagyunk kezelni.

 

Az agy szoftvere. A számítástechnika és a kommunikáció ár–teljesítmény-aránya évről évre a kétszeresére javul. Mint korábban láttuk, az emberi intelligencia emulálásához szükséges számítási kapacitás nem egészen két évtized múlva rendelkezésünkre fog állni.{218} A szingularitás bekövetkeztét jósoló elmélet mögött rejlő egyik alapvető feltételezés az, hogy a nem biológiai médiumok képesek lesznek emulálni az emberi gondolkodás gazdagságát, finomságát és mélységét. Ám egyetlen emberi agy – de akár falvak, sőt országok kollektív intelligenciája – számítási teljesítményének hardveres megvalósítása sem fog még automatikusan emberi szintű képességeket létrehozni. („Emberi szintű” alatt azt értem, hogy az ember sokféleképpen intelligens, ideértve a zenei és képzőművészeti tehetséget, a kreativitást, a világban való fizikai navigációt, az érzelmek megértését és az azokra adott adekvát reakciókat.) A hardver számítási teljesítménye szükséges, de nem elégséges feltétel. Az erőforrások szerveződésének és tartalmának a megértése – az intelligencia szoftvere – sokkal fontosabb, és az agy visszafejtésének a célja ennek megvalósítása.

Amikor egy számítógép eléri az emberi intelligenciaszintet, szükségképpen túl is fogja szárnyalni azt. A nem biológiai intelligencia kulcsfontosságú előnye, hogy a gépek könnyen meg tudják osztani egymással a tudásukat. Ha valaki megtanul franciául, vagy elolvassa a Háború és békét, nem tudja egy az egyben átadni a tudását nekem, kénytelen leszek ugyanazzal a fáradságos tanulással szert tenni rá, mint ő. Egyelőre nem tudok gyorsan hozzáférni mások tudásához, ami a neurotranszmitter-koncentrációk (azok a vegyületek, amelyek a szinapszisokban lehetővé teszik, hogy az egyik idegsejt hasson a másikra) és idegsejtek közötti kapcsolatok (az idegsejtek axonoknak és dendriteknek nevezett nyúlványai, amelyek összekapcsolják az idegsejteket) hatalmas mintázatába van beágyazva.

De gondolkodjunk el a gépi intelligencián! Az egyik cégemnél éveket töltöttünk azzal, hogy mintázatfelismerő szoftver alkalmazásával megtanítsunk egy számítógépet a folyamatos emberi beszéd felismerésére.{219} Több ezer órányi rögzített beszélgetést játszottunk le neki, kijavítottuk a hibáit, és türelmesen fejlesztettük a teljesítményét azzal, hogy tanítgattuk „kaotikus” önszervező algoritmusait (olyan algoritmusokat, melyek képesek saját szabályaik módosítására, félig véletlenszerű kezdeti adatokat használó folyamatokon alapulnak, és eredményeik nem teljes mértékben előre jelezhetőek). A számítógép végül elég jól felismerte a beszédet. Ma, ha valaki azt szeretné, hogy az otthoni számítógépe felismerje a beszédét, nem kell végigvezetni ugyanezen a lassú és fáradságos tanulási folyamaton (ahogy a gyerekeinkkel tesszük), hanem egyszerűen néhány másodperc alatt letöltjük a már kész mintázatokat.

 

Az agy analitikus és neuromorf modellje. Az emberi intelligencia és a jelenlegi MI közötti divergenciára jó példa az, hogyan oldanak meg egy sakkfeladványt. Az emberek mintázatokat ismernek fel, a gépek pedig óriási logikai „fákat” építenek a lehetséges lépésekből és az azokra adott reakciókból. Mind a mai napig a legtöbb technológia (mindenféle technológia) ez utóbbi, „felülről lefelé haladó”, analitikus tervezési megközelítést alkalmazta. A repülőgépeink például nem a madarak fiziológiáját és mechanikáját próbálják lemásolni. Ám ahogy a természet megoldásainak visszafejtéséhez szükséges eszközeink egyre fejlettebbek lesznek, a technológia egyre inkább a természet emulálása felé mozdul el, és közben sokkal nagyobb teljesítményű közegekben alkalmazza ezeket a technikákat.

Az intelligencia szoftverének megismerésére az a legvonzóbb forgatókönyv, hogy közvetlenül az intelligens folyamatok legjobb, mindig kéznél lévő példáját, az emberi agyat csapoljuk meg. Noha az eredeti „tervezőjének” (az evolúciónak) több milliárd év kellett, hogy létrehozza az agyat, nekünk mindig kéznél van, a koponya rejtekében, de a megfelelő eszközök segítségével láthatóan. Tartalmát egyelőre nem védi szabadalom vagy a szerzői jog. (Viszont számíthatunk rá, hogy ez változni fog; az agy visszafejtése során nyert eredményekre alapozva már nyújtottak be szabadalmi kérelmeket.{220}) Az agyról készült felvételekből és idegrendszeri modellekből nyert több billió byte információt sok szinten fogjuk alkalmazni, hogy intelligensebb párhuzamos algoritmusokat tervezzünk a gépeinknek, különösen azoknak, amelyek önszervező paradigmákon alapulnak.

Ezzel az önszervező megközelítéssel nem kell megpróbálnunk minden egyes idegsejtkapcsolatot lemásolni. Az agy bármelyik tetszőleges területén rengeteg ismétlődő és redundáns megoldás található. Egyre inkább úgy tűnik, hogy az agyterületek magasabb szintű modelljei gyakran egyszerűbbek, mint idegsejt szintű alkotórészeik részletes modelljei.

 

Mennyire összetett az agy? Noha az emberi agyban tárolt információ nagyságrendileg egymilliárdszor milliárd bit (lásd a 3. fejezetben), az agy felépítése a meglehetősen tömör emberi genomon alapul. A teljes genom nyolcszázmillió byte, de ennek a nagy része redundáns, így körülbelül harminc-százmillió byte (kevesebb, mint 109 bit) egyedi információ marad (tömörítés után), ami kisebb, mint a Microsoft Word szövegszerkesztő program.{221} A tisztesség kedvéért számításba kellene vennünk az „epigenetikus” adatokat is, amelyek a génexpressziót szabályozó fehérjékben tárolt információt (azaz minden egyes sejtre meghatározza, melyik géneknek szabad fehérjéket létrehozniuk), illetve a teljes fehérje-replikáló rendszert, úgymint a riboszómákat és a seregnyi enzimet jelentik. Mindazonáltal ezek az információk nem változtatják meg ennek a számításnak a nagyságrendjét.{222} A genetikus és epigenetikus információ több mint fele az emberi agy kiinduló állapotát írja le.

Agyunk komplexitása természetesen nagymértékben megnő, ahogy interakcióba kerülünk a világgal (körülbelül egymilliárdszorosa lesz a genoménak).{223} Azonban minden egyes agyterületen többszörösen ismétlődő mintázatok találhatók, tehát nem szükséges megragadni minden egyes apró részletet ahhoz, hogy sikeresen visszafejtsük a releváns algoritmusokat, amelyek digitális és analóg metódusokat egyesítenek magukban (például egy neuron kisülése digitális eseménynek, míg a neurotranszmitterek szintváltozásai a szinapszisokban analóg értékeknek tekinthetők). A kisagy alapvető kapcsolási rajza például mindössze egyszer van leírva a genomban, mégis több milliárd példányban jön létre. Az agyi felvételekből és a modellekből szerzett információk alapján tervezhetünk szimulált „neuromorf” ekvivalens szoftvereket (azaz olyan algoritmusokat, amelyek funkcionálisan ekvivalensek egy adott agyterület általános működésével).

A működő modellek és szimulációk alkotásának fejlődése alig van lemaradva az agyi felvételektől és az idegsejtek szerkezetéről szerzett információktól. Több mint ötvenezer idegtudós van a világon, akik több mint háromszáz szaklapba írnak cikkeket.{224} A tudományterület széles és sokszínű, a tudósok és mérnökök sok szinten hoznak létre új képalkotó és érzékelő technikákat, fejlesztenek modelleket és elméleteket. Gyakran még a tudományterület művelői sincsenek tisztában a napjainkban folyó kutatások teljes mélységével.

 

Az agy modellezése. Napjaink idegtudományában sokféle forrás, például agyi felvételek, az idegsejtek közötti kapcsolatokról alkotott modellek, idegsejtmodellek és pszichofizikai tesztek alapján fejlesztenek modelleket és szimulációkat. Mint korábban említettem, Lloyd Watts hallásrendszer-kutató kifejlesztett egy, az emberi halló- és hangfeldolgozó rendszer jelentős részére vonatkozó átfogó modellt az egyes idegsejttípusok és idegsejtek közötti kapcsolatinformációk neurobiológiai vizsgálata alapján. Watts modelljében öt párhuzamos útvonal szerepel, valamint a hanginformáció konkrét reprezentációja az idegrendszeri feldolgozás egyes fázisaiban. Watts számítógépen, valós idejű szoftverként implementálta modelljét, és a program képes lokalizálni és azonosítani a hangokat, hasonlóan ahhoz, ahogyan az emberi hallás működik.

Ahogyan azt Hans Moravec és mások feltételezték, ezek a működő funkcionális szimulációk körülbelül ezerszer kevesebb számítást igényelnek, mintha minden egyes dendrit, szinapszis és szubneurális struktúra nemlinearitását szimulálnánk az adott agyterületen. (Mint arra a 3. fejezetben kitértem, az agy funkcionális szimulációjának számításigénye 1016 számítás per másodpercre becsülhető, szemben a szubneurális nemlinearitások szimulálásához szükséges 1019 számítás per másodperccel.{225})

A jelenlegi elektronika jelsebessége körülbelül egymilliószorosa az idegsejtkapcsolatok által használt elektrokémiai jelzések sebességének. Ugyanezt az alacsony hatékonyságot találjuk biológiai létünk minden aspektusában, mivel a biológiai evolúció az összes mechanizmusát és rendszerét súlyosan korlátozott anyagkészletből építette fel: nevezetesen sejtekből, amelyek önmaguk is korlátozott fehérjekészletből állnak. Bár a biológiai fehérjék háromdimenziósak, olyan összetett molekulákra korlátozódnak, amelyek kibonthatók egy lineáris (egydimenziós) aminosav-szekvenciából.

 

A hagymahéjak lehántása. Az agy nem pusztán egy információfeldolgozó szerv, hanem több száz specializálódott terület bonyolult és többszörösen összekapcsolt együttese. A „hagymahámozás” folyamata, az összefonódott területek funkcióinak megértése jó úton halad. Ahogy az agyon belüli kapcsolatokról hozzáférhetővé válnak a szükséges idegsejtleírások és az adatok a hallórendszer területeiről készített szimulációhoz hasonló részletes, implementálható másolatok fognak készülni az összes agyterületről (Egy másik példa: a hallásért felelős területek Watts-féle modellje, lásd később).

Az agyat modellező algoritmusok többsége nem olyan szekvenciális, logikai eljárás, amit széles körben használnak napjainkban a digitális számítástechnikában. Az agy inkább önszervező, kaotikus, holografikus folyamatokat használ (vagyis az információ nem egy helyen van, hanem elosztva egy területen belül). Emellett főként párhuzamos, és hibrid analóg-digitális eljárásokat alkalmaz. Mindazonáltal számos kutatási projekt bebizonyította már, hogy képesek vagyunk megérteni ezeket a technikákat és hozzátenni őket az agyról és felépítéséről szerzett, gyorsan mélyülő és a gyakorlatban is felhasználható ismereteinkhez.

Miután megértettük egy adott terület algoritmusait, javíthatjuk és kiterjeszthetjük őket, mielőtt szintetikus neurális megfelelőikben implementálnánk őket. Olyan számítási közegben futtathatók, amely már most sokkal gyorsabb az idegrendszer áramköreinél. (A mai számítógépek a másodperc egymilliárdod része alatt végeznek el egy műveletet, szemben az idegsejtek közötti tranzakciók ezredmásodperceivel.) És a már ismert eljárásokat felhasználhatjuk intelligens gépek építésére.

 

Más-e az emberi agy, mint egy számítógép?

 

A válasz erre a kérdésre attól függ, mit értünk „számítógép” alatt. A legtöbb számítógép ma teljesen digitális, és egyszerre csak egy (esetleg néhány) műveletet végez, rendkívül nagy sebességgel. Ezzel szemben az emberi agy egyaránt használ digitális és analóg módszereket, ám a legtöbb számítást az analóg (folytonos) területen végzi, neurotranszmitterekkel és az azokhoz kapcsolódó mechanizmusokkal. Noha ezek az idegsejtek rendkívül lassan végzik a számításaikat (általában kétszáz műveletet másodpercenként), az agy egésze zömében párhuzamos: az idegsejtek többsége egyszerre dolgozik, s így egyszerre akár százbillió műveletet is végrehajt másodpercenként.

Az emberi agy nagymértékű párhuzamossága a kulcs a mintázatfelismerő képességéhez, ami fajunk gondolkodásának egyik oszlopa. Az emlősök idegsejtjei kaotikus táncot járnak (azaz számtalan, látszólag véletlenszerű interakciót hajtanak végre), és ha a neurális hálózat jól tanulta meg a leckéit, kialakul egy stabil mintázat, amely a hálózat döntését tükrözi. Jelenleg a számítógépek csak korlátozott mértékben párhuzamos felépítésűek, azonban semmi sem indokolja, hogy ne lehetne ezeknek az alapelveknek a felhasználásával létrehozni a biológiai neurális hálózatok funkcionálisan ekvivalens nem biológiai megfelelőit. Sőt, a világon több tucat próbálkozás már sikerrel is járt. Az én szakterületem a mintázatfelismerés, és a projektek, amelyekben körülbelül negyven év során részt vettem, a számítástechnikának ezt a tanításalapú, nem determinisztikus formáját használják.

Az agy jellegzetes szerveződési metódusai közül sokat hatékonyan lehet hagyományos, kellő teljesítményű számítógépekkel szimulálni. Hiszem, hogy a természet tervezési paradigmáinak lemásolása kulcsfontosságú trend lesz a jövő számítástechnikájában. Arról sem szabad megfeledkeznünk, hogy a digitális számítástechnika funkcionálisan ekvivalens lehet az analóg számítástechnikával – azaz egy teljesen digitális számítógéppel is meg lehet valósítani egy hibrid analóg-digitális hálózat összes funkcióját. Ennek a fordítottja viszont nem igaz: egy analóg számítógéppel nem lehet szimulálni egy digitális számítógép összes funkcióját.

Mindazonáltal az analóg számítástechnikának van egy tervezési előnye: potenciálisan több ezerszer hatékonyabb. Egy analóg számítást el lehet végezni néhány tranzisztorral, vagy mint az emlősök idegsejtjeinek esetében, specifikus elektrokémiai folyamatokkal. Ezzel szemben a digitális számításokhoz több ezer, sőt több tízezer tranzisztor szükséges. Másfelől, ez az előny behozható a digitális számítógépeken alapuló szimulációk könnyű programozhatóságával és módosíthatóságával.

Az agy számos fontos szempontból különbözik a hagyományos számítógépektől:

• Az agy áramkörei nagyon lassúak. A szinapszisok nyugalmi állapotba kerüléséhez és az idegsejtek stabilizálódásához szükséges idő (az az idő, amire az idegsejtnek és a szinapszisainak szüksége van az idegsejt kisülése után, hogy nyugalomba kerüljenek) olyan nagy, hogy nagyon kevés idegsejt-kisülési ciklus áll rendelkezésre a mintázatfelismerő döntések meghozatalához. A funkcionális mágneses rezonancia vizsgálatok (fMRI) és a magnetoenkefalográfia (MEG) eredményei kimutatták, hogy a többértelműség feloldását nem igénylő döntések egyetlen idegsejt-kisülési cikluson belül (kevesebb mint húsz milliszekundum alatt) megszületnek, s a döntés során gyakorlatilag nincsenek iteratív (ismétlődő) folyamatok. A tárgyfelismerés körülbelül 150 milliszekundum alatt történik, és még amikor „valamit alaposan átgondolunk”, a műveleti ciklusok száma akkor is csak százas-ezres nagyságrendű, nem pedig milliárdos, mint egy hagyományos számítógép esetében.
• Az agy azonban erősen párhuzamos. Az agyban nagyságrendileg százbillió idegsejtközi kapcsolat található, melyek képesek párhuzamos, egyidejű működésre, információfeldolgozásra. Ennek a két tényezőnek (a lassú ciklusnak és a nagymértékű párhuzamosságnak) az eredménye az agy jellemző számítási teljesítménye, amiről a korábbiakban már beszéltünk.
A mai legnagyobb szuperszámítógépek kezdik megközelíteni ezt a tartományt. A vezető szuperszámítógépek (közöttük azok, amelyeket a legnépszerűbb keresőmotorok használnak) számítási teljesítménye meghaladja a 1014 művelet per másodpercet, ami megfelel a funkcionális szimulációhoz szükséges számítási kapacitás 3. fejezetben tárgyalt alsó értékének. Ugyanakkor nem feltétlenül szükséges ugyanolyan mértékű párhuzamos feldolgozást megvalósítanunk, mint az agyban tapasztalható, elég, ha megvan a teljes számítási és memóriakapacitás, és egyébként szimulálni tudjuk az agy erősen párhuzamos architektúráját.
• Az agy egyszerre digitális és analóg. Az agyi kapcsolatok topológiája lényegében digitális – egy adott kapcsolat vagy létezik, vagy nem. Egy kisülő axon nem teljesen digitális, de jól közelít egy digitális folyamatot. Az agy legtöbb funkciója analóg, és tele van nonlinearitásokkal (hirtelen kimenetváltozásokkal, szemben a fokozatosan változó szintekkel), melyek lényegüket tekintve sokkal összetettebbek, mint a klasszikus idegsejtmodellek. Mindazonáltal egy idegsejt és alkotórészei (dendritek, dendrittüskék, csatornák és axonok) modellezhetők a nemlineáris rendszerek matematikájával. Ezek a matematikai modellek tetszőleges pontossággal szimulálhatók egy digitális számítógépen. Mint említettem, ha nem digitális számítógépekkel, hanem natív analóg üzemmódban használt tranzisztorokkal szimulálunk agyterületeket, akkor, ahogyan azt Carver Mead bebizonyította, három-négy nagyságrenddel nagyobb teljesítményt érhetünk el.{226}
• Az agy képes újraszervezni önmagát. A dendritek folyamatosan új töviseket és szinapszisokat hoznak létre. A dendritek és szinapszisok topológiája és vezetőképessége szinte folyamatosan változik. Noha a számítógépes mintázatfelismerő rendszerekben, például a neurális hálózatokban és Markov-modellekben felhasznált matematikai eljárások sokkal egyszerűbbek, mint az agyban lévők, megfelelő tervezési tapasztalatunk van az önszervező modellek terén.{227} A mai számítógépek a szó szoros értelmében nem huzalozzák át magukat (bár a mostanában megjelenő „önjavító rendszerek” mintha ezt kezdenék el megvalósítani), de szoftveresen szimulálhatjuk ezt a folyamatot.{228} A jövőben ezt hardveresen is implementálni tudjuk majd, bár lehetnek előnyei annak, ha az önszerveződés nagy részét szoftveresen valósítjuk meg, nagyobb rugalmasságot biztosítva a programozóknak.
• Az agyban a részletek többsége véletlenszerű. Noha az agy minden területén nagyon sok sztochasztikus (gondosan szabályozott határok között véletlenszerű) folyamat zajlik, ugyanúgy nem szükséges az összes dendrit összes betüremkedését modellezni, mint ahogy nem kell ismerni az összes tranzisztor minden felszíni részletét sem ahhoz, hogy megértsük a számítógép működési elvét. Bizonyos részletek azonban kritikusak az agy működési elvének dekódolása szempontjából, és ezért muszáj megkülönböztetnünk ezeket azoktól, amelyek a sztochasztikus „zajt” vagy káoszt generálják. Az idegrendszer működésének kaotikus (véletlenszerű és nem előrejelezhető) aspektusai a komplexitáselmélet és a káoszelmélet matematikai módszereivel modellezhetők.{229}
• Az agy emergens tulajdonságokat használ. Az intelligens viselkedés az agy kaotikus és komplex tevékenységének emergens, spontán előálló tulajdonsága. Gondoljunk a termesz- és hangyakolóniák látszólag intelligens felépítésére, az aprólékosan kialakított járat- és szellőzőrendszerekre! A termeszváraknak és hangyabolyoknak okos és bonyolult felépítésük ellenére nincsenek főépítészeik; az építmények a bolyok külön-külön viszonylag egyszerű szabályokat követő tagjainak előre nem jelezhető interakciói során jönnek létre.
• Az agy nem tökéletes. A komplex adaptív rendszerek jellegzetessége, hogy a döntéseik emergens intelligenciája nem optimális. (Azaz alacsonyabb intelligenciaszinten működnek, mint tehetnék azt elemeik optimális elrendezése esetén.) Elég jónak kell lennie, ami a mi fajunk esetében az ahhoz szükséges szintű intelligenciát jelenti, hogy életben maradjunk az ökológiai fülkénkben (szemben például a főemlősökkel, amelyeknél a kognitív funkciók szintén egy szembefordítható ujjal párosulnak, ám az agyuk nem olyan fejlett, mint az emberé, és a kezük sem olyan jól használható).
• Ellentmondunk önmagunknak. A magasabb rendű eredményekhez sokféle ötlet és elképzelés vezet el, melyek között egymásnak ellentmondóak is találhatók. Az agyunk képes egymásnak ellentmondó nézeteket fenntartani. Tulajdonképpen rengeteg minden ebből a belső sokféleségből származik. Gondoljunk az emberi társadalmak, különösen a demokratikus társadalmak analógiájára, melyek konstruktív módokon találják meg a különböző nézőpontok eredőit!
• Az agy fejlődik. Az agy által használt alapvető tanulási paradigma az evolúció terméke: azok a kapcsolatmintázatok maradnak fenn, amelyek a legsikeresebben értelmezik a világot és járulnak hozzá a felismerésekhez és döntésekhez. Az újszülöttek agyában főleg véletlenszerűek az idegsejtközi kapcsolatok, és kétéves korra ezeknek csak egy része marad meg.{230}
• A mintázatok fontosak. Ezeknek a kaotikus önszervező metódusoknak bizonyos részletei, melyek a modellek korlátaiként (a kezdeti állapotokat és az önszervezés eszközeit meghatározó szabályokként) jutnak kifejeződésre, létfontosságúak, amennyiben magukon a korlátokon belül bizonyos részletek kiinduló értéke véletlenszerű. A rendszer ezek alapján kezdi el megszervezni magát, és fokozatosan megjeleníti a rendszerhez eljutó információk invariáns jellegzetességeit. Az így létrejövő információ nem bizonyos csomópontokban vagy kapcsolódásokban található meg, hanem egy elosztott mintázat formájában.
• Az agy holografikus. Párhuzam állítható fel a hologramok elosztott információja és az agyi hálózatok információtárolásának metódusa között. Ugyanez fellelhető a számítógépes mintázatfelismerés során használt módszerekben, például a neurális hálózatokban, a Markov-modellekben és a genetikai algoritmusokban is.{231}
• Az agy erősen összefüggő hálózat. Az agy rugalmas, mivel egy nagyon sok kapcsolattal rendelkező hálózat, amelyben az információ sokféle útvonalon juthat el egyik pontból a másikba. Gondoljunk az internet analógiájára, ami egyre stabilabbá vált, ahogy a csomópontjainak száma növekedett! Az internet egyes csomópontjai, sőt egész alhálózatok is működésképtelenné válhatnak anélkül, hogy az egész hálózat összeomlana. Hasonlóképpen mi is folyamatosan veszítünk el idegsejteket, az agy egészének integritása mégsem sérül.
• Az agyterületek rendszerbe szerveződnek. Noha egy-egy agyterület kapcsolatainak bizonyos részletei kezdetben véletlenszerűek, és a modellkorlátok és az önszerveződés szabályai szerint szerveződnek tovább, több száz, különleges funkciót betöltő területnek kötött a felépítése, az adott területre jellemző kapcsolati mintázattal.
• Az agyterületek felépítése egyszerűbb, mint egy neuroné. A modellek magasabb szinten gyakran nem bonyolultabbá, hanem egyszerűbbekké válnak. Gondoljunk a számítógép analógiájára! Egy tranzisztor modellezéséhez meg kell értenünk a félvezetők részletes fizikáját, és a tranzisztor működését leíró egyenletek igen bonyolultak. Ezzel szemben egy digitális áramkör, ami két számot szoroz össze, hiába áll akár több száz tranzisztorból, sokkal egyszerűbben modellezhető, és mindössze néhány képlettel leírható a működése. Egy több milliárd tranzisztorból álló számítógépet modellezni lehet az utasításkészletének és regisztereinek a leírásával, amelyek elférnek néhány szöveggel és matematikai képletekkel teleírt papírlapon.

Az operációs rendszerek, a programnyelvekhez tartozó fordítóprogramok és assemblerek meglehetősen bonyolultak, de egy adott program – például egy, a Markov-modellen alapuló beszédfelismerő program – modellezése mindössze néhány oldalnyi egyenlettel leírható. Egy-egy ilyen leírás nyomokban sem utal a félvezetők konkrét fizikájára. Hasonló a helyzet az aggyal is. Egy bizonyos idegsejti elrendeződés, ami egy bizonyos állandó vizuális vonást (például egy arcot) érzékel, vagy ami hullámsávszűrést végez (adott frekvenciatartományra korlátozva a kimenetet) a hanginformációkon, vagy ami két esemény időbeli közelségét méri fel, sokkal egyszerűbben leírható, mint az egyes folyamatokban részt vevő neurotranszmitterek, szinapszisok és dendritek apró változásai. Noha ezt az idegrendszeri összetettséget gondosan mérlegelni kell, mielőtt (az agy modellezése során) egy szinttel feljebb lépünk, a nagy részük jelentősen egyszerűsíthető, ha megértjük az agy működésének alapelveit.

 

——————————————————————————————

Próbáljuk megérteni saját gondolkodásunkat
A kutatások gyorsuló üteme
 
Jelenleg a görbe térdéhez (a gyors exponenciális növekedés szakaszához) közeledünk az emberi agy megértésének egyre gyorsuló folyamatában, de a próbálkozásaink ezen a téren régre nyúlnak vissza. Azon képességünk, hogy reflektáljunk a gondolkodásunkra és modelleket alkossunk róla, fajunk egyedi jellegzetessége. Az első mentális modellek szükségképpen a külső viselkedés megfigyelésén alapultak (például Arisztotelész 2350 évvel ezelőtti elemzése az ember azon képességéről, hogy képzeteket társítson össze).{232}
A XX. század elején kifejlesztettük azokat az eszközöket, amelyekkel megvizsgálhatók az agyon belül zajló fizikai folyamatok. Az első áttörések között szerepelt az idegsejtek elektromos kimenetének a megmérése, amit az idegtudományok úttörője, E. D. Adrian dolgozott ki 1928-ban, bebizonyítva, hogy az agyban elektromos folyamatok zajlanak.{233} Ahogy Adrian írta: „Bizonyos retinakísérletek során elektródákat kötöttem egy béka látóidegeire. A szobában majdnem teljesen sötét volt, és meglepve hallottam, hogy az erősítőhöz kapcsolt hangszóróból zajok törnek fel, ami azt jelentette, hogy nagy mennyiségű impulzus sült ki. Amikor felismertem az összefüggést a zajok és a szobában végzett mozgásom között, rájöttem, hogy a béka szemének látómezejében vagyok, és a hangok a mozgásom nyomán jönnek létre.”
A felismerés, amit Adrian tett a kísérlet során, ma már az idegtudomány egyik sarokköve: az érzékelőidegből érkező impulzusok frekvenciája egyenesen arányos a mért érzékszervi jelenség intenzitásával. Például minél erősebb a fény, annál magasabb frekvenciával jut idegi impulzus a retinából az agyba. Adrian egyik tanítványa, Horace Barlow tett egy másik örök érvényű felfedezését: felismerte az idegsejtek „kapcsoló jellegét”, amikor rájött arra, hogy a békák és nyulak retinájában egyedülálló idegsejtek vannak, melyek bekapcsolódnak, amikor bizonyos alakokat, irányokat vagy sebességeket „látnak”. Más szóval, az érzékelésnek több fázisa van, és az idegsejtek minden rétege a kép egyre kifinomultabb vonásait ismeri fel.
1939-ben kezdtünk el fogalmat alkotni arról, hogyan működnek az idegsejtek: összegyűjtik (összeadják) a bemeneteiket, majd fokozzák a membrán vezetőképességét (hirtelen megnő az idegsejt sejthártyájának a jeltovábbító képessége), és feszültség keletkezik az idegsejt axonja (ami összekapcsolódik a többi idegsejttel egy szinapszison keresztül) mentén. A. L. Hodgkin és A. F. Huxley alkotta meg az axon „akciós potenciáljának” (feszültségének) az elméletét.{234} 1952-ben ténylegesen is megmérték egy állati axon akciós potenciálját.{235} A mérete és hozzáférhetősége miatt egy tintahal idegsejtjeit választották.
Hodgkin és Huxley eredményeire építve W. S. McCulloch és W. Pitts 1943-ban kidolgozott egy egyszerűsített idegsejt- és neurálishálózat-modellt, amely fél évszázadnyi munkát inspirált a mesterséges (szimulált) neurális hálózatok terén (amikor egy számítógépes programmal szimulálják azt, ahogyan az agy idegsejtjei hálózatként működnek az agyban). Ezt a modellt Hodgkin és Huxley 1952-ben továbbfejlesztette. Noha ma már tudjuk, hogy az egyes idegsejtek sokkal bonyolultabbak, mint ezek a korai modellek, az eredeti koncepció sokáig kitartott. Ebben az alapszintű neurálishálózat-modellben minden szinapszishoz tartozik egy neurális „súly” (ami a kapcsolat „erősségét” mutatja), illetve minden idegsejttesthez egy nemlinearitás (kisülési küszöb).
Ahogy az idegsejt sejttestébe érkező súlyozott inputok növekednek, az idegsejt viszonylag kevéssé reagál, míg az input el nem ér egy kritikus küszöböt, amikor is az idegsejt sebesen megnöveli az axonjának az outputját és kisül. A különböző idegsejteknek más és más a küszöbértéke. Noha a legújabb kutatások arra utalnak, hogy a valódi reakció ennél összetettebb, a McCulloch–Pitts és a Hodgkin–Huxley-modellek lényegüket tekintve érvényesek maradtak.
Ezek a felismerések tetemes mennyiségű korai munkát eredményeztek a mesterséges neurális hálózatok területén, mely később konnekcionizmus néven vált ismertté. Talán ez volt az első önszervező paradigma a számítástechnika területén.
Az önszervező rendszerek egyik kulcsfontosságú követelménye a nonlinearitás: valamilyen módszer olyan kimenetek létrehozására, amelyek nem pusztán a bemenetek súlyozott összegei. Az első neurálishálózat-modellek képesek voltak biztosítani ezt a nonlinearitást.{236} (Az alapvető neurális hálózat megvalósítása elég egyszerű.{237}) Körülbelül ugyanebben az időszakban Alan Turingnak a számítástechnika elméleti modelljein végzett munkája szintén azt mutatta ki, hogy a számítástechnikának is feltétele a nonlinearitás. Azok a rendszerek, melyek egyszerűen a bemenetek súlyozott összegét hozzák létre, nem felelnek meg a számítástechnika lényegi követelményeinek.
Ma már tudjuk, hogy a valódi biológiai idegsejtek sok más nem lineáris tulajdonságokkal is rendelkeznek a szinapszisok elektrokémiai aktivitása és a dendritek morfológiája (alakja) miatt. A biológiai idegsejtek különböző elrendezése képes számítások elvégzésére: összeadásra, kivonásra, szorzásra, osztásra, átlagszámításra, az ingerületek szűrésére, normalizálására, határérték figyelésére, és még sok más műveletre.
Az, hogy az idegsejtek képesek szorozni, azért fontos, mert lehetővé teszi, hogy az agy egyik neuronhálózatát modulálják (befolyásolják) egy másik hálózat számítási eredményei. Az elektrofiziológiai berendezésekkel majmokon végzett kísérletek azt bizonyítják, hogy a képfeldolgozás során az idegsejtkisülések száma a vizuális kéregben növekszik és csökken, attól függően, hogy a majmok odafigyelnek-e a kép egy adott területére, vagy sem.{238} Az embereken végzett fMRI-kutatások is azt mutatták, hogy egy kép adott területére való odafigyelés növeli a képet feldolgozó idegsejtek érzékenységét a V5-nek nevezett, a mozgásérzékelésért felelős agykérgi területen.{239}
Egy másik fontos áttörés 1949-ben történt, amikor Donald Hebb megfogalmazta nagy hatású elméletét, a „Hebb-szabályt” a neurális tanulásról: ha egy szinapszist (vagy egy szinapsziscsoportot) ismételten stimulálnak, akkor az a szinapszis megerősödik. Idővel a szinapszis kondicionálása tanulási reakciót vált ki. A konnekcionista mozgalom ez alapján a modell alapján tervezett neurálishálózat-szimulációkat, lendületet adva az ilyen kísérleteknek az 1950-es és 1960-as években.
A konnekcionista mozgalom 1969-ben kezdett el hanyatlani, amikor az MIT két kutatója, Marvin Minsky és Seymour Papert kiadta a Perceptrons (Perceptronok) című könyvét.{240} Szerepelt benne egy tétel, amely azt bizonyította, hogy az akkoriban használatos leggyakoribb (és legegyszerűbb) neurális hálózat (a Perceptron, amelyet Frank Rosenblatt fejlesztett ki a Cornell Egyetemen) még egy olyan egyszerű problémát sem képes megoldani, mint annak eldöntése, hogy egy vonalrajz teljesen összefüggő-e.{241} A neurálishálózat-mozgalom az 1980-as években kapott új lendületet a backpropagation(visszaterjesztés) módszer alkalmazásával, amely révén a stimulált szinapszisok erősségét egy olyan tanulási algoritmussal határozták meg, ami minden tanulási próba után módosította minden egyes mesterséges neuron súlyát (a kimenet erősségét), s így a hálózat „megtanult” pontosabban megfelelni a helyes válasznak.
Mindazonáltal a visszaterjesztés a valódi biológiai neurális hálózatokban nem alkalmazható modell, mivel úgy tűnik, az emlősök agyában nincsenek olyan visszafelé ható kapcsolatok, melyek valóban módosítanák a szinaptikus kapcsolatok erejét. A számítógépekben viszont ez a fajta önszervező rendszer a mintázatfelismerési problémák széles körét képes megoldani, és bizonyítást nyert az önszervező, összekapcsolt neuronok ezen egyszerű modelljének az ereje.
Kevésbé ismert Hebb másik tanulási formája: egy feltételezett hurok, amelyben a neuron ingerlése visszahat önmagára (talán más rétegeken keresztül), és „jelvisszaverődések” jönnek létre (folyamatosan újabb ingerek érik a hurokban lévő neuronokat). Hebb elmélete szerint ez a fajta visszaverődés lehet a rövid távú tanulás forrása. Azt is felvetette, hogy ez a rövid távú visszaverődés vezethet el a hosszú távú emlékek kialakulásához: „Tegyük fel, hogy egy visszaverődést kiváltó tevékenység (vagy „nyom”) tartós megléte vagy ismétlődése végül maradandó sejtszintű változást okoz, ami megnöveli a tevékenység stabilitását. A feltételezést a következőképpen lehet egzaktan megfogalmazni: Amikor »A« sejt axonja elég közel van ahhoz, hogy ingerelje »B« sejtet, és ismétlődően vagy tartósan kisülésre készteti azt, akkor valamiféle növekedési folyamat vagy anyagcsere-változás következik be egyik vagy mindkét sejtben, amelynek nyomán az »A« sejtnek, mint a »B« sejtet kisütő sejtek egyikének, megnövekszik a hatékonysága.”
Noha Hebb visszaverődő memória elmélete nem annyira megalapozott, mint a szinaptikus tanulásé, a közelmúltban felfedeztek rá néhány példát. Például a serkentő neuronok csoportjai (melyek egy szinapszist stimulálnak) és a gátló neuronok (melyek gátolják a stimulusokat) bizonyos vizuális mintázatok jelenlétében oszcillálni kezdenek.{242} Az MIT és a Lucent Technologies Bell laboratórium kutatói pedig létrehoztak egy tranzisztorokból álló integrált áramkört, ami tizenhat serkentő neuron és egy gátló neuron viselkedését szimulálva másolja le az agykéreg biológiai áramkörét.{243}
A neuronok és a neurális információfeldolgozás korai modelljei bizonyos szempontból túlzottan leegyszerűsítettek és pontatlanok voltak ugyan, mégis figyelemre méltóak, tekintettel a kidolgozásuk idején rendelkezésre álló adatok és eszközök korlátozott voltára.

——————————————————————————————

 

Bepillantás az agyba

 
„Sikerült a műszereink pontatlanságát és zaját olyan szintre csökkenteni, hogy most már ezeknek a molekuláknak a legparányibb, saját átmérőjüknél is kisebb távú mozgásait is látjuk… Ilyen kísérletekről tizenöt évvel ezelőtt még csak álmodozni lehetett.”
(Steven Block,
a biológia és az alkalmazott fizika professzora,
Stanford Egyetem)

 

Képzeljük el, hogy megpróbáljuk visszafejteni egy számítógép működését anélkül, hogy bármit is tudnánk róla (ez a „fekete doboz” módszer)! Kezdhetjük azzal, hogy mágneses érzékelőket rakunk a berendezés köré. Azt fogjuk látni, hogy az adatbázist frissítő műveletek során bizonyos áramköri panelek jelentős aktivitást mutatnak. Valószínűleg azt is megfigyelnénk, hogy ezen műveletek során a merevlemez is működésbe lépett. (Ami azt illeti, a merevlemez kattogásának figyelése egy régóta ismert, bár nem túl pontos eszköz annak a megállapítására, hogy mit csinál a számítógép.)

Ezután megalkothatjuk azt az elméletet, hogy a merevlemeznek valamilyen köze van az adatbázisokat tároló hosszú távú memóriához, és az áramköri panel, amely aktivitást mutatott a művelet során, részt vett a tárolandó adatok továbbításában. Ebből hozzávetőlegesen megállapíthatjuk, hol és mikor történnek a műveletek, de nem sokat tudunk meg arról, hogyan valósulnak meg ezek a feladatok.

Ha a számítógép regisztereire (ideiglenes adattárolóira) visszajelző lámpákat csatolnánk (mint ahogy a legelső számítógépek valóban így néztek ki), azt látnánk, hogy a lámpák villognak, jelezve, hogy gyors változások követik egymást a regiszterekben, miközben a számítógép elemzi az adatokat, és lassú változások történnek, amikor a számítógép továbbítja az adatokat. Ebből arra következtethetnénk, hogy a lámpák valamiféle analitikus viselkedés közben tükrözik a logikai állapotok változásait. Ezek a megfigyelések helyesek lennének ugyan, de durvák, és nem dolgozhatnánk ki belőlük elméletet a számítógép működésére, és arról sem tudnánk meg semmit, hogyan kerül valójában kódolásra és továbbításra az információ.

Ez a gondolatkísérlet analóg azokkal az erőfeszítésekkel és próbálkozásokkal, amelyek az emberi agy feltérképezését és modellezését célozták, az éppen rendelkezésre álló durva eszközökkel. A jelenlegi agyi képalkotási kutatásokon (melyek fMRI-t, MEG-t és egyéb, a későbbiekben részletesen tárgyalandó módszereket alkalmaznak) alapuló modellek többsége legfeljebb utalhat a mélyben rejlő mechanizmusokra. Noha ezek a kutatások értékesek, alacsony tér- és időbeli felbontásuk nem elégséges az agy kiemelkedő képességeinek a visszafejtéséhez.

 

Új agyi képalkotó eszközök. A fenti példánál maradva képzeljük el, hogy pontos érzékelőket helyezhetünk el az áramkör bizonyos pontjain, és hogy ezek a szenzorok igen nagy sebességgel képesek nyomon követni az egyes jeleket! Ekkor rendelkezésünkre állnának azok az eszközök, amelyek szükségesek ahhoz, hogy valós időben nyomon kövessük a továbbított adatokat, és képesek legyünk részletes leírást készíteni az áramkörök működéséről. A mérnökök pontosan így, a számítógépben továbbított jeleket vizuális információvá alakító logikai analizátorokkal ismerik meg és javítják ki az olyan áramkörök hibáit, mint a számítógépek alaplapjai (például azért, hogy visszafejtsék valamelyik piaci versenytárs termékét).

A szingularitás küszöbén
titlepage.xhtml
jacket.xhtml
A_szingularitas_kuszoben_split_000.html
A_szingularitas_kuszoben_split_001.html
A_szingularitas_kuszoben_split_002.html
A_szingularitas_kuszoben_split_003.html
A_szingularitas_kuszoben_split_004.html
A_szingularitas_kuszoben_split_005.html
A_szingularitas_kuszoben_split_006.html
A_szingularitas_kuszoben_split_007.html
A_szingularitas_kuszoben_split_008.html
A_szingularitas_kuszoben_split_009.html
A_szingularitas_kuszoben_split_010.html
A_szingularitas_kuszoben_split_011.html
A_szingularitas_kuszoben_split_012.html
A_szingularitas_kuszoben_split_013.html
A_szingularitas_kuszoben_split_014.html
A_szingularitas_kuszoben_split_015.html
A_szingularitas_kuszoben_split_016.html
A_szingularitas_kuszoben_split_017.html
A_szingularitas_kuszoben_split_018.html
A_szingularitas_kuszoben_split_019.html
A_szingularitas_kuszoben_split_020.html
A_szingularitas_kuszoben_split_021.html
A_szingularitas_kuszoben_split_022.html
A_szingularitas_kuszoben_split_023.html
A_szingularitas_kuszoben_split_024.html
A_szingularitas_kuszoben_split_025.html
A_szingularitas_kuszoben_split_026.html
A_szingularitas_kuszoben_split_027.html
A_szingularitas_kuszoben_split_028.html
A_szingularitas_kuszoben_split_029.html
A_szingularitas_kuszoben_split_030.html
A_szingularitas_kuszoben_split_031.html
A_szingularitas_kuszoben_split_032.html
A_szingularitas_kuszoben_split_033.html
A_szingularitas_kuszoben_split_034.html
A_szingularitas_kuszoben_split_035.html
A_szingularitas_kuszoben_split_036.html
A_szingularitas_kuszoben_split_037.html
A_szingularitas_kuszoben_split_038.html
A_szingularitas_kuszoben_split_039.html
A_szingularitas_kuszoben_split_040.html
A_szingularitas_kuszoben_split_041.html
A_szingularitas_kuszoben_split_042.html
A_szingularitas_kuszoben_split_043.html
A_szingularitas_kuszoben_split_044.html
A_szingularitas_kuszoben_split_045.html
A_szingularitas_kuszoben_split_046.html
A_szingularitas_kuszoben_split_047.html
A_szingularitas_kuszoben_split_048.html
A_szingularitas_kuszoben_split_049.html
A_szingularitas_kuszoben_split_050.html
A_szingularitas_kuszoben_split_051.html
A_szingularitas_kuszoben_split_052.html
A_szingularitas_kuszoben_split_053.html
A_szingularitas_kuszoben_split_054.html
A_szingularitas_kuszoben_split_055.html
A_szingularitas_kuszoben_split_056.html
A_szingularitas_kuszoben_split_057.html
A_szingularitas_kuszoben_split_058.html
A_szingularitas_kuszoben_split_059.html
A_szingularitas_kuszoben_split_060.html
A_szingularitas_kuszoben_split_061.html
A_szingularitas_kuszoben_split_062.html
A_szingularitas_kuszoben_split_063.html
A_szingularitas_kuszoben_split_064.html
A_szingularitas_kuszoben_split_065.html
A_szingularitas_kuszoben_split_066.html
A_szingularitas_kuszoben_split_067.html
A_szingularitas_kuszoben_split_068.html
A_szingularitas_kuszoben_split_069.html
A_szingularitas_kuszoben_split_070.html
A_szingularitas_kuszoben_split_071.html
A_szingularitas_kuszoben_split_072.html
A_szingularitas_kuszoben_split_073.html
A_szingularitas_kuszoben_split_074.html
A_szingularitas_kuszoben_split_075.html
A_szingularitas_kuszoben_split_076.html
A_szingularitas_kuszoben_split_077.html
A_szingularitas_kuszoben_split_078.html
A_szingularitas_kuszoben_split_079.html
A_szingularitas_kuszoben_split_080.html
A_szingularitas_kuszoben_split_081.html
A_szingularitas_kuszoben_split_082.html
A_szingularitas_kuszoben_split_083.html
A_szingularitas_kuszoben_split_084.html
A_szingularitas_kuszoben_split_085.html
A_szingularitas_kuszoben_split_086.html
A_szingularitas_kuszoben_split_087.html
A_szingularitas_kuszoben_split_088.html
A_szingularitas_kuszoben_split_089.html
A_szingularitas_kuszoben_split_090.html
A_szingularitas_kuszoben_split_091.html
A_szingularitas_kuszoben_split_092.html
A_szingularitas_kuszoben_split_093.html
A_szingularitas_kuszoben_split_094.html
A_szingularitas_kuszoben_split_095.html
A_szingularitas_kuszoben_split_096.html
A_szingularitas_kuszoben_split_097.html
A_szingularitas_kuszoben_split_098.html
A_szingularitas_kuszoben_split_099.html
A_szingularitas_kuszoben_split_100.html
A_szingularitas_kuszoben_split_101.html
A_szingularitas_kuszoben_split_102.html
A_szingularitas_kuszoben_split_103.html
A_szingularitas_kuszoben_split_104.html
A_szingularitas_kuszoben_split_105.html
A_szingularitas_kuszoben_split_106.html
A_szingularitas_kuszoben_split_107.html
A_szingularitas_kuszoben_split_108.html
A_szingularitas_kuszoben_split_109.html
A_szingularitas_kuszoben_split_110.html
A_szingularitas_kuszoben_split_111.html
A_szingularitas_kuszoben_split_112.html
A_szingularitas_kuszoben_split_113.html
A_szingularitas_kuszoben_split_114.html
A_szingularitas_kuszoben_split_115.html
A_szingularitas_kuszoben_split_116.html
A_szingularitas_kuszoben_split_117.html
A_szingularitas_kuszoben_split_118.html
A_szingularitas_kuszoben_split_119.html
A_szingularitas_kuszoben_split_120.html
A_szingularitas_kuszoben_split_121.html
A_szingularitas_kuszoben_split_122.html
A_szingularitas_kuszoben_split_123.html
A_szingularitas_kuszoben_split_124.html
A_szingularitas_kuszoben_split_125.html
A_szingularitas_kuszoben_split_126.html
A_szingularitas_kuszoben_split_127.html
A_szingularitas_kuszoben_split_128.html
A_szingularitas_kuszoben_split_129.html
A_szingularitas_kuszoben_split_130.html
A_szingularitas_kuszoben_split_131.html
A_szingularitas_kuszoben_split_132.html
A_szingularitas_kuszoben_split_133.html
A_szingularitas_kuszoben_split_134.html
A_szingularitas_kuszoben_split_135.html
A_szingularitas_kuszoben_split_136.html
A_szingularitas_kuszoben_split_137.html
A_szingularitas_kuszoben_split_138.html
A_szingularitas_kuszoben_split_139.html
A_szingularitas_kuszoben_split_140.html
A_szingularitas_kuszoben_split_141.html
A_szingularitas_kuszoben_split_142.html
A_szingularitas_kuszoben_split_143.html
A_szingularitas_kuszoben_split_144.html
A_szingularitas_kuszoben_split_145.html
A_szingularitas_kuszoben_split_146.html