Telo nevrona (soma) deluje kot SEŠTEVALNIK: prejme signale od vseh drugih nevronov in jih sešteje. Prispevek vsakega nevrona pa se mora pred seštevkom v somi še pomnožiti z močjo sinaptične vezi. Narava sinaptične vezi (njena prepustnost in "predznak") namreč odloča o tem, kako velik bo vpliv določenega oddajnega nevrona na sprejemni nevron. Sinaptična vez lahko zavira prenos signalov (negativen predznak) ali pa ga vzpodbuja (pozitiven predznak).

MATEMATIČNI ZAPIS: Stanje nevrona z indeksom i, ki ga označimo s spremenljivko Q_i, se določa po naslednjem obrazcu:

Q_j opisuje stanje j-tega oddajnega nevrona, J_ij pa moč sinaptične vezi med oddajnim nevronom z indeksom j in prejemnim nevronom z indeksom i. N je število nevronov. Oznaka Σ pomeni vsoto izraza, ki stoji za znakom.

Indeks vsote j je tekel od 1 do N. Znak SGN pomeni, da je rezultat, pri nas Q_i, enak +1, če je zgornja vsota večja od določenega praga, ali je enak –1, če je zgornja vsota manjša od praga. PRAG T_i nevrona i je določena mejna vrednost, ki mora biti presežena, da se nevron vzburi. Funkcija SGN (signum = (pred)znak) torej prejemnemu nevronu odredi predznak vsote signalov oddajnih nevronov.

Takšna enačba velja za vse nevrone, za vsakega posebej. Stanje nevrona je torej določeno z vsoto signalov vseh drugih nevronov, "uteženih" z jakostmi sinaptičnih vezi. Q_i ima vrednost +1, če je nevron aktiven (vzburjen); vrednost –1 pa ima, če je neaktiven (nevzburjen). Stanje vezi J_ij ima lahko različne celoštevilčne vrednosti: pozitivne do +P in negativne do –P, če je P število hkrati shranjenih vzorcev v mreži.

Nevroni si torej pošiljajo elektrokemične signale po načelu "vsi za enega, eden za vse", pozitivni in negativni smisel oziroma pomen tega signala ter njegovo moč pa daje vrednost vezi. Vez "obarva" signal tako, da prvi nevron lahko drugega podpira pri njegovem trenutnem stanju (če pozitivna vez) ali poskuša aktivirati nevron, če je bil prej neaktiven, ali obratno – deaktivirati aktivnega (če negativna vez). Če namreč seštevek prispevkov, ki jih prejme nevron od drugih, preseže določeno vrednost, ki se imenuje PRAG nevrona, bo nevron aktiven. Če pa vsota impulzov ne preseže praga, bo nevron neaktiven. Če je nevron aktiven oziroma vzburjen, bo oddajal signale.

Posamezni signali (konice) so razvrščeni v zaporedja ("glavnik"). Frekvenca ali pogostost sunkov (konic) nosi kvantitativno informacijsko vrednost (frekvenčna modulacija). Moč signala je namreč zakodirana v frekvenci: čim gostejši je "glavnik", tem bolj vpliven je signal (Haken, 1991). Povprečna frekvenca signalov je okoli 50 Hz (50 signalov na sekundo). Dolžina serije impulzov je omejena s trajanjem določenega stanja oddajnega nevrona: če bo nevron prižgan dalj časa, bo tudi serija sunkov daljša in s tem bo moč nevronovega vpliva na druge sorazmerno večja. Informacijska vrednost v frekvenci signalov je torej v stalnem potrjevanju tekočega stanja nevrona. Nevron najprej pošlje en sunek, potem pa še druge, če je v tem času ostal vzburjen. Ko pa se mora zaradi pomanjkanja vhodnih impulzov ugasniti, preneha razpošiljati svoje izhodne impulze.

MATEMATIČNI ZAPIS: Stanje posameznega nevrona opišemo z Q_i. To je i-ta komponenta vektorja stanja Q. Vektor stanja opisuje trenutno nevronsko konfiguracijo. Vektor je vrstica števil, komponenta vektorja pa je posamezno število v tej vrstici. S celo vrstico Q opišemo stanje vse mreže (celotne nevronske konfiguracije), s posamezno komponento Q_i pa zaznamujemo stanje posameznega nevrona, ki sestavlja to konfiguracijo. Torej je Q = (Q₁, Q₂, Q₃, ..., Q_N) = npr. (+1, –1, –1, ..., +1).

(Opomba: oznake, kot npr. Q in V_k, so enakovredne oznakam npr. oz. , kot v slikah in matematičnih dodatkih.)

Odslej bomo obravnavali sistem nevronov po Hopfieldovem modelu (Hopfield, 1982), ki predvideva, da so vsi nevroni med seboj dvosmerno povezani v skladu s pravilom "vsi za enega, eden za vse". Ta model ni pripraven le kot model bioloških nevronskih mrež, temveč je precej podoben tudi modelom kvantnih mrež (kar bom obravnaval kasneje). V pravih nevronskih mrežah sicer ni vsak nevron neposredno povezan z vsakim drugim, vendar se tudi razredčena mreža vede skoraj tako, kot da bi bila vsepovezana. To je matematično-fizikalno dokazano (Palmer idr., 1991, str. 45–48; Peretto, 1992). Veliko število nevronov je gosto povezanih z velikim številom drugih nevronov. Kjer pa ni neposredne vezi, se povezava vzpostavlja prek posrednika. Bistveno je le to, da z vezmi tesno prepleten sistem nevronov tvori skupinsko organizirana stanja, ki so atraktorji oziroma potencialne vrtače v konfiguracijskem prostoru. Take konfiguracije, imenovane vzorci, pa so šele tiste strukture, od katerih so najbolj odvisni duševni procesi.

a1) Oblikovanje vzorca obraza (po učenju novega vzorca)
a2) Podoba energijsko-konfiguracijskega prostora
b1) Učenje oz. pomnjenje drugega obraza
b2) Sistem preide k drugemu atraktorju
c1) Podoba energijsko-konfiguracijskega prostora, ko sta shranjena dva vzorca
c2) Razpoznavanje prvega vzorca (že nekoč oblikovanega)
c3) Razpoznavanje (rekonstrukcija) drugega vzorca

Denimo, da mreža sprejemnih nevronov (senzorjev ali receptorjev) v očesu sprejme dražljaje iz okolja. Tako vzburjeni nevroni se prično usklajevati med seboj, vzburjenost pa se prenese v višje predele možganov, najprej v perceptorno (zaznavno) plast vidnega dela možganske skorje. Nastali vzorci v možganski skorji asociativno sodelujejo z drugimi vzorci... Proces usklajevanja med nevroni spremlja množično preklapljanje nevronov iz aktivnega v neaktivno stanje in obratno. Obenem se polnijo sinaptične vezi.

MATEMATIČNO to opišemo s spreminjanjem vektorja stanja Q in spreminjanjem matrike J, katere elementi pomenijo moči posamezne sinaptične vezi J_ij. Matrika je tabela števil velikosti N × N, ki vsebuje moč vseh vezi (N je število nevronov).

Proces spreminjanja moči vezi pri medsebojnem usklajevanju nevronov, ko dodajamo nove dražljaje, imenujemo UČENJE. Takrat se nevronske konfiguracije spreminjajo in sinaptične vezi, ki predstavljajo SPOMIN, se polnijo. To pa se dogaja vedno tako, da se ENERGIJA SISTEMA MANJŠA. Vzorec je tista konfiguracija, kjer ima energija vsaj lokalni minimum. Vzorec ustreza DNU potencialne vrtače, ki privlači vse druge sorodne konfiguracije z višjo energijo. Točka v konfiguracijskem prostoru, kjer je dno vrtače, se zato imenuje ATRAKTOR (privlačevalec). Torej se vse druge konfiguracije do ROBA potencialne vrtače v konfiguracijskem prostoru stekajo v vzorčno konfiguracijo. To pomeni, da se nevroni prižigajo in ugašajo tako, da bodo sčasoma oblikovali vzorčno konfiguracijo. Iz ene konfiguracije mreža prehaja v drugo konfiguracijo, dokler ne doseže vzorčne konfiguracije. Tam se proces ustavi, dokler nov dražljaj znova ne vzburi mreže. Pomembno je, da mreža po vrsti preleti konfiguracije, ki so si v konfiguracijskem prostoru sosednje. V konfiguracijskem prostoru pa večja stopnja bližine pomeni večjo stopnjo sorodnosti.

Oglejmo si proces na sliki 5. Stanje posameznega nevrona ponazarja posamezna točka ("piksel") na sliki. Lepo je vidno, kako sistem nevronov "preliva" neko konfiguracijo na levi, ki ne pomeni nič, v vzorčno konfiguracijo, ki predstavlja obraz. Spodaj lahko spremljamo dogajanje v konfiguracijsko-energijskem prostoru. Na naslednji vrsti slik in njim ustreznim diagramom konfiguracijskega prostora pa vidimo, da priklicu drugega obraza (drugega vzorca) iz spomina, ustreza spust v drugi atraktor. Zelo pomembno je, da se je medtem spremenila energijska površina! Nevronska mreža je zelo dinamičen sistem in prav stalno preoblikovanje stanja v konfiguracijsko-energijskem prostoru (spreminjanje konfiguracij in s tem energije sistema) daje možnost za oblikovanje in shranjevanje vedno novih vzorcev-atraktorjev.

Na sliki 5 smo videli, kako se ALI OBLIKUJE ALI REKONSTRUIRA VZOREC. Potencialni (energijski) prostor si lahko predstavljamo kot mehko blazino, ki ima plitke jame, trenutno nevronsko konfiguracijo pa kot težko kroglico, ki leži na tej blazini. Kroglica tam, kjer se nahaja, potencialno vrtačo še dodatno poglobi! Kaj pa je tisto, kar stanje sistema (kroglico) postavi v določeno konfiguracijo, torej v določeno točko v konfiguracijskem prostoru. To so ZUNANJI DRAŽLJAJI! Oni vsilijo prejemnim nevronov neko konfiguracijo vzburjenj, ki se potem širi v notranjost možganske nevronske mreže.

Lahko se pod vplivom okolja nek vzorec OBLIKUJE (KONSTRUIRA) NA NOVO tako, da nastane nova potencialna jama, če je ni bilo že prej, ker nekega predmeta še nikoli nismo videli. Če pa je bil vzorec že nekoč oblikovan in shranjen, pa se sedaj ASOCIATIVNO OBNOVI (REKONSTRUIRA). Vzburjenje, ki je nastalo ob vnovičnem zaznavanju nekega predmeta, je namreč enako ali vsaj zelo podobno vzburjenju, ki se je sprožilo takrat, ko je bil ta objekt prvič viden! Predmet je enak, zato na enak način vzburi nevrone. In ker je vse enako kot nekoč, se bo tudi vzorec nevronskih aktivnosti obnovil v tako obliko kot kdaj prej.

Za zaznavanje istega objekta v različnih časih (prvič, drugič, stotič) se torej OBLIKUJE ali OBNOVI ISTA potencialna jama – isti atraktor – isti vzorec! Tako zaznamo identičnost. Vsakokrat, ko vzorec zaznamo ali razpoznamo, pa si ga HKRATI tudi ZAPOMNIMO.

Nevronska mreža PRESLIKA SPECIFIČEN ZUNANJI DRAŽLJAJ V SPECIFIČEN VZOREC. To pomeni, da bo točno določen zunanji vzorec povzročil oblikovanje točno določene potencialne vrtače in da se bo nevronski sistem stabiliziral v dnu te specifične vrtače. Vendar pa v določeni potencialni vrtači pristanejo mnoge konfiguracije, ČE SO DOVOLJ PODOBNE VZORČNI. Biti dovolj podoben pomeni biti v območju privlaka vzorčnega atraktorja, ki je kot nekakšen lijak, v katerega se stekajo vse podobne konfiguracije! Torej sistem poišče NAJBLIŽJI atraktor konfiguracijskega prostora. Primer zlivanja v isto potencialno vrtačo vidimo na sliki 6.

Na tak način nevronska mreža RAZPOREJA STVARI V RAZREDE (klasificira). S tem tudi omogoča, da RAZPOZNAMO nek predmet tudi v malo DRUGAČNIH OKOLIŠČINAH, kot smo ga videvali dotlej. Tako lahko ugotovimo, da je torba, ki je obrnjena za določen kot ali pa drugače postavljena kot ponavadi, še vedno ista torba. Ponavljanje določenega vzorca poglablja njegovo potencialno vrtačo. Ob pogostem potrjevanju je vedno bolj močna in stabilna. Vendar pa zaznavanje zunanjega vzorca v novih okoliščinah spremlja tudi rahlo predrugačenje ustrezne notranje vzorčne konfiguracije. Vedno se notranji virtualni vzorec tvori skladno z optimalnim kompromisom in stopitvijo vseh možnih variant objekta ter okoliščin, v katerih se lahko pojavlja. Stari vzorec nekega objekta (izkušnja in PRIČAKOVANJE) se torej asociativno stopi in optimalno uskladi z novo informacijo o novem stanju tega objekta, ki jo prinašajo čutila. Nevronski vzorec se (pre)oblikuje na osnovi vplivov iz okolja, iz spomina (sistema vezi) in iz drugih centrov ter se tako obnovljen in popravljen znova shrani. RAZPOZNAVANJE vzorca je tako tudi identično z oblikovanjem, obnovitvijo in kratkotrajnim pomnjenjem v sistemu nevronov. DOLGOTRAJNO POMNJENJE pa zagotavlja sistem sinaptičnih VEZI. Za kratkotrajno pomnjenje so odgovorni predvsem nevronski bioelektrični procesi, za dolgotrajni spomin pa biokemične spremembe v sinapsah.

RAZUMEVANJE je v bistvu podobno RAZPOZNAVANJU. Pri razpoznavanju gre za proces na prvi ravni, ko se ZAZNAVA primerja z ožjim kontekstom in ko se zaznano opredeli in razloči. Razumevanje pa je enak proces na višji ravni, ko se razpoznani vzorec uvaja v širši kontekst in se usklajuje z vzorci višjega reda. Tako nov vzorec najprej še ni povezan z ničemer znanim, zato ga le "vzamemo na znanje". Potem pa najdemo zveze z drugimi vzorci in, če ti vzorci potrjujejo novega, rečemo, da smo (ga) razumeli. Proces razumevanja ali učenje je torej pogojen z usklajevanjem in preprosto navajanjem na nove informacije, "usedanjem" v potencialno vrtačo. Doživetje je poleg tega še čustveno-afektiven odziv na ozaveščenje. Predstava pa ima v nasprotju z zaznavo notranji izvor.

Posebno velja poudariti, da pojmi razpoznavanje vzorcev (uveljavljen pojem v teoriji nevronskih mrež), pričakovanje in razumevanje NE označujejo nujno ZAVESTNEGA razpoznavanja, pričakovanja, razumevanja (vsaj v računalniških simulacijah mrež ni zavesti v mreži sami). Ti pojmi zastopajo zgolj nevronske mehanizme, ki so v ozadju zavestnega kvalitativnega razpoznavanja, pričakovanja, razumevanja. Prav gotovo so v možganih mehanizmi, ki delujejo na zgoraj navedeni način, in tvorijo nujno procesualno osnovo zavestnemu razpoznavanju vzorcev ipd. Zavestno naravo tega procesiranja pa ni mogoče razložiti le z dinamiko (formalnih) nevronskih mrež. Opisana dinamika (formalne) nevronske mreže je na ravni podzavestnih mehanizmov. Navedeni mehanizmi so seveda izvedljivi z računalniškimi simulacijami, tudi avtorjevimi (Peruš, 1993).

Še naprej ostajamo pri Hopfieldovi mreži, za katero se je izkazalo, da ni dober model le za nevronsko mrežo, temveč je v precejšnji analogiji tudi s kvantnimi in drugimi mrežami formalnih nevronov.

Poglejmo, kako nevroni najdejo energijsko najbolj ugodno stanje. To je konfiguracija, kjer so med seboj optimalno usklajeni. Energija je namreč sorazmerna s stopnjo neravnovesja oziroma neusklajenosti nevronske populacije. Optimalno stanje lahko poiščejo edinole s stalnimi TRANSAKCIJAMI PREK VEZI.

MATEMATIČNA OBRAVNAVA: Označimo vzorec s spremenljivko V, v oklepaju pa na drugem mestu dodamo njegovo vrstno število: V_i^k podaja vlogo i-tega nevrona pri oblikovanju k-tega vzorca. Sedaj poskušajmo matematično zapisati Hebbovo pravilo.

Če gorita oba nevrona ( V_i^k = 1 in V_j^k = 1 ) ali če sta oba ugasnjena (–1, –1), se njuna vez J_ij ojači. Če pa en nevron gori, drugi pa ne (1, –1 oziroma –1, 1), vez slabi! To pravilo udejanja naslednja Hebbova formula:

Vzorčni nevroni so tisti nevroni, ki trenutno sodelujejo v oblikovanju enega samega vzorca. Vzorčna so taka nevronska stanja, ki minimizirajo energijo. Za vzorčni nevron velja enakost: V_i^k = Q_i.

Ojačenje vezi nastopi takrat, ko je prispevek sklopitve posameznega para vzorčnih nevronov pozitiven. Sklopitev je predstavljena s posameznim produktom v formuli (2). Do slabitve vezi pa pride takrat, ko je posamezni produkt negativen. Moč vezi J_ij je določena z vsoto takih sklopitev po vseh vzorcih, ki so hkrati spravljeni v sistemu. Število takih vzorcev je P.

Če sta stanji vezanih nevronov V_i^k in V_j^k v "službi" k-tega vzorca enakega predznaka, bosta prispevala k ojačenju stabilnosti tega vzorca v mreži. Če je njun predznak nasproten, pa ga bosta oslabila.

Vzorci se v sinaptičnih vezeh nalagajo drug na drugega. Vezi so določene lokalno s to (ne)usklajenostjo nevronov med seboj, globalno pa narekujejo (ne)stabilnost vse nevronske (vzorčne) konfiguracije. Lokalno torej nevroni tekmujejo med seboj; vsak bi rad prevladal in preklopil ostale. To mu uspe, če je najbolj usklajen z vsemi ostalimi in ima največ podpore preostalega sistema. Tedaj ima z ostalimi vzpodbujevalne vezi.

Globalno se prek nevronov posredno sklapljajo in tekmujejo celi vzorci. Tako se tudi prek posameznih dvobojev dveh športnikov ali ekip (dveh nevronov) "srečujeta dve državi" (dva vzorca).

MATEMATIČNA SHEMA: Slika 7 prikazuje na levi strani "naravno" podobo Hopfieldove nevronske mreže, desno pa funkcionalno shemo izgradnje spominske ali korelacijske matrike J po Hebbovem obrazcu (2). Njeni posamezni elementi J_ij predstavljajo sklopitev i-tega nevrona V_i^k in j-tega nevrona V_j^k znotraj določenega (k-tega) vzorca.

Razložili smo že, da je oblikovanje vzorcev-atraktorjev obenem shranjevanje oziroma pomnjenje. Vezi se med učenjem po obrazcu (2) polnijo s prispevki različnih vzorcev, medtem ko se nevroni usklajujejo. Tako se INFORMACIJA VZORCEV PARALELNO-DISTRIBUIRANO SHRANI V VREDNOSTIH VEZI. Vzorci so namreč razporejeni po vsem sistemu vezi – tako kot je, denimo, tudi vzorec 'Slovenec' ali bolje 'slovenska kultura' zastopan v vseh posameznih Slovencih oziroma razpet nanje.

Hkrati pa je isti član enega vzorca (Slovenec) lahko tudi član mnogih drugih vzorcev (šahovskega društva, sveta staršev, socialno-demokratske stranke, orkestra, delniške družbe X itd.). Skupnost članov (nevronov) osnuje neko kvalitativno novo organizacijo (vzorec) s posebnimi značilnostmi. Ta organizacija sodeluje z drugimi organizacijami in se z njimi povezuje v krovne organizacije (vzorce višjega reda). Človek (nevron) zastopa V RAZLIČNIH OKOLIŠČINAH (KONTEKSTIH) RAZLIČNE VLOGE (vzorce). Med šahisti šahira, med člani orkestra igra svoj instrument, na volitvah voli svojo stranko. Skupaj z drugimi ljudmi (drugimi nevroni) soodloča, kaj bo delal in kako se bo opredelil.

Pomnjenje v nevronski mreži je VSEBINSKO NASLOVLJIVO. Vsebinska naslovljivost pomeni v prispodobi, da bo človek, ko bo prišel med šahiste, igral šah, ker ga bo igra pritegnila. Cela vsebina se priklicuje z delno vsebino: tiste komponente vzorca, ki vzorec že udejanjajo, vlečejo tudi druge komponente vzorca, da bi ga začele udejanjati. Človeka, ki pride med šahiste, prav ti šahisti pritegnejo, da tudi sam prične šahirati.

Vsaka spominska enota oziroma njen priklic je delo celotne konfiguracije nevronov in vezi: vezi jih hranijo, nevroni pa skrbijo za ozaveščanje. T. i. SPOMINSKE SLEDI vzorcev ostanejo v sistemu vezi tudi, ko sistem nevronov preide k naslednjemu vzorcu. V nevronih ("v ZAVESTI", točneje v manifestalni zavesti) imamo lahko le en vzorec naenkrat, v vezeh (v SPOMINU ali v latentni zavesti) pa imamo lahko veliko vzorcev hkrati, vendar jih moramo PRIKLICATI IZ SPOMINA. S priklicem potegnemo shranjeni vzorec iz sistema vezi v sistem nevronov. Povod za to je navadno podoben zunanji dražljaj, ki vzburi receptorne nevrone, ki potem potegnejo še druge nevrone v svoj od zunaj vsiljeni vzorec. Lahko pa povod pride iz drugih možganskih podmrež (torej iz notranjosti, vendar iz zunanjosti glede na opazovano podmrežo).

Ponazorimo še s primerjavo s kroglico in blazino: Kroglica (nevronska konfiguracija) se nahaja lahko le na enem mestu na blazini (v potencialnem prostoru). Jam, ki jih je vse doslej že pustila v blazini (vzorcev, "vtisov"), pa je več. Zavedamo se in doživljamo trenutno le tisti vzorec, ki je v nevronih (takrat je V_k' = Q ).

INFORMACIJA je zakodirana v STANJU SISTEMA samega. Priklicati vsebino pomeni pripeljati sistem v določeno stanje (v določen vzorec). Do informacijske vsebine torej pridemo z rekonstrukcijo vzorca, torej informacijske "vsebine" same. Informacijska vsebina, stanje sistema in vzorec sovpadajo – so ena in ista stvar, videna z različnih zornih kotov oziroma v različnih kontekstih. (Pogoj za to je zavestna interpretacija stanja sistema, ki jo na tej stopnji še ne bom vključeval, kakor tudi ne propozicionalne vsebine, ki izhaja iz informacijske vsebine ob vključevanju interpretacij, kot jih pridaja osebni Jaz.)

Vzorec se POZABI, če se ustrezna potencialna vrtača zabriše. Razlogi so novi dražljaji, motnje, neujemanje z drugimi vzorci ali neusklajenost med nevroni iste konfiguracije. Tedaj vezi izgubljajo svojo moč in vzorci slabijo. Nasprotno se vzorci vedno bolj krepijo, če so pogosto potrjevani in obnavljani. Pri učenju za to poskrbi ponavljanje. Vzrok za pozabljanje pa je lahko tudi intervencija višjih nadzornih središč. Primera sta potlačitev in naravnanost k drugim vzorcem. Sorodni vzorci se lahko zmešajo (interferirajo) ali stapljajo. Vendar je najpogostejši razlog, da se vzorca ne moremo spomniti, nezmožnost njegove rekonstrukcije zaradi pomanjkljivega "ključa" – delne vsebine, ki je potrebna kot povod za obnovitev vse vsebine. Kot pozabljanje je torej treba razumeti nezmožnost priklica iz spomina (obnovitve atraktorja), ne pa dejanskega popolnega zabrisa atraktorja.

Nevron št. 1, ki odda svoj signal vsem drugim v mreži (št. 2 – N), s tem vpliva na njihovo stanje. Oni pa mu potem, ko so njegovo "voljo" vsak zase upoštevali skupaj z "voljami" vseh drugih nevronov, pošljejo vsak svoj signal nazaj. V tem impulzu je zastopano tako prejšnje stanje nevronov od št. 2 do N kot tudi njihovo upoštevanje vsebine nevrona št. 1. Začetni nevron potem sešteje te prispevke in ohrani svoje stanje, če ima dovolj podpore, sicer ga spremeni in odpošlje informacijo o novem stanju. Pravzaprav biološki nevroni lahko širijo svoj vpliv, če zberejo toliko pozitivnih prispevkov, da je presežena določena meja (prag), sicer morajo "biti tiho" in "zbirati točke". Ko nevron spet odda signal, se ves postopek ponovi in se tako nenehno ponavlja. Tukaj opisan krožni proces je le eden izmed mnogih; umetno je izvzet iz nerazdružljivega spleta.

Komur je ta nevronska kibernetika tuja, naj se spet spomni na družbene procese, posebno politične. Z nevronskimi mrežami so že modelirali volitve: Pri volitvah ali bolje REFERENDUMU lahko vsak državljan odda svoj glas (za ali proti). V modelu je zastopan z nevronom, ki je prižgan (za) ali ugasnjen (proti). Če nek politik oziroma nek predlog dobi dovolj glasov (vsota preseže prag), je ta predlog sprejet in se prične izvajati, sicer mora čakati na novo priložnost. Razlika je le v tem, da je tak režim v nevronski mreži zelo strog in "nesvoboden" za nevrone. V družbi pa imajo ljudje svojo notranjo vsebino in zavest, veliko več maneverskega prostora in s tem tudi svobodno voljo, ki je nevronske celice nimajo.

Na osnovi množičnega "dogovarjanja" med nevroni (nenehnega pošiljanja signalov, seštevanja teh signalov, primerjanja in prilagojevanja drug drugemu) se sčasoma izoblikujejo določeni vzorci. Izkaže se, da nekatere konfiguracije nevronskih stanj omogočajo večjo usklajenost. To pomeni, da se takrat, ko se ji sistem bliža (konvergira), energija sistema niža. Tako stabilno in dominantno konfiguracijo imenujemo vzorec. Sistem se uravnovesi tako, da poišče energijsko najbolj ugodne konfiguracije (vzorce) in se izmenično "poseda" po njih. En vzorec je aktualen (tisti v sistemu nevronov, ki sprejemajo tudi dražljaje iz okolja), drugi pa so spravljani v sistemu sinaps (v spominu).

Globalni proces oblikovanja vzorcev se prav tako izvaja CIKLIČNO in medsebojno usklajevalno. V naši primerjavi z družbo, bi lahko dejali, da se globalno izoblikuje nekaj političnih idej, programov, doktrin (vzorcev!), ki jih njihovi nosilci (stranke, podprte s svojimi pristaši – nevroni) propagirajo in usklajujejo z drugimi programi (drugimi vzorci). Namen tega usklajevanja je doseči optimalno rešitev v splošno družbeno korist (minimizacija energije sistema), ki bo omogočala najbolj primeren in ugoden razvoj.

Poglejmo sedaj ves proces po vrsti: Nevroni prejemajo vplive od zunaj (REALNOST) in od vseh notranjih vzorcev (PRIČAKOVANJE). V skladu z zahtevo po manjšanju energije sistema se izoblikujejo vzorci. Korelacije vzorcev določajo moč vezi (v primerjavi: strinjanje krepi medsebojni odnos). To dejstvo upošteva Hebbova učna formula (2). Stanja posameznih vezi in nevronov, ki jih te naveze vežejo, pa določajo energijo sistema.

T_i označuje vpliv nevronskega polja na i-ti nevron (vpliv družbe na posameznika ali pa tudi obratno). V drugi interpretaciji pa lahko T_i ponazarja prag nevrona, in sicer lasten prag ali takšen, kot mu ga dopuščajo drugi. To je v prispodobi meja, "do koder lahko posameznik gre", ne da bi nasprotoval družbi oziroma se ji moral ukloniti (ali pa bi se družba uklonila njemu).

Sekvenčni vzročni in paralelno-distribuirani procesi se v kompleksnih sistemih prepletajo oziroma IZMENIČNO VSEBUJEJO DRUG DRUGEGA. Lokalni vzročni procesi sestavljajo globalnega paralelno-distribuiranega, paralelno-distribuirani procesi pa se lahko spet sekvečno organizirajo. Primer za to so DINAMIČNA VZORČNA ZAPOREDJA, ko se vzorčne konfiguracije prelivajo iz ene v drugo. Tak zapovrstni proces je osnova za TOK MISLI. Zavesti seveda v tem modelu mikrostrukture mišljenja še vedno nimamo.

Paralelno-distribuiran sistem teži k vzorčni konfiguraciji. Najprej poskuša zasesti dno globje potencialne vrtače. Če pa take ni v bližini, se zadovolji z bolj plitko, morebiti le začasno. Če ima nevronska mreža simetrične vezi (sinapsa je v obe smeri enako prepustna: J_ij = J_ji), tedaj bo sistem zmogel oblikovati stabilne atraktorje. Če pa so vezi asimetrične, vzorci ne bodo stabilni in se bodo lahko celo gibali po konfiguracijskem prostoru. To pomeni, da se potencialna vrtača premika, oziroma da se (kar je v bistvu isto) vali po konfiguracijskem prostoru iz enega v drugi vzorec: en vzorec izgine, drugi nastane. Sistem lahko opiše periodične poti (po določenem času se sistem vrača v izhodiščno konfiguracijo), kvaziperiodične ali pa povsem kaotične poti.

Vzorčne konfiguracije same nosijo informacijski zapis, ki je ustrezen nekemu zunanjemu realnemu vzorcu. Vendar vzorci ne bi mogli nastajati na osnovi enostavnejših podatkov, ki jih večkrat razdrobljeno prejemajo posamezni (senzorni) nevroni, če se ne bi ti med seboj povezali in usklajevali. Prav tako vzorec ne bi mogel sodelovati pri oblikovanju kompleksnejših vzorcev, če ne bi bil v primerjalni zvezi z drugimi vzorci. Sam zase bi bil brez (sistemskega) pomena. Posebno moram poudariti, da na tej prvi stopnji govorim izključno o SISTEMSKEM pomenu – o pomenu stanja posameznega nevrona za dinamiko celotne mreže in obratno.

Vzorec-atraktor ima svojo vlogo le v ODNOSU DO DRUGIH VZORCEV-ATRAKTORJEV in navadnih konfiguracij. Njegovo mesto v tem naboru odnosov je razvidno iz energijsko-konfiguracijskega prostora. Vzorec ima večji sistemski pomen kot običajna konfiguracija, ker je BOLJ STABILEN. Bolj stabilen pa je zato, ker bolj VERNO ODSLIKAVA NEKO DEJANSKO SITUACIJO – v zunanjem svetu ali na bolj abstraktni notranji ravni. Ali povedano drugače: bolj je stabilen, ker je bolj usklajen z realnimi zunanjimi vzorci in z drugimi notranjimi vzorci! To pa se izraža v dejstvu, da je energija sistema nevronov manjša takrat, ko udejanja ta vzorec, zato mreža vselej teži k temu. Še enkrat poudarimo, da informacijsko vsebino vzorcem vtisne preslikava iz okolja, njihov sistemski pomen pa izhaja iz medsebojnih razmerij med vzorci in do okolja. Zunanji vzorci iz okolja imajo pravzaprav tako vlogo kot notranji vzorci-atraktorji, le da imajo večjo težo. Kajti če organizem ne bi upošteval zunanjih vzorcev, bi verjetno imel več škode, kot če ne bi upošteval notranjih.

Na sliki 8 sta naslikani dve konfiguraciji (označeni s kroglico), ki sta v RAZLIČNIH RAZMERJIH do drugih konfiguracij (drugih točk na vodoravni osi). Leva ni stabilna in jo sistem zavzame le prehodno, ker se je relief slučajno ravnokar preoblikoval in se sistem še ni uspel prilagoditi tej spremembi. V desni pa se sistem uravnovesi, zato je takšna konfiguracija posebno pomembna (vzorec). O tem pa odločajo druge konfiguracije (kot pri nekakšnih stalnih samodejnih volitvah).

O sistemskem pomenu vzorcev odloča torej z upoštevanjem (ne)usklajenosti nastali POTENCIALNI RELIEF (hribi in doline) v energijsko-konfiguracijskem prostoru. Taki minimumi ustanavljajo IMPLICITNI RED v nevronski mreži in ta je odgovoren za nadaljno izgradnjo virtualnih duševnih struktur. Podajmo implicitnost še natančneje: Na sliki 9 vidimo levo, da je sistem že v območju asociativnega privlaka in da se bo gotovo spuščal proti minimumu konfiguracijskega prostora, razen če bi se površina reliefa zaradi drugih vplivov medtem bistveno spremenila. V tem primeru je vzorec latentno (prikrito) že prisoten v sistemu nevronov: IMPLICITNO je vsebovan v vektorju stanja (Q), vendar je še pomešan s sledovi drugih vzorcev. Potem pa, ko sistem preide na dno potencialne vrtače (slika 9 desno), se določen vzorec razločno in jasno pojavi v zavesti. Tedaj je vzorec EKSPLICITNO manifestiran. Ta eksplicitna manifestacija pa je še posebno očitna, če se ob tem PRIŽGE PRIPADAJOČ KARDINALNI NEVRON. Tak kardinalni nevron kodira in predstavlja vzorec na NASLEDNJI HIERARHIČNI STOPNJI.

Ko je sistem V OBMOČJU PRIVLAKA ATRAKTORJA, ki ustreza vzorcu, tedaj je vzorec že IMPLICITNO zastopan v sistemu nevronov, ne le v spominu (v sistemu sinaptičnih vezi). Ko pa sistem nevronov doseže svoj atraktor in s tem realizira ta vzorec, tedaj se OBENEM OJAČA NA MAKSIMUM VREDNOST NJEGOVEGA KARDINALNEGA NEVRONA, če ima kardinalni nevron lahko več stopenj jakosti oziroma intenzitete aktivnosti. Če pa je lahko le aktiven ali neaktiven, potem se bo prav tedaj prižgal. S tem OZNAČUJE, da je v zavesti njemu ustrezni vzorec. Ko pošilja signale po možganih, NAZNANJA prisotnost svojega vzorca in ga s tem ZASTOPA. V aktivnosti kardinalnega nevrona je torej vzorec (ki je paralelno-distribuiran po mreži na nižji stopnji njene hierarhične strukture) EKSPLICITNO ZAKODIRAN v konkretnem materialnem stanju ene biološke celice.

Slika 9. Vzorec je implicitno zastopan, ko je sistem v območju njegovega privlaka (levo). Ko sistem doseže dno (desno), je v vzorec (črno-belo-črno-belo-črno-belo) v njem eksplicitno zastopan. To pa je lahko pospremljeno z vžigom kardinalnega nevrona C^k=2.

Zgoraj opisani proces se lahko interpretira uporabljajoč analogije oziroma posplošitve konceptov substance in akcidence v aristotelovskem smislu (tudi Brentano, 1973/1874). SUBSTANCA ustreza eksplicitno udejanjenemu vzorcu-atraktorju, ki je lahko zastopan tudi z aktivnostjo svojega kardinalnega nevrona. AKCIDENCA pa ustreza vzorcu, ki je implicitno prisoten znotraj območja privlaka drugega vzorca-atraktorja, imenovanega substanca. Navadno je akcidenca vzorec na višji ravni, ki zaobjema tudi substančni vzorec, denimo tako, da vsebuje njegov kardinalni nevron kot element svoje konfiguracije. Vendar pa akcidenčni vzorci temeljijo in obstajajo na osnovi substančnih vzorcev in ne obratno (Potrč, 1993b; podrobnosti o tej analogiji v: Peruš, 1994).

Za duševne procese je torej pomembno stalno prehajanje konfiguracij iz implicitne zastopanosti v sistemu sinaptičnih vezi (spomina) v eksplicitno udejanjenje v sistemu nevronov ("v zavest") ali obratno. Implicitnost pomeni NABOR VSEH MOŽNOSTI, iz katerega okolje selektivno poudarja tisto, kar je trenutno aktualno, ter to vsebino "povleče" v eksplicitno "doživetje". Implicitno ozadje vselej vpliva na zavest, saj prav implicitni kontekst določa OBLIKO POTENCIALNE VRTAČE in konfiguracijo, v kateri je trenutno njeno TEŽIŠČE. Spet moram poudariti, da so omenjeni procesi nujno procesualno ozadje za pojav intencionalne zavesti oziroma doživljanja, vendar slednja pojava vsebujeta še precej več kot le opisane nevronske procese, in ta več je še neznanka. Zato uporabljam narekovaje pri omembi kvalitativnih pojavov za prvo osebo.

Nabor vseh možnosti ne pomeni dobesedno, da imamo v možganih že vnaprej pripravljene vse možne slike in situacije, v vseh detajlih. V spominu imamo le ABSTRAKTNI MODEL, zgrajen na najosnovnejših značilnostih preteklih izkušenj. V njem je vsaka stvar zastopana samo enkrat. Stvari, ki se ponavljajo ali so si podobne, so avtomatično zakodirane z "idealnimi" skupnimi lastnostmi teh stvari ter z dodatno informacijo o specifičnostih. Za konkretno "doživetje" pa ni dovolj le priklic vzorcev iz tega spominskega modela in tudi ne samo vpliv okolja, temveč SUPERPOZICIJA OBOJEGA!

Iz tega podpoglavja je tudi razvidna zveza in "prehajanje" med nelokaliziranimi paralelno-distribuiranimi vzorci in lokaliziranimi kardinalnimi nevroni (če obstajajo). Če kdo trdi, da je odkril celice, ki nosijo določeno informacijo, tedaj gre za kardinalne nevrone. Vendar pa ti nikakor ne morejo operirati s to informacijo sami, temveč le v DINAMIČNEM SODELOVANJU s svojimi baznimi vzorci. Samo ti mu namreč s svojo podporo omogočajo, da presega prag aktivnosti.

Kardinalnih nevronov torej ne smemo jemati preveč resno v smislu njihove avtonomnosti, saj nimajo točno opredeljene vloge. Vlogo dobijo glede na aktualno sistemsko dinamiko, tako da je spremenljiva in različna v različnih okoliščinah. Kardinalni nevroni so bolj jasno definirani na nižjih ravneh (integrativni nevroni), na višjih pa njihovo kodirno funkcijo prevzamejo kardinalne domene in virtualni parametri urejenosti.

Nekdo se sprehaja po veleblagovnici. Na polici opazi sadež. (Oblikuje se specifična konfiguracija v nevronih.) Pomišlja, kaj je to, ali ga ni že nekoč videl. (Konfiguracija, ki jo trenutno oblikuje sistem nevronov, se poskuša uskladiti s spominskimi vzorci. Relief konfiguracijsko-potencialnega prostora se spreminja.) Ugotovi, da tega sadeža še ni videl. (Sistem ne zasede nobene potencialne vrtače. Rahlo se zasnuje nova plitka potencialna vdolbina.) Neznani sadež ga spominja na breskev. (Sistem za hip preskoči iz prešnje konfiguracije v najbližji, pravkar asociativno obnovljeni vzorec, ki je ustrezen breskvi.) Vendar je površina sadeža nenavadno gladka, kar ni značilno za breskev. (Vzorec ustrezen gladkosti, ki je nastal v podmreži nevronov pristojnih za tip v primarni projekcijski plasti možganske skorje, s svojim vplivom prispeva k zabrisu vzorca ustreznega breskvi v sekundarni plasti skorje.) Ali je neke vrste breskev ali nekakšna velika marelica. (Sistem zaniha med dvema enako globokima atraktorjema.) Verjetno je križanec med breskvijo in marelico. (Prejšnja atraktorja se rahlo stopita v nov skupni atraktor, ki še ni preveč globok.)

Sedaj se kupec odloči, da bo vprašal prodajalko. (Konfiguracija, ki je linearna kombinacija dveh breskvi oziroma marelici ustreznih konfiguracij, se iz sistema nevronov prenese v sistem sinaptičnih vezi, kjer se nov vzorec shrani. Sistem nevronov nato hitro preleti množico vzorcev v različnih predelih in na različnih stopnjah, ki so ustrezni prodajalki, govorni artikulaciji itd.) Prodajalka mu odgovori: "To je nektarina, križanec med marelico in breskvijo." (Drugi del stavka povzroči, da se prej nastali atraktor, ki je ustrezen linearni kombinaciji marelica-breskev zelo poglobi. Prvi del odgovora pa zasnuje nov vzorec v predelu skorje, ki pripada slušni oziroma posredno govorni dejavnosti. Takoj zatem se oba vzorca v terciarnih asociativnih predelih skorje, imenovanih področja prekrivanja, integrirata v nov vzorec višjega reda, ki predstavlja naslednji asociativni kompleks: breskev-marelica – videz nektarine – beseda "nektarina" – razni drugi pripadajoči vzorci.)

Zadnji korak moramo obravnavati malo natančneje. Kupec (oziroma njegovi možgani) je vidni vzorec nektarine in slušni vzorec besede "nektarina" asociativno povezal v nov vzorec višjega reda. Odslej bosta vizualni vzorec za nektarino in verbalni vzorec za besedo "nektarina" pogojevala drug drugega. Vedno, ko bo kupec slišal besedo "nektarina", se bo hkrati priklical tudi vidni vzorec – lik nektarine. In obratno. Morebiti pa se bodo ob tem asociativno rekonstruirali tudi drugi spremljajoči vzorci (npr. slika veleblagovnice; epizodni spominski vzorec: film, kako tipa sadež, kako mu prodajalka odgovarja itd.). Zato bo mogoče nekdanji kupec nekoč, ko bo slišal besedo "nektarina", zbrani družbi povedal svojo zgodbo seznanjenja z nektarinami, ker se bo "spomnil nanjo" – asociativno bo obnovil ves niz vzorcev, potem ko bo spominsko informacijo pretvoril v propozicionalno (in predikatno) obliko.

Seveda je bila ta ponazoritev prepoznavnega procesa, ki je osnova bolj zapletenega procesa spoznavanja, zelo skopa in omejena le na najosnovnejše dogodke. V resnici se poleg osrednjih vzorcev prestrukturirajo množice prelivajočih vzorcev, ki jih pozornost selekcionira: loči ozadje od osrednjega lika itd.

Poskušali bomo poljudno in nazorno prikazati princip asociativnega delovanja nevronske mreže na preprostem primeru "nižjega reda". Zamislimo si naše vzorce povezane v nekem vsebinskem okolju: na primer v križanki (slika 10). Denimo, da naše vzorce (črke) v tem primeru predstavljajo posplošeni nevroni. Kasneje bomo opravičili to potezo, ko bomo pokazali, da lahko modeliramo vzorce nižjega reda kot posplošene nevrone, ki sestavljajo vzorec naslednjega višjega reda sestavljenosti in abstrakcije. Odslej s to posplošitvijo pomeni nevron mesto v križanki, vzorec pa celo linijo v križanki.

Ista črka (posplošeni nevron) je sestavni del dveh različnih besed (vzorcev). Če bi imeli tridimenzionalno (kockasto) križanko, bi bila ista črka del treh besed, v N-dimenzionalni (hiperkockasti) križanki pa del N-tih besed. Tudi simetrična asociativna nevronska mreža je takšna "hiperkocka", ki pa se tam, ko se konča, pravzaprav nadaljuje – znova začenja. Ker je torej topološko sama vase zaokrožena kot "hipersfera" ali "hiperprostor", nima roba.

V običajni dvodimenzionalni križanki je vsako polje del dveh linij. V vsako polje lahko vpišemo vsebino (črko), ki je glede na kontekst (sosednja polja) sestavni del dveh različnih vsebin višjega reda – dveh besed: smiselnih ali takih brez pomena. Uporabimo sedaj križanko kot analogijo za nevronsko mrežo: V dvodimenzionalni križanki je vsako polje (posplošeni nevron) za posamezno črko (vsebino nevrona – nevronsko stanje) sestavni del dveh linij (konfiguracij), ki lahko predstavljata smiselno vsebino (vzorec) ali pa ne (kakršnakoli druga konfiguracija nevronov).

Prenesimo sedaj to v N-dimenzionalno križanko in dodajmo zahtevo, naj se robovi sklapljajo in besede nadaljujejo (npr. najvišja črka šestega stolpca je sosednja črka najnižji črki šestega stolpca; enako velja za vse linije, tudi vrstice). Tedaj imamo nekakšno nevronsko mrežo – prvi približek, ki mu še nekaj manjka.

Delovanje nevronske mreže si seveda ne moremo predstavljati kot križanko samo, temveč le kot reševanje te križanke – kot živ proces! Vedno, ko zapolnimo določeno mesto in s tem dopolnimo eno besedo, hkrati dopolnimo tudi drugo besedo. Seveda rešitev ni pravilna, če črka ne ustreza obema besedama. Vendar ko križanko rešujemo, vedno popolnimo najprej eno besedo in šele potem ugotavljamo smiselnost popolnitve tudi za drugo besedo, ki je pravokotna na prvo. Tak način pa nam omogoča še nekaj več: Če poznamo le eno besedo, druge pa ne, lahko na podlagi prve besede deloma (v eni črki) popolnimo drugo besedo. Seveda, če nam določena beseda sploh ni znana, potrebujemo za njeno razkritje po tej metodi znanje o večini drugih besed po vsej križanki, najbolj pa v okolici iskane besede.

Reševanje križanke je lep, nazoren prikaz asociativnega delovanja nevronske mreže! Iz nepopolnega znanja asociativno rekonstruiramo celotno vsebino. Iz znanih vsebin dobimo asociacijo na še neznane informacije tako, da zapolnimo skupna polja. Značilno je, da križanko vedno rešujemo postopoma in besede izpopolnjujemo vedno iz ene smeri. Tako tudi nevronska mreža sprejema informacije postopoma po delih in jih sčasoma združi v celovito sliko. Ko celovite slike še nimamo, vsebino dojemamo le v določeni smeri – z določenega zornega kota! Potem pa se naenkrat sintezira ves mozaik, ki vsebuje vse posamezne lokalne vsebine.

Slika 10. Sama vase zaokrožena križanka

Vendar pa nevronska mreža pomeni še precej več. Primerjava s križanko velja le za LOKALNE simetrične asociativne nevronske mreže, kjer so nevroni (polja s črkami) povezani dvosmerno le s svojimi najbližjimi SOSEDI. Prava GLOBALNA simetrična asociativna nevronska mreža z načelom "vsi za enega, eden za vse" pa je N-DIMENZIONALNA, SAMA VASE ZAOKROŽENA KRIŽANKA, kjer N ni dimenzija križanke (število druga na drugo pravokotnih linij), temveč je N število nevronov. To pomeni, da je VSAKO polje sosednje vsakemu drugemu polju (vsak nevron je povezan z vsakim). Vsaka črka mora torej biti del vseh ostalih besed v križanki (vsak nevron sodeluje pri oblikovanju vseh ostalih vzorcev v mreži). To bi bil idealen primer shranjevanja informacij, ki se mu v praksi lahko bolj ali manj približamo.

Z našo primerjavo lahko sledimo prehodu iz nižjega (dvo-/tridimenzionalnega) realnega prostora v višji (N-dimenzionalni) abstraktni prostor. Pri križanki je N število vrstic ali stolpcev (besed), pri pravi globalni nevronski mreži pa je N število nevronov (ne vzorcev). To pomeni, da v nekem smislu nevron v taki mreži nadomešča VES VZOREC, vendar nikoli sam zase, temveč le, če je povezan v mrežo z vsemi drugimi nevroni. To dejstvo je zajeto v geslu "vse v enem, eno v vsem". Prvi del stavka zase ali drugi del stavka zase sta absurdna, le skupaj sta smiselna. Nevron, ki ga v naši "lokalni" primerjavi zastopa vsa linija križanke, je v bistvu nevron z vsem svojim kontekstom (s stanji drugih nevronov). Nevron sam zase namreč ni niti en del, temveč je nič. V mreži pa s svojim konkretnim stanjem, ki je v relaciji konteksta z vsemi drugimi nevroni, sooblikuje vso informacijo (celo več vzorcev hkrati).

Primerjava s križanko lepo kaže pomen dvojnosti nevronske mreže: v križanki so pomembna polja in ODNOS sosednosti med polji; podobno ima nevronska mreža nevrone in sinaptične vezi med nevroni. V nasprotju s križanko imajo vezi prave nevronske mreže lastne KVANTITATIVNE vrednosti, tako da so v bistvu vezi tiste, ki hranijo informacijo. Nevronska mreža ima tudi v nevronih številske vrednosti, nima pa celih vzorcev (denimo črk). Zato pa primerjava s križanko vzdrži na višjem nivoju, kjer imajo VZORCI, ki že sami nosijo vsebino, STATUS POSPLOŠENIH NEVRONOV (ustrezajo črkam križanke). Posplošene vezi pa navadno nimajo svoje lastne (intencionalne) informacijske vsebine, temveč kvečjemu polarne kvantitativne "vsebine" ("kodirajo" npr. stopnjo ujemanja ali podobnosti oziroma neujemanja ipd.).

Pravokotnost vrstic in stolpcev križanke in ortogonalnost vzorcev v mreži

Kot smo že opozorili, imamo še eno zelo pomembno razliko med pravo nevronsko mrežo in našim modelom-križanko: mreža je "živa", procesualna. Prava globalna nevronska mreža je torej precej bolj kompleksna kot vase zaokrožena N-dimenzionalna križanka, vendar je primerjava z križanko zelo nazorna in koristna še za razlago mnogih lastnosti nevronskega sistema. Zato bomo obravnavo še gradili na tej analogiji.

Najprej ORTOGONALNOST. To je pravokotnost v abstraktnem prostoru. N-dimenzionalna križanka ima pravokotne linije, ki ustrezajo besedam (vzorcem). V naši primerjavi različne kombinacije črk v poljih križanke predstavljajo različne konfiguracije nevronov v mreži. Vsaka takšna kombinacija črk (nevronskih stanj) ponazarja točko v konfiguracijskem prostoru. Imenujmo vsebino vse mreže ali križanke vzorec, posamezno besedo v tem širšem okviru (kot je označena na sliki 10) pa lokalni podvzorec. Dva pravokotna podvzorca v križanki delita skupno črko (nevron), vendar se tedaj NE MOTITA, ker lahko razberemo vsakega zase glede na SMER BRANJA (glede na izbiro konteksta). Podobno kot z geometrično pravokotnostjo v križanki lahko v mreži NEODVISNO razločujemo ORTOGONALNE (POD)VZORCE. Ortogonalni (pod)vzorci so takšni, ki so si pravokotni v konfiguracijskem prostoru. Njim ustrezni vektorji so si namreč pravokotni: skalarni produkt je enak nič.

Naša primerjava je temeljila na poistovetenju polj križanke s posplošenimi nevroni (črkami, ki so sicer vzorci nižjega reda). Vendar pa primerjava ne velja le za takšne mreže vzorcev oziroma posplošenih nevronov na malo višji ravni, ki že nosijo sami neko lastno samostojno vsebino (črke). Primerjavo lahko razširimo tudi na biološko nevronsko mrežo, kjer pa bi polja križanke poistovetili z močmi sinaptičnih vezi. Vezi namreč vsebujejo posamezne korelacije nevronskih stanj. V vezi se nalagajo vzorci spomina eden na drugega tako, da posamezna vez sodeluje pri oblikovanju več spominskih vzorcev hkrati. To je tako kot pri križanki, kjer polje (vez) sodeluje pri sestavi dveh besed hkrati. Vsako polje korelira eno črko iz obeh besed: tista črka, ki zapolni polje križanke, torej odraža korelacijo obeh besed, ker je skupna obema besedama.

Vidimo, da je asociativna nevronska mreža zelo mnogotera. Oblikuje mnogo vzorcev hkrati, in sicer v več plasteh. Polja križanke smo prvič lahko poistovetili z vzorci (črkami) kot posplošenimi nevroni malo višjega reda, ki že nosijo lastno vsebino. Drugič pa smo mesta v križanki poistovetili z močmi sinaptičnih vezi, ki same resda ne nosijo lastne vsebine (kjer primerjava ne drži več), temveč sooblikuje določen spominski vzorec šele ves sistem posameznih sinaps.

To nekoliko težko razumljivo mnogoterost in večstranskost ponazarjajo slike dvovalentnih vzorcev (slika 11). Na sliki levo lahko zaznamo črki M in Y, ki ustvarjata druga drugo, na srednji sliki pa belo in črno puščico, ki se sodoločata. V "arabeski" desno lahko zaznamo množico različnih vzorcev (peterokotniki različnih orientacij, koncentrični krogi, križci itd.), ki omejujejo drug drugega. Naš prepoznavni aparat preskakuje od enega vzorca do drugega. Na tak zgoščen in "ekonomičen" način tudi nevronska mreža shranjuje vzorce, da sodoločajo drug drugega.