在认知科学的研究之中，我们把人脑的认知作为认知系统的典型代表，但是研究动物的认知过程，对于理解人的认知是有很大帮助的，甚至是必不可少的。按照短桥原理，关于动物认知的知识可以为我们准备离人脑认知岛屿比较近的小岛。这就像我们看到一个机械产品，对于缺乏工业常识的人来说，想出这个产品的制造过程几乎是不可能的，但是如果我们已经了解很多基本的加工过程，例如铸造、锻压、冲压、焊接、切削、注塑、吹塑等各种加工工艺，就可以很容易地编出这个产品的全部制造工序。研究动物行为的有利条件是，动物的本能行为和学习过程都比人要简单得多，使我们比较容易找出一些基本的低层次的原理，由于动物的种类很多，复杂程度也不同，使我们有可能从低到高逐步地理解这些原理的进化过程。而且由于人是由动物进化而来的，而进化又是一个积累过程，所以我们有理由认为动物的一些认知机理在人的认知过程之中仍然起作用。通过对动物认知的理解，不仅可以从人与动物的相似之处使人的认知更容易理解，而且可以从人与动物的相异之处使这种理解更加深化。关于低层次认知的知识不仅为组建高层次认知提供基础，而且也能突出高层次认知比起低层次认知的超越之处。
与人相比较，动物的行为之中本能的成分较多而学习的能力较差。本能与学习的最大区别在于，本能是生物个体通过遗传基因获得的行为能力或行为方式，而学习则是通过后天的学习得到的行为能力或行为方式。本能是遗传的而学习的结果是不遗传的。但是要区分本能与学习并不总是很容易的，二者之间很有些纠缠不清的关系。首先，我们不能简单地根据出生时不具备某种能力就判断这种能力不是本能而是学习得到的，因为生物的发育在出生后并未停止，遗传基因里的程序可能到老都还在起作用。我们需要通过一种行为方式与遗传的关系，例如在同一个属中的不同种之间具有类似或相同的行为方式来区别本能和学习，有时也可以采用对生物隔离学习条件来判断一种行为方式是本能还是学习结果。本能与学习之间往往有密不可分的关系，对于任何一种学习来说，都必须以本能作为基础，本能为学习提供低层次的信息处理，提供学习算法，提供方向性的规定(评价准则)。按照短桥原理，任何学习都不可能从白纸开始，需要一系列的先决条件，这些条件在一开始只能由本能提供，其后有一部分可能由前期的学习提供，但本能的部分仍是不可缺少的，本能决定了大部分的学习机理，而这种机理是比较稳定而深层的，不像学习内容那样容易发生变化，因此对于学习的研究中与本能有关的部分更值得重视。反过来说，有些明显属于本能的行为，在发育过程中却离不开学习，例如猫捉老鼠的动作，在猫科动物中基本上是类似的，可以说是一种本能，但是猫在成长过程中总是不断用游戏的方式来练习这个动作，这是由于跳扑动作的准确与猫的动力学特性例如质量和肌肉弹跳力有密切关系，而猫的胖瘦却是基因所无法完全规定的，在这种情况下基本行为方式虽然是遗传的，但其中的部分参数却需要通过学习进行修正。人的直立行走也是一种本能，但是也需要一定程度的学习才能实现这种本能，如果失去学习的机会，人也会像“狼孩”那样只会爬行。
为了探讨本能的一些性质，我们观察一种简单的单细胞生物草履虫的运动方式。生物学家对草履虫看起来毫无规律的运动进行了详细的研究，把草履虫的运动总结成几条规则。草履虫在正常情况下作直线运动，食物越丰富则速度越慢，当它碰到障碍物时，先后退一段距离，再随机地转一个方向，然后继续作直线的前进运动。这几条规则极为简单，以至于对于计算机的初学者来说，编一个很短的程序，在计算机屏幕上模拟草履虫的运动也是不困难的。从进化的似目的论的角度来看，这几条规则使草履虫成为一个“适者”，缺少其中任何一条都会使草履虫的适应度下降。第一条作直线运动是非常重要的，如果运动不是直线而是有一个固定的曲率，那么草履虫会在没有障碍的情况下作圆周运动，当圆周轨迹上的食物吃光之后，草履虫只好饿死了。草履虫保证其直线运动的机制也是很有趣的，草履虫前进的同时作着自旋的动作，产生自旋的原因估计是鞭毛的旋转运动的反作用力。如果没有自旋，草履虫体型极小的不对称性也会引起前进的偏向，形成圆周运动，而草履虫又确实是不对称的，口长在身体的一侧，自旋自动地抵消了不对称的偏转，使草履虫作直线运动。食物越丰富速度越慢则使草履虫较长时间呆在食物丰富的地区。假设在计算机屏幕上模拟很多草履虫，如果没有这条规则，可以看到草履虫在屏幕上
分布比较均匀，而加上这条规则，再在屏幕上设定一些食物丰富的地区，就会看到在食物丰富的地方草履虫密度较大，就如同堵车的地方车比较多一样。在碰到障碍时如果不后退，就地改一个方向再前进的话，有很大的概率是再碰在同一个障碍物上，如果后退之后不是随机地而是旋转一个固定角度，那么在某些特定的环境中草履虫的运动轨迹也有可能陷入无限循环而无法逃脱。在生物的本能行为、学习乃至进化过程中，随机的变化或变异经常是需要的，我们通常对这种随机信息的来源不作深入探讨，这种随机信息到底是真的随机还是像计算机里制造的那种伪随机，还是由混沌现象产生的像随机的东西，都无所谓，我们更注意选择。但是混沌理论无疑为我们提供了一个产生随机信息的容易实现的简便方法，使得在生物中随机信息的产生有了更令人信服的根据。
从进化的眼光看，本能具有适应的性质是理所当然的，随着不适应的个体被淘汰，产生不适应本能的基因也被淘汰，因此任何一种本能，包括支持学习的本能，都必须是适应性的。它们不应使持有这种本能的生物成为不适者。换句话说，本能与生物的其他性状一样，是源于进化的。本能的另一个性质是其机械性，这一点并不像适应性那么一目了然。草履虫的运动是相当机械的，按照上述的几条规则我们可以制作像草履虫那样漫游的机械玩具。但是草履虫毕竟太简单了，更复杂的动物本能往往显得不那么机械，但是如果考虑到本能必须由基因来决定的话，其复杂性显然是受某种限制的。我们平时观察到的像蜜蜂筑巢或蜘蛛结网这种精妙的本能，经过生物学家的研究和分析，往往会被简化成有限的几条规则，以至于我们情不自禁地感到有相同能力的机器并不那么难做，难怪笛卡尔要把动物看成是自动机器，这不仅有形而上学的理由，可能也包括敏锐的直觉。生物本能的另一个性质是其主动性。在草履虫这样简单的例子中，也可以看到一种不撞南墙不回头的劲头，草履虫首先要运动，才可能碰上障碍物，这与常见的刺激——反应模型(S—R模型)有点不一样，生物通常不是坐等刺激来临，而是主动地寻求刺激，这一点是在构筑或分析认知系统时不能忽视的。
草履虫能不能学习，这一点在生物学界可能有不同的看法，但我们前面所讨论的模型是不包含学习过程的，下面我们看一个蜜蜂学习颜色的简单例子。生物学家对蜜蜂的辨色能力进行过详细的研究，基本的实验方法是，在一个桌子上放上盛着糖水的透明盘，通过改变照明或色纸的方法可以任意设定盘的颜色，在蜜蜂吸过糖水之后拿掉糖水，看蜜蜂第二次来时是否还落在原来的颜色上。为了排除其他因素例如位置、气味等影响，实验比上面说的要复杂一些。实验的结果是，蜜蜂确实有辨色的能力，比较容易学习的是黄色和紫色，对绿色和紫外线不敏感；学习发生在吸蜜之前的0.5~3秒之间；学习之后的记忆时间随吸蜜次数增加而增加，一次吸蜜的记忆时间约为一天，三次吸蜜之后可以记忆十几天以上。这种学习方法的主动性是显而易见的，蜜蜂如果不出去采蜜学习是无法进行的。适应性也比较明显，对绿色不敏感是由于叶子都是绿色的，相当于背景，而紫外线是天空的颜色，蜜蜂可以看到紫外线，但主要用于靠太阳的位置进行长距离导航，而对花的颜色的反应则用于近距离寻找目标，不应混淆。对于吸蜜之前0.5秒至3秒的颜色进行记忆是由于这一段时间恰恰是蜜蜂进行寻蜜的短距导航和着陆的时机，也就是说把颜色与使用的场合(Context)信息正确地结合起来。由此可知，对于有效的学习来说，必须由本能提供严格的学习范围、学习时机和学习方法。这里也体现了短桥原理。
关于蜜蜂对于颜色的学习似乎也可以找到非常机械的学习算法，这就是在吸到蜜时记住0.5秒至3秒之间所看到的颜色，并在下次吸蜜之前用这个颜色作为导航目标。为此需要一个短时的寄存器，眼睛所看到的颜色经过0.5秒的时间延迟送到寄存器去，在寄存器里过2.5秒自动消失。一旦吸到蜜时，把寄存器里的色信号转移到长期存储器中去，下次采蜜时随时比较已经记住的色信号与看到的色点，当二者一致时，把色点作为导航标志飞向这个色点。由于蜜蜂是四面八方都看得见的，还需要规定所学的颜色是前下方看到的颜色。上述这种算法对于蜜蜂的辨色学习来说实际上是不够的，它无法解释为什么吸蜜次数多了记忆时间就长。这种算法更接近另一种学习，也就是生物学中所熟知的“印痕”(Imprinting)学习。很多动物在出生后不久，就会记住自己的母亲，并且凭着这种记忆随时跟随自己的母亲行动。这种学习是不靠赏罚的，不需要吸蜜这种外部刺激，而是完全靠时间程序的，即出生后的某一时间区间所看到的运动物体，将被记住作为追随行动的目标。生物学家用比较严格的实验方法测定出野鸭的印痕学习期是孵化之后13～16小时。印痕学习的记忆是终生不忘的，所记的知识不一定像追随运动那样当时使用，例如对于求偶对象的识别是靠出生不久的记忆，而这个识别的知识要到性成熟之后才被使用。像鲑鱼或鲟鳇鱼这类在河流上游产卵而在大海中长大的鱼也是靠印痕的学习方法记住“祖河”的气味，待长成之后凭这种气味(水味?)再回到“祖河”里产卵。这种学习本能当然也是适应的，如果误入其他河流，可能找不到合适的产卵水域，或者由于误入者太少而找不到配偶，而在“祖河”里不会遇到这种困难。印痕学习也需要本能的支持，由本能规定记忆的时间、目标选择所依据的特征、要记忆的特征、启用记忆的时机和方法等等。因此任何有成效的学习都必须立足于足够的“先验知识”之上。
为了更合理地解释蜜蜂对颜色的学习过程，我们需要一个更完善的学习模型，这就是进化稳定学习(ES学习)模型。这个模型最基本的原则是，学习的结果应该使生物获得最大的利益(适应度)，当生物具有若干种可选择的行为方式(战略)时，对某一种战略选择的概率应该等于历来采用这种战略所获得的利益在总利益中所占的比例。在这种情况下，选择任一种战略所获得的利益是相等的。ES学习的基本算法就是提高每次获利较多的战略的频度也就是提高有利行为的概率。下面就是根据文献(Harley，1981)改写的学习算法：
Si(t+1)=m Si (t)+(1-m)ri+Qi (0<m<1)
式中的Si是对应于第i种战略的利益积累量。m是记忆常数，m较大表示对过去所学的知识不易遗忘，但是随环境变化而改变行为方式较慢。余差ri表示动物的本能倾向，当学习不起作用时，系统恢复到由ri决定的概率分布。Qi是当使用i战略时获得的利益。行为总要付出能量，当收益少于支出时，Qi是个负值。Pi是采用第i种战略的概率，等于战略i的利益积累量与总利益积累量之比。学习的过程是这样的，每次行动都按照各战略的概率分布P随机地决定采用一种战略i，然后在行为完成之后评价出该行动的利益Qi，按上述式子计算出Si(t+1)，对于未被采用的Sj(t+1)也按相同式子计算，只是令Qj=0(j≠i)。如果Qi大于其他Qj，则Pi将会逐步增加，即动物的学习总是使利益较大的行为增加，直到达到平衡。但是由于ri的存在且m<1，即使在Qi总是大于其他Qj的情况下，Pi也不会达到1，也就是说，其他Sj不会变成0。因为如果其他的Sj为0，会使Pj也为0，这意味着生物只按成功的行为方式行动，不再试探其他行为方式，那么当环境变化时，动物就不可能通过学习改变行为方式以适应新环境。ES学习的动态过程与进化中的选择过程极为相似，战略i对应于某种基因，利益Qi相当于基因i的性状的适应度，Pi则相当于基因i在群体中所占的比例，r的作用则体现多样化的价值。学习与进化的重要的不同之处在于，进化所依据的评价准则是定义明确而惟一的适应度，而利益Qi却需要由“主观”的评价准则来确定，于是如何决定评价准则就成为一个重要问题。但是从进化的观点看，评价准则本身受着进化的考验，如果评价准则导致动物采取降低适应度的行为，那么这种评价准则会在进化的过程中被淘汰，也就是说在进化过程中产生的评价准则一定是适应的。
ES学习的一个典型的例子是Milinsky(1979)所作的刺鱼觅食实验。在一个长水槽中放6条鱼，水槽的两端有喂食口，左端的投食量是右端的二倍。鱼刚刚进入水槽时自由地游来游去，基本上在水槽中均匀分布，但是经过一段时间的学习之后，鱼在水槽中的分布渐渐接近于ES学习的平衡状态，左边4条，右边2条。当然并不是每一条鱼都以2/3和1/3的概率呆在左边和右边，有些鱼更多地在左边，而同时必有一些鱼更多地在右边，只保持集团平均成最佳分布，但没有一条鱼是只呆在左边而不去右边的。如果把左端和右端喂食的量反转过来，经过一段时间的学习之后，鱼的分布又会变成左边2条，右边4条。用计算机按照ES学习算法对鱼的觅食行动进行模拟的结果与实验中鱼的行为过程非常一致。
用ES学习模型来解释蜜蜂学习颜色的过程，更符合实验观察的实际结果。假定蜜蜂能识别红、黄、蓝、紫四种颜色，四种颜色在学习之前平等地吸引蜜蜂，蜜蜂在寻蜜时随机地采用不同颜色作为引导色，当采用某种引导色时吸到了蜜，该色作为引导色的概率上升。这与实验的结果一致，蜜蜂在吸过蜜之后并不是百分之百再回到同一种颜色，而是随着吸蜜成功的次数增加，回到同一种颜色的概率逐步提高，相当于Pi的增加。在假定忘却速度一定的条件下，吸蜜成功次数多的蜜蜂Si也比较大，记忆时间也会更长。如果某种颜色的花被大多数蜜蜂选择吸蜜，其存蜜量就会下降，蜜蜂对该色花的吸蜜利益下降，导致蜜蜂更多地试探其他颜色，发现新的蜜源。
Dawkins为了说明DSS(Developmentally stable strategy)的想法举了一个巧妙的例子，对于进化稳定学习很有说服力。这是Baldwin ＆ Mees(1979)所作的一个实验。在一个长猪圈里关两头猪，一个强者和一个弱者。猪圈装有机械装置，在猪圈的一头踩一个踏板，另一头的喂食口就会流出一定量的猪食。经过一段时间的学习之后，猪掌握了取食的操作方法，形成了稳定的行为方式，每次总是强猪去踩踏板，弱猪在喂食口等着，强猪踩了踏板之后奔到喂食口把弱猪赶开，吃弱猪吃剩的猪食。这个行为方式成为稳定的是显而易见的，强猪踩了踏板得到吃剩猪食的利益，而弱猪等在喂食口则可以在被赶走之前吃到猪食，也是有利益的。但是相反的行为方式却不稳定，如果是弱猪去踩踏板而强猪等在喂食口，由于弱猪赶不走强猪，猪食全被强猪吃光，弱猪得不到任何利益白费了力气，所以弱猪去踩踏板是不被增加的行为。即使每次出的猪食很少，在强猪赶到之前大部分被弱猪吃掉，给强猪只剩很少的一点，强猪踩踏板的行为仍然是稳定的，有一点吃的总比没有强。可以想象，长此以往，弱猪由于吃得较多而变壮，强猪由于吃得少又奔波劳累而日渐消瘦，总有一天力量对比发生逆转，强弱身份互换，原来的强猪变成弱猪，才能开始享受“弱者的利益”南于野猪是一种单独行动的非合作型动物，而上述环境又是自然界所罕见的，所以猪不大可能通过学习发现合作的方法，例如轮流踩板和吃食。如果猪世世代代生活在这种猪圈里而又能实现自然选择，那么几万年或几十万年之后，也可能会进化出一种具有绅士风度的猪，吃食时只吃三分之二，剩三分之一而不是全部吃光，那么强者就可以永远保持其强者地位，不会让弱者反而占便宜。如果圈里关的不是猪，而是狗或狼这种合作型动物，合作体制可能很快会通过学习建立起来，因为这些动物不像猪那样习惯于独吞。
ES学习准则不仅对动物具有重要意义，对人来说也是一种主要的学习方法。例如一个可以自由移动摊位的小商贩，即使对市场分析一窍不通，也可以凭每天的销售利润选出最佳的摊位，而大量的商贩通过这种选择可以形成最佳摊位分布。选择摊位的过程比较复杂，其中也涉及多种约束和有意识的思考过程，而ES学习是一种基础性的低层次学习方式，并不一定需要意识的参与，完全可以自动进行。我曾经遇到过这样一件事：在一次教授与学生的联欢会上，学生问几位教授，三点水加一个来字念什么，思考片刻之后一位教授回答：“念来”学生们说“对啦”，接着又问，三点水加一个去字呢？想了一会儿一位教授说：“大概还念去吧”，学生们哄堂大笑。这种错误可以用ES学习模型来解释。中国人在别人问某个字的念法时通常用两种方法解决，第一种是通过形象思维先在脑子里构成这个字，然后利用模式识别的手段直接联想出读音，第二种方法是遇到生僻字不知道读音时读其右半边作为尝试性答案。由于“涞”字是不常用的字，第一种方法无效而第二种方法成功，导致第二种方法的采用概率提高，以至于“法"字本是常见字，却用了第二种方法造成错误。加上来与去在语义上的对称性，以及教授通常接触的人不会问三点水加个去字念什么的问题，这个问题本身显得很生僻，更加大了错答的可能性，但是第一个问题的诱导作用是最主要因素，如果不问第一个问题而直接问第二个问题，大多数人是不会出错的。这个例子说明ES学习规则在无意识之中操纵着我们的思考，而错误与学习是密切相关的。没有学习功能的计算机是很少出错的，而善于学习的人则常常出错，因为学习的最基本的方法是试错法，与进化的变异与选择一样，变异就是遗传的错误，而无变异的生物是不可能进化的。ES学习总要使利益很小的行为概率不为零，也就是以错误行为为代价，换取学习的可能性。可以说，错误是学习的必要条件。
ES学习规则是动物学习的基本而重要的规则，但并不是全部。ES学习规则所规定的是如何在若干种行为中选择最佳的行为方式，但在选择之前需要事先存在一些行为方式以供选择。对于选择来说，客观条件与主观需求无疑是重要的因素，因而对客观事物的识别也是非常重要的。无论是本能性的行为还是包含学习的行为，都必定需要对于行为对象和条件的识别和适当的操作方式，识别能力与操作方式有些是完全靠遗传而来的本能，有些(对于人来说大多数)是通过后天的学习得到的。在动物行为的最简单的刺激反应(S—R)模型之中，识别与操作分别对应着刺激S与反应R，因此关于识别的学习我们简称为S型学习，关于操作的学习称为R型学习。S型学习与R型学习是密切相关的，但把二者区别开来讨论也有助于研究二者的关系。在人工智能领域，S型学习得到的知识是关于“是什么”的知识，也可以叫做宣言型的知识，而R型学习得到的是关于“怎样作”的知识，或称为手续型的知识。对于计算机来说，识别比操作控制要困难得多，制造出能打印汉字的机器比较容易，而制造能识别汉字特别是手写汉字的机器则很难与人的识别能力相比。而对于人来说事情似乎相反，认识人几乎不需要学，学认字比学写字容易。其实因为识别相当于数学上的反问题，对于动物来说同样是困难的。人与动物之所以表现出高度的识别能力，是由于人脑在资源安排上付出了很大的代价，人的大脑皮层中用于识别的面积比用于控制运动的面积大很多倍。
动物的生存依赖于合乎生存目的的行为，因此在动物的神经结构中通常包括很多先天的识别和操作的本能。例如青蛙对于一定距离的水平运动目标可以引发捕食动作。像图4.5所示
的形状按箭头方向移动可以引发水禽的惊恐、逃避等反应，即使是从未见过鹰的雏鸟也不例外，但是如果按相反方向运动则不引起反应。乌鸦见到带有柔软黑色物体的移动物会引起攻击反应，可以想象一只狐狸叼着一只死乌鸦会被其他乌鸦群起而攻之，而人拿着一块黑抹布走动，也会引起乌鸦相同的反应。按照动物行为学家洛伦兹(Von Konrad Lorenz)所提出的模型，动物并不是像S—R模型所表示的那样简单地对外部刺激产生“反射”式的反应。在动物的中枢神经系统中，对应着每种行为有一个中枢兴奋机构(Central Excitatory Mechanism,CEM)，在CEM中按照动物的需要生产和积蓄冲动兴奋，当受到该种行动的特定的键刺激时，积蓄的冲动释放出来，驱动有关的运动中枢执行特定的程序。如果在脑中的该中枢部位插入电极用电脉冲进行刺激，也可以引起相应的行动。当冲动积蓄较多时，动物会实行“欲求行动”，主动寻找键刺激。CEM模型比S—R模型要完善一些，可以解释动物行动的主动性和目的性。二者的共同点在于都需要键刺激作为行为的起因。键刺激这个词顾名思义，是一种类似于钥匙的刺激，就像一把钥匙开一把锁一样，对于某种特定的行动需要某种特定的键刺激来引发。键刺激有的比较单纯，有些则相当复杂。动物对键刺激的识别机制涉及模式识别这一重要的领域，而识别能力的S学习过程与认知密切相关。动物所受的刺激总是来源于某种感觉器官，因此键刺激识别所需要的信息处理也随感觉种类的不同而具有不同的原理。嗅觉可以说是动物最古老的感觉，在人脑中处理嗅觉的部分是进化早期的部分。嗅觉的优点在于特异性强而信息处理比较简单，嗅觉的传感器可以对某种特定的生物化学产物起作用，由于生物化学产物的来源非常特别，很难遇到干扰，因此灵敏度可以非常之高，由于作用因素的特定性，在信息处理方面就非常简单，可以不经处理直接用于识别，这对于头脑比较简单的生物是非常有利的。嗅觉的缺点是作用距离较小，且易受气流影响，定向性差，从原理上一个嗅觉传感器是无法断定方向的，要加上空间分布的多个传感器，或是依靠风向感觉，或加上动物的移动，才能测出气味浓度场分布，找到气味源的方向。听觉信息的定向性较好，可以非直线传播，作用距离较远，但特异性稍差，信息处理比嗅觉要复杂得多。视觉的定向性极好，特异性也很强，作用距离远，但由于信息量大，用于识别的信息处理极为复杂。从维数上看，嗅觉是0维信息，听觉是1维而视觉是2维，如果加上时间轴则分别为1，2，3维，由此可知信息处理的计算量是视觉大于听觉，听觉大于嗅觉，人脑中神经资源的分配也符合这个关系。当然由于各种动物对于信息的要求不同，其处理的方法也不同，神经资源分配也与人有很大差异。
键刺激往往是复杂的模式，．正如钥匙不只有一个齿。一种气味的感觉可能由不只一种分子的检测所组成，一种声音可以分为音调、音色、节奏、旋律、强度、方向(相位差)等多重因素，视觉的成分则还要复杂得多，一种键刺激又可能包含各种感觉的因素。关于一种键刺激中所包含的各种感觉成分之间的关系，生物学家们进行过多种研究，得到了“异质叠加定律”，即一个键刺激如果由多种感觉成分组成，那么键刺激强度等于各成分单独刺激强度之和，是一种简单的算术关系。例如，一种河雀科的雄鱼在遇见同种的其他雄鱼时，会发生变色反应，根据变色的程度可以测出受刺激的大小(实际的实验要复杂一些)。在实验中发现，雄鱼并不是对目标的整体效果(格式塔)起反应，而是分别对各个特征起反应，只给雄鱼看另一条鱼的单个特征，例如身体的蓝色光泽、眼部的黑色斜线、颈下的黑色突起、胸鳍上的黑边、摆动等都具有键刺激的效果，而整体效果等于部分效果之和。还有人研究了蜜蜂分巢，选择新巢时对地点的总评价也是各评价因素之和。在生物学领域得出这种定量的结果是很不容易的，但从信息处理角度看，一个神经元求加权和的计算就足以完成这种功能，求和只是求加权和的特例。这样一种运算显然是线性可分的，如果在加权和之后加上一个阈值函数就构成模式空间中的一个超平面，如果阈值取的较大，可以使得各个特征缺一不可，任何单独特征都不构成刺激，而只当全部特征存在时才构成刺激，有点总体大于部分之和的味道，但这只是“伪格式塔”，相当于逻辑与门，真正的格式塔还要加上各特征之间的关系。但是伪格式塔可以成为真格式塔的部分信息，这是一种分析的态度。格式塔学派的最大缺陷在于拒绝分析的态度，把格式塔看成是不可分析的整体，成为一种不可理解的存在，使理论失去了明晰性。当然，不能轻视格式塔的意义，特征有很多都是有形的，例如鱼的黑色斜线、突起、黑边，也都是格式塔，图4.5的形状也是格式塔，问题在于弄清格式塔与非格式塔和伪格式塔之间的关系，才能使格式塔成为一种有用的概念。心理学家的实验表明，婴儿在某个时期对不按规定位置散乱分布着眼睛、鼻子、嘴的图画起反应，但过一段时间则对此种图画不再注意，只注意五官端正的图形。这个实验暗示在形成格式塔感觉的过程中也有非格式塔的阶段，格式塔可以由非格式塔组合而成。
对键刺激的区分，是模式识别的过程。在模式识别领域，通常把识别分为特征抽取和判别两个步骤。这种分法如果只从模式识别的角度上看具有人为的任意性，但是如果同时考虑通过学习提高模式识别能力的过程，或者说模式认知过程，这种区分就有一定的必然性了。识别(Recognition)就是再认知（Re—cognition）,获得或提高模式识别能力的学习过程就是模式认知过程，只有理解了模式认知过程之后，才能更深刻地理解模式识别的机制，S型学习过程就是模式认知过程。根据学习的短桥原理，我们需要把学习限制在回避指数爆炸的可行范围之内，即线性可分的范围之内，从这个前提出发，可以规定判别函数必须是线性的，而学习只发生在判别函数的参数调整之中，在神经网中则对应着二层神绎网的学习。因此我们把模式识别分为特征抽取和判别两步时，就可以根据这个原则，把最终的线性可分的信息处理过程称为判别，而把前期的复杂信息处理叫做特征抽取。当然，一个学成的模式识别能力的识别结果也可以看做一个特征，成为上一层学习的基础，这就构成了可以逐层建构的软硬结构，由多个短桥组成长桥。特征抽取是模式认知的硬结构，判别则是其软结构，判别的学习一定要在特征抽取的基础上进行，而学习的结果又增加了特征抽取的能力，从而使特征抽取能力在多次的学习中积累提高。印痕学习是比较简单的S型学习过程，通过对这种学习的分析可以使我们了解S型学习所需要的前提条件。第一个条件是由短桥原理导致的，即对于要学习的模式需要已有的特征抽取能力作为学习的基础，待学特征的数量不少于学习后选择特征的数量。第二个条件是学习所得的键刺激的用途应是已知的，并在相应的
场合背景下进行。第三个条件是在学习之前必须具备识别学习目标的能力。第四个条件是对所有学习通用的，即已具备学习的算法和学习的动力。对于印痕学习来说，可以认为这些学习条件都是由本能提供的。对于野鸭类的雏鸟追随母鸟的印痕学习来说，学习的动力来自雏鸟的发育程序，其他条件则依赖于雏鸟在该发育阶段已具备的本能，雏鸟对于应该追的对象已有先验的知识，即能够把运动的、出声的对象判断为追随对象。第三个条件可以作为第一个条件的一部分，但第一个条件应准备更多的特征，例如颜色、形状、音调、音色等等。第二个条件是在追随过程中学习用于追随的键刺激。在追随过程中，母鸟的全局颜色、局部颜色、花纹形状、音色特点、音调特点、动作特点等逐步被记忆，最终达到可以与其他雌鸟相区别的程度。
比印痕学习更复杂的S学习过程同样需要上述的四个条件。乌鸦是鸟类中学习能力比较强的一种。乌鸦学习的动力在于其好奇心，一般学习能力强的动物其好奇心也强。乌鸦的学习过程也有固定的学习算法，看起来程序性很强。当乌鸦发现未知的动物时，首先把它看成敌害，从它的背后发动攻击，如果遭到强烈抵抗，则用对付敌害的方式行动，如果目标力量不强，则把它看成食物，杀死之后试着吃掉，如果味道不符合食物的要求，则看成其他物品，以后作为掩盖藏食之用。这个学习过程需要事先能够识别动物与其他目标，识别动物头尾前后的区别，否则无法从后方攻击，需要用已知特征把目标与已学习过的动物区别开。在键刺激的用途方面对目标作了三种假定，即敌害、食物、杂物，根据学习的结果确定哪一个假定是正确的。模式识别的过程是一个归类过程，但是按照丑小鸭定理，对事物进行“客观的”分类是不可能的，乌鸦学习中体现了分类的一种“主观的”原则，即按照目标的用途及处理方法来分类，这样就可以使学到的键刺激起到提高适应度的作用。如果所有动物认知都遵循这一分类原则，这个分类就具有一定的客观性了。根据适应度在进化中的普遍意义，这种分类准则对于模式认知来说也是具有普遍意义的。
在模式识别领域，特征抽取是一个困难的问题，按照前文的观点，特征抽取应该满足的一个条件是使判别成为线性可分的，但是这个条件对于决定抽取什么特征和怎样抽取特征来说是很不够的。我们常常希望有一种从识别的任务决定出特征的选择和抽取算法的普遍方法，但是这种希望显然是不可能实现的，这就如同由某一种生物的结构去推算其进化或发育过程一样是指数爆炸的。所幸的是我们对于进化的机制并非一无所知，关于进化的知识有助于我们进一步探讨特征抽取的一些原则。进化的机制通常不能告诉我们哪一种性状会在进化中产生出来，但可以说明某一种性状为什么未被淘汰，而被保存下来。特征抽取作为感觉信息的处理方法是在与感觉器官的结构与功能相互适应的协同进化之中形成的，它必然受到进化过程中适应度的约束。这个机制对于说明像青蛙这种主要靠本能生存的动物的特征抽取能力是有用的，但是对于像人这样具有高度学习能力的动物来说就不够具体了。由于学习是一个开放的过程，目标选择的自由度很大，需要什么样的特征抽取能力从适应度是难以直接评价的，此时需要一些间接的评价准则，例如稳定性、经济性和可预测性。我们对于物体颜色的感觉是由光源光谱特性和目标的反射特性共同决定的，但是光源光谱特性的变化对我们生存的意义并不大，而目标的反射特性对于识别目标来说是比较稳定的特征，因此我们在视觉信息处理过程中通过复杂的计算来追求这种稳定性，很大程度上补偿了光源光谱的变化，使我们在不同光源下观察物体的颜色所感到的偏差比实际的偏差小得多。我们对声音的相位很不敏感，但对于两耳之间的相位差极为敏感，这是由于相位差与声源方位之间有较为稳定的关系。经济性体现在特征抽取的正交性要求，即用较少的信息表现更大的范围，如果一种特征可以表现为其他特征的线性组合，那么这种特征是多余的。可预测性是认知主体从外界获得的信息品质的重要指标，特征抽取也不例外。对于动物来说，构成重要事件先兆的特征无疑是重要的。例如我们在行走的过程中，由于道路的凸凹会使我们跌倒，而在跌倒之前的超越正常步行反馈所能应付的严重失去平衡是一个重要的特征，这个特征能使我们切换到应急控制系统以特殊的动作防止跌倒。当鸟类在飞行中要向树枝或地面等目标着陆时，需要在适当的时机将飞行动作改为减速着陆动作，这个最佳距离判断所需要的视觉特征就成为非常重要的特征，这个特征必须有助于准确地预测减速动作的结果。在特征抽取的算法之中，利用预测关系有时能取得很好的效果。从一幅图像之中将物体与周围景物分割开来，并从中获得物体的位置和形状等三维信息是非常困难的，需要极复杂的计算和大量的先验知识，而且结果很不可靠。但是在一个连续运动的摄像机上拍摄的多幅图像中利用预测的方法，从连续两幅图像预测第三幅图像，可以从各点预测参数的不连续变化得到准确的物体边缘，从预测参数得到正确的三维信息。大多数的脊椎动物眼睛长在身体两侧，两眼的共同视野很小，但是它们可以在自身运动的过程中对周围的三维世界作出正确判断，而且可以发现相对于周围静止景物运动的物体。对于一幅物体像按光的反射角度计算其三维信息通常可以得到两个解，如果我们把头固定住用一只眼睛盯住一个六面体方盒的一个角去看，并有意识地想象这是一个凹进去的角，就可以获得另一个解的感觉，但是只要头部稍作移动，这个幻觉立即就会崩溃，又恢复凸角感觉，这说明对于移动视觉的预测在确定三维关系中所起的重要作用。我们可以在几个人同时说话时只注意听其中一个人的话，这种特殊的“滤波”方式也可能与预测有关。
对于大多数动物来说，其行为方式与模式识别能力一样，大多数是先天的本能，而人的技能则多数要靠后天学习得到。像哺乳类和鸟类这些较高等的动物在具备S型学习能力的同时，也具有R型学习能力，即获得新的行为方式的能力，马戏团动物的精彩表演就是R型学习的典型例子。粗略地讲，一种行为方式可以说是由多个单个动作组成的序列，或者叫做动作串，也可以看成一个程序，R型学习就是通过学习生成动作串的过程，学习的前提是单个动作已经存在。把各种单个动作随机地组合成长列，然后判断其效果决定取舍，这种方法是指数爆炸的，因而不可取。学习动作串通常可行的方法是延伸与组合。延伸就是在原有动作串上加一个动作，使动作串一步步伸长。训练动物通常就是采用这种方法，用赏罚的方式把动作串中的动作一个个确定下来。但是由于种种理由，动作串的长度不可能也不应该太长，对于较长的动作串，只能采用分段的方法，一个个小串学习之后，再组合成大串。学习唱歌，乐曲演奏等都要采取这种分层次进行组合的方法。
完全指向外部的动作串通常不能使行为顺利进行，这种死硬的程序只能作行为的框架，还需要加上反馈的修饰。在动物的行为中往往需要反馈修饰，在本能活动中反馈也是由本能提供的，例如大雁孵蛋时会用嘴把掉在巢外的蛋拨回巢里，这是个本能的动作，而在用嘴托住蛋时，为了防止蛋的滑落，显然需要精确的反馈，这种随附于本能动作的反馈也是由本能提供的。站立、行走和跑步都需要恰当的反馈保持身体的平衡，由于这些反馈的通路基本一致，从视觉和平衡感觉到下肢和全身肌肉，所以从站立到行走，从行走到跑步只需要调整反馈参数而不需要选择反馈特征和通道，学习起来比较容易。但是学习骑自行车时，由于反馈是从平衡器官到手，与走路时的反馈通道不同，需要一个试探反馈通道的过程，因而显得要困难得多。由于反馈要求较高的速度，不易由高层神经活动进行处理，只能通过低层神经模块完成，因此难以由意识进行控制，只能通过反复练习使反馈参数自动修正到最佳值，这是语言传授所无法代替的。反馈修饰有时也发生于动作串中各单个动作的连接处，以确定从一个动作转入下一个动作的最佳时机。
当动作串经过反复练习变为熟练行为时，反馈也会满足不了动作速度的要求，为了使行为更加连贯迅速，各个单个动作之间的关系变得更为紧密和相互渗透。在作一个动作时，已经同时在为下一个动作作准备，这种控制方式我们称之为前馈修饰或预测修饰。初学英文打字的人，是看一个字母打一个字母，熟练者可以以词甚至短句为单位，此时打一个词的动作已经形成熟练动作串，前一字母按下的手指放开的同时，手已经向下一个字母所需的位置移动，如果第三个字母在另一只手上，另一只手也已移到需要的位置。在我们说话时，由于这种前馈或预测的影响，后一个发音会使前一个发音产生变化，例如在汉语之中两个三声字连续发音时，前面的字会变成二声。在熟练和高速的动作串执行之中，反馈可以用来发现错误，却来不及立即修正错误。只能在其后的训练之中修正。
对于一个完善的动作串来说，还应该包括意外处理。意外处理是指在动作串的正常反馈机制无法处理的非正常情况下，中断原有动作串而转入的应急处理程序。这种中断出现类似正在走路被石头绊一下，或是在骑自行车时有人在前方突然从左侧向右转弯这种情况。刚学会走路甚至稍大一些的儿童，走路跌倒的现象比成年人多，就是因为意外处理能力还比较差。由于意外处理的动作通常只有在意外发生时才能学到，而意外的发生频度又不高，所以意外处理的学习往往需要比较长的时间。意外处理的学习包括两个部分，一个是意外处理的动作或动作串本身，另一个是意外发生的检测信息。检测信息应尽可能提前给出，也就是说应具有预测的性质。以走路时的跌倒为例，跌倒的例外处理应在身体难以挽救地完全失衡之前加以检测并作出避免跌倒的反应动作，进而可以在脚踢到凸起物时还没有失衡就作反应，更进一步应在看到路面上的凸凹就作出相应反应。
由此可知，获得行为方式的R型学习中包含了复杂的多层次的学习过程，首先建立动作串的框架，然后添加反馈修饰和前馈修饰，最后还要学习意外处理。这些过程之间又是相互渗透的，时时发生的意外处理会影响反馈修饰和前馈修饰，甚至修正动作串。例如刚学会骑自行车的人，有时会出现想要躲避障碍物或行人却照准障碍物撞上去的现象。这是学习过程的一个阶段，在学会控制平衡之后开始学习沿路骑行，此时人会紧张地盯着路面，所学到的反应是由意识控制眼睛盯住目标，而手作出相应的控制动作跟踪眼睛所注视的地方，其后随着熟练紧张程度降低，眼手随动不再起很大作用，但是当遇到障碍时又进入紧张状态，相似的场合信息引出眼手随动的反馈，而此时眼睛却正好盯住怕撞上的障碍物，导致最终撞上障碍物。经过几次失败之后，这种由紧张引起的随动才会消失，使手眼随动的反馈在躲避障碍时不再起作用，只在过窄路时起作用。
在以上的分析中我们分别讨论了S型学习和R型学习，但这只是为了便于理解所作的区别，在实际的学习过程中S型学习与R型学习通常是密不可分的，S中有R，R中有S，SR共存。我们学习的结果不是单纯的识别，也不是单纯的动作，而是感觉动作联合。在多数情况下，我们的感觉是一个主动的过程，这种主动性就体现在感觉所伴随的动作上。要得到触觉信息，我们需要用手去触摸物体，要得到视觉信息，需要把眼睛对准目标，要得到嗅觉信息，需要吸气的动作，化学家们还有用两个手指从试管口扇气味的动作，要得到味觉信息，需要把食物放人口中。表面看起来，听觉似乎不需要动作，人的耳朵不像猫那样经常转动，但是靠两耳的相位差从原理上只能判断左右方位，无法区分前后方位，要想分辨音源的前后方位，需要加上头部的转动，通过头部转动时相位差的变化，可以得到前后的信息。用立体声耳机听音乐时，由于头的转动不会引起相位差的变化，所以缺乏前后感觉，正前方的声音听起来像在头中间发出的。有一位机器人学教授曾经在课堂上向学生提出一个问题：“树为什么不长眼睛?”这个问题初看有些古怪，但含意却是很深的，可以从很多不同的层次加以考虑。从比较浅的层次可以认为，树长眼睛也没用，假设一棵树看见有人拿着斧头和锯朝它走过来，它也没法逃走，只能眼睁睁地看着自己被砍倒。更深一层的问题是，树长了眼睛能否看见东西，有人作过这样一个实验，用一种装置检测人眼球的运动，然后用检测到的信号控制屏幕上的图形跟随被试验者眼球动作，使图形相对于被试验者的视网膜完全固定，经过一段不长的时间，被试验者感到图形融化得看不见了，但其他人却看见图形确实还显示在屏幕上。这个现象的原因可能是视神经的疲劳；它说明不动的眼睛是什么也看不见的。当然这种规则对于其他动物的眼睛未必适用，我们也可以假定树的眼睛在不动的情况下也能看见东西，或者树的眼睛是能像人眼一样运动的。即使如此，树也不会发现人朝它走过来，因为不动的树即使有了眼睛也不可能有距离的概念。动物的距离概念是靠运动与视觉信息变化之间的关系建立起来的，我们可以靠视觉判断距离是由于除了视觉之外我们还有运动能力，看到一个物体我们知道是否可以伸出手去抓住它，或是需要走几步之后再伸手去抓，距离概念只有通过这样的视觉加动作检验的过程才能建立起来，否则只靠两眼对准同一目标的过程只能得到两眼的角度差，而这个角度差到底代表什么意义，作为认知主体是无从知晓的，我们正是通过运动和由此造成的视觉变化之间的关系才得以建立距离概念的，只凭视觉，树可以看到一个物体越来越大，但不可能知道物体正在接近它。可以说，离开了运动能力，一个认知主体不可能得到有意义的感觉信息。
视觉的立体感比距离感更依赖于运动，通常用两眼看的立体照片，可以产生距离感，但很难产生立体感，这种照片看起来像舞台上的布景，成为前后位置不同的平面。这是由于我们平时的视觉立体感来源于头部位置变化所引起的物体投影形变，而看立体照片时头部位置的变化不引起任何形变，所以立体感会消失。我们的立体感觉产生于视角变化(移动自身或旋转物体)与物体投影形变之间的关系，因此一个自身不运动的认知主体即使有了视觉也不可能有立体概念或立体感觉。
关于感觉对动作的依存关系，有一个著名的动物实验——吊篮里的猫。实验装置是一根中间有垂直轴的横梁，可以绕轴在水平面自由转动，横梁的一头通过连杆拴在一只猫身上，这只猫可以沿圆形通道自由走动，像推磨的驴一样，我们称之为主动猫，横梁另一头吊着一个篮子，里面固定一只猫，不能自由走动，只能由主动猫带着转动，我们称之为被动猫。由于周围的背景对轴是中心对称的，所以被动猫所看到的景物和景物的移动情况与主动猫完全一样，也就是说两只猫所接受的视觉信息是相同的，所不同的仅仅是运动的主动程度。把两只幼年猫每天放在这个装置中数小时，那么几个星期之后，主动猫与被动猫显示出感觉和行动能力的明显差异。主动猫与正常猫一样可以选择落差较小的地方向下跳，而被动猫在不同落差面前只是随机跳下而不能作出正确的选择，这就是由于被动猫被剥夺了主动运动的机会，难以得到正确的距离感觉之故(Held and Hein，1963)。
行为离不开感觉也是显而易见的。如果行为是由键刺激引起的，那么其起因就是感觉；在动作串中一个动作的完成引发下一个动作，动作完成的信息也得自于感觉；动作需要反馈修饰时，反馈信息也来自于感觉；前馈修饰是否达到了应有的效果，也要靠感觉来判断；意外的发生要由感觉来检测，意外处理的成败也要由感觉才能得知。双目失明的人行走比正常人困难得多，就是由于失去了视觉这个输入信息量最大的感觉，而其他感觉都无法提供足够的替代信息。
综上所述，感觉与动作是相互渗透、密不可分的整体，感觉中有动作，动作中有感觉，没有动作的感觉是未定义的感觉，无感觉的动作是盲目的动作。我们所具有的知识是作为感觉动作连合的不可分离的整体，一个不可能引起任何内部或外部行为的键刺激是无意义的，“是什么”的知识归根结底要和“怎样作”的知识结合起来才有意义。这是分类的最基本原则，也是语义的根源。在计算机中，信息的意义要由人为的规定赋予，在生物的神经系统中，信息的含义取决于与之有关的输入和所引起的效果，也就是取决于该信息在动作感觉联合中所处的位置，而一种动作感觉联合的意义，则取决于它对于提高生物的适应度所起的作用。例如青蛙神经系统中由视觉处理得到的信息引起捕食动作，那么这个信息的含义就是由捕食行为给出的，而捕食又是一种“适应的”行为方式。像距离和方位这种基本概念则是由很多种感觉动作联合所共用的，对于适应起更大作用的信息。