大脑的不同部位，负责不同的记忆
人的记忆活动虽然都是在大脑当中进行的，但是这并不是说大脑内部的所有结构，都和记忆活动有紧密的关系。由于神经心理学的研究和现代脑成像技术的发展，人们对记忆的结构和通路的研究有了长足的发展。经过人们的研究发现，在大脑内部，与记忆活动关系密切的部位并不多，只有几个，其中记忆过程中起到最关键作用的部位主要有四个，分别是颞叶、杏仁核、额叶和丘脑。
颞叶是人的听觉中枢所在地，位置在大脑半球的外侧方，从前下方斜向后上方的侧沟下侧，靠近颞骨的地方，颞叶与记忆以及人的某些精神活动有关。例如一个清醒的病人，如果用无害的微弱电流刺激颞叶，病人可能会出现对往事的回忆，以及产生特异的幻觉等情况，比如听到了以往听过的音乐等。
颞叶和记忆的关系最为密切，一旦颞叶受到损伤，人就会失去长时记忆的能力，不论是视觉记忆还是听觉记忆，病人必然会表现出显著的记忆力衰退的情况。这主要是由两个方面的原因造成的。
一方面，颞叶外侧的新皮质层对记忆有重要的影响。研究表明，两侧颞叶新皮质层受损所产生的影响是不同的：如果左侧颞叶被切除，人的言语记忆会产生影响；而如果右侧颞叶被切除，人们对复杂几何图形的记忆、无意义的图形的学习和回忆、面貌以及声音的回忆都会严重受损。
另一方面，因为颞叶的内侧是海马结构，海马在长时记忆中扮演着重要的角色，主要就是用来固化长时记忆。一旦海马受到损伤，人就会产生记忆障碍，并且损伤越严重，记忆障碍就越严重。研究表明，左右两侧的海马单方面损伤造成的记忆障碍是不同的，在性质上有明显的差异。左侧海马的损伤会直接损害言语材料、数字以及无意义的音节的记忆；右侧海马的损伤则严重影响非言语材料的记忆、面貌的记忆、空间位置的记忆。
杏仁核在记忆过程中，同样起着很重要的作用，它的主要作用是把感觉体验转化为记忆，促进记忆的会合。杏仁核复合体会沿着记忆系统中的一段通路和丘脑联系，把感觉输入信号汇集起来的神经纤维，送入与情绪有关的丘脑下部，因此它和皮层的所有感觉系统存在着直接的联系。一旦杏仁核被认为切除或受到损害，就会破坏视觉信息和触觉信息的汇聚，使人的辨别能力严重下降，这说明杏仁核在正常情况下会在联系不同感觉所形成的记忆中，发挥重要作用。
在大脑内部，影响记忆先后顺序的部位是额叶。曾经有人用两个实验证明了额叶在时间先后的记忆上发挥着至关重要的作用。第一个实验是用非语言刺激进行的实验，主要材料是照片、图画等。第一步是呈现出一系列配对的图片，要求被测试者记忆；第二步是出示一些配对的图片，要求被测试者指出这些配对的图片有没有在之前出现过，如果出现过，就必须指出这些图片出现的先后顺序。实验结果表明，在图片的再认和回忆上，右颞叶损伤者出现了轻微的衰退现象，右额叶损伤者则表现正常；在先后次序上，额叶损伤者出现了显著的记忆缺失，特别是右额叶损伤者的记忆缺损状况最为严重。第二个实验是用一系列配对的词语，进行了相似的实验。结果表明，回忆词语是否出现过，颞叶受到损伤的人会出现一些障碍，而额叶损伤者的表现则完全正常；但是在先后次序的记忆上，额叶受到损伤的人，特别是左额叶损伤者，出现了十分明显的记忆障碍现象。
我们以何种方式遗忘
当要求一组人记忆一列单词，然后尽可能快地重述出来时，你会发现最前面和最后面的几个单词被记得最好（黑色的曲线）。
但如果30秒后要求被测者倒着复述时，只有优先效应起作用（红色的曲线）。这是因为，刚开始时被测者不断在脑海里重复词汇，并成功地把它们储存在长期记忆中。随着词汇的增多，这一程序就会逐渐中断。不过，在倒着复述时，被测者仍能记住最“前面”的那几个词。
由此可见，优先效应与长期记忆相连，而新近效应与短期记忆相连。
研究表明，遗忘症患者会出现脑萎缩的现象，同时，乳头体坏死和丘脑背内侧的某些损伤同样会出现在遗忘症患者身上，因此可以证明，遗忘症的出现和丘脑的损伤有明确的关系，也就是说，丘脑在记忆活动的过程中，也扮演着重要的角色。另外，在回忆过程中，丘脑也起到了重要的作用。在人们认识环境的过程中，特异性丘脑部位能够激活特异性皮层区域，这种情况下，一个人就会把它的注意力，引向储存记忆库。