[{"data":1,"prerenderedAt":293},["ShallowReactive",2],{"article-memory-change-and-deep-learning":3},{"id":4,"title":5,"body":6,"cover":66,"date":257,"description":258,"draft":259,"extension":260,"faq":261,"featured":259,"meta":274,"navigation":275,"path":276,"readingTime":277,"seo":278,"seoKeywords":279,"stem":286,"summary":15,"tags":287,"type":290,"updated":291,"video":291,"__hash__":292},"articles\u002Farticles\u002Fmemory-change-and-deep-learning.md","记忆与深度学习的关系",{"type":7,"value":8,"toc":245},"minimark",[9,16,19,22,26,29,36,44,47,61,67,70,73,80,88,91,98,104,114,117,123,127,140,146,149,152,155,158,170,174,177,183,188,191,198,201,205,208,211,218,224,227,230,242],[10,11,12],"blockquote",{},[13,14,15],"p",{},"人脑记忆和深度学习模型有惊人相似：都通过迭代更新神经连接。广泛学习构建通用编码器，让新知识更容易被学会，而遗忘是大脑高效复用资源的必然结果。",[13,17,18],{},"不知道你有没有像我一样，前几分钟听到看到的东西，很可能就在后几分钟之内，忘了差不多50%。特别是我在互联网行业工作了几年，\n切身体验到信息轰炸的威力。每天起床，看到微信里就是各种公众号向我推荐的几十篇文章，频繁地刷抖音，10分钟就能浏览过30段不同的短视频。\n成千上万的信息朝我汹涌而来，我想全部接住，但也无能为力。",[13,20,21],{},"于是我开始思考什么才是我真正关心的，我想要记住的。然后我需要怎样做才能留下长久记忆。接下来的探索，让我发现，\n有很多概念与深度学习有着异曲同工之处。所以我才想把这些想法写下来，留作未来的参考。",[23,24,25],"h2",{"id":25},"信息轰炸",[13,27,28],{},"2020年，是一个APP就想给我推送消息，以前的朋友有些做了生意\u002F代购，朋友圈里的小红点一直就没有消停过。\n我是一个特别厌恶被杂乱信息打扰的人，所以我屏蔽了95%的推送，取消了红点提示。下面这张图就是我的微信发现页，\n我就只保留了一天大概只看一次的朋友圈，保留视频号的原因也只是我想了解张小龙想怎么推进视频号，\n可能也就一周看一次，但是我还是很讨厌它上面那个红点提示。",[13,30,31],{},[32,33],"img",{"alt":34,"src":35},"my wechat","\u002Fa\u002Fmemory-change-and-deep-learning\u002Fwechat.jpeg",[13,37,38,39,43],{},"其他的通知源也被我逐一的\"优化\"，能最终在我的手机上弹出通知的，可能也就是验证码，微信，闹钟了。这只是有效记忆的第一步——",[40,41,42],"strong",{},"过滤繁杂信息","。",[23,45,46],{"id":46},"记忆增强",[13,48,49,52,53,60],{},[40,50,51],{},"想多记得点东西，那就睡觉吧。"," 你还别说，睡觉真的是增强记忆的重要手段。《Why We Sleep: Unlocking the Power of Sleep and Dreams》\n这本书中有详细阐述这样的观点。如果想偷懒，这个 TED 科普中 ",[54,55,59],"a",{"href":56,"rel":57},"https:\u002F\u002Fwww.ted.com\u002Ftalks\u002Fmatt_walker_hacking_your_memory_with_sleep",[58],"nofollow","Hacking your memory with sleep"," 用比较好的动画展示了睡眠与记忆的关系。",[13,62,63],{},[32,64],{"alt":65,"src":66},"brain","\u002Fa\u002Fmemory-change-and-deep-learning\u002Fbrain.jpg",[13,68,69],{},"这些记忆可能都只是暂存在我的海马体中。就是图中脑部中下方的那个东西。\n之前有一个非常特别的病例，1957年一个叫 H.M. 的病者因为癫痫，他的海马体被切除了，接着他就失去了形成新的长期记忆的能力。\n这个研究也推动了脑科学中对于记忆的研究。",[13,71,72],{},"研究表明海马体主要是收集新的记忆，就好像你把工作电脑中的文件拷到了U盘当中或者说是编码进你的脑神经系统。\n等到了晚上睡觉进入到快速眼动期，\n我的大脑开始带着我这个U盘进入了我大脑的数据中心——长期记忆存储地——大脑皮层。这时短期记忆被转移至长期记忆。",[13,74,75,76,79],{},"甚至，当你做梦的时候，也是一种学习，研究发现大脑会不断 ",[40,77,78],{},"\"重放 - Replay\""," 这一段被编码的记忆。\n科学家记录了小白鼠白天走迷宫的脑神经活动，\n睡觉时，科学家发现这些脑神经被不断地激活，\n而且重放的速度大约是清醒时的10倍（这是不是意味着我们做梦的速度比现实发展速度更快，记得盗梦空间里有这一段）。而这种重放机制，\n其实就是在你大脑中刻画新的神经链接，形成新的记忆，不断的重放，也意味着它在不断地强化。",[13,81,82,83,87],{},"我在 ",[54,84,86],{"href":85},"\u002Farticles\u002Fsleep-and-study","想学好就得休息好"," 中会有更加具体的分析和拆解。",[23,89,90],{"id":90},"模型迭代与记忆重放",[13,92,93,94,97],{},"这让我思考是否可以类比 ",[40,95,96],{},"深度学习当中的迭代过程","，虽然在基础理论上不太相同，一个是用 Gradient 来不断更新神经网络模型的链接中的参数（我就把这个参数链接叫做认知吧）。\n上一段讨论到，人类在睡眠中，也存在不断重放的过程。",[13,99,100],{},[32,101],{"alt":102,"src":103},"bp","\u002Fa\u002Fmemory-change-and-deep-learning\u002Fbp.png",[105,106,107,111],"ul",{},[108,109,110],"li",{},"深度学习模型：不断迭代更新网络参数",[108,112,113],{},"人脑：不断重放强化新的脑神经链接",[13,115,116],{},"至少在我看来这真的很像，只是他们的迭代和重放的 trigger 不太一样，一个是预测值和真实值的误差，一个是短时记忆与长期记忆的迁移过程。",[13,118,119,120],{},"人和模型还有一点很大的不同，",[40,121,122],{},"人脑形成新的神经连接后，是嵌入到以前的记忆链接中的，这也更新了以前的某些相关联的记忆。所以说如果你生活中遇到什么问题，\n说不定睡一觉，醒来就会有答案了。",[23,124,126],{"id":125},"该选广泛学习还是专业学习","该选广泛学习还是专业学习？",[13,128,129,130,135,136,139],{},"有一个 TED 科普\n",[54,131,134],{"href":132,"rel":133},"https:\u002F\u002Fed.ted.com\u002Flessons\u002Fhow-to-practice-effectively-for-just-about-anything-annie-bosler-and-don-greene#digdeeper",[58],"Why specializing early doesn't always mean career success | David Epstein","\n中描述了 ",[40,137,138],{},"广泛学习"," 能让我们更快速地学习到新技能，新知识。",[13,141,142],{},[32,143],{"alt":144,"src":145},"wick wick","\u002Fa\u002Fmemory-change-and-deep-learning\u002Fwick_people.png",[13,147,148],{},"其中举了这样一个例子。有两批人，一批是在某一个乐器上的专业演奏者，一批是多种乐器都接触过，玩得很杂的业余者，让他们再接着学习新的几种乐器。\n结果发现，业余者会花很多时间学习第一个新乐器，但是他们能花更少时间学习其它乐器，甚至，当学到第三种乐器时，业余者可以花比专业者更少的时间学习。",[13,150,151],{},"这种情况不仅仅发生在学习乐器上，在学校教育里也存在，如果孩子入大学前什么都尝试过，比那些只在某个专项上努力的学生，学习新事物的时间要少很多。",[13,153,154],{},"罗森茨威格也做出了一个白鼠实验，\n分批让白鼠生活在信息单一匮乏和信息丰富的环境中，结果发现丰富环境成长的老鼠大脑皮层更厚更重，乙酰胆碱的酶更具活性，\n神经元两者数量无差别，但是丰富环境老鼠神经元更大。广泛学习也可以认为是这样的丰富信息的环境。",[13,156,157],{},"如果回到脑结构上，我们往远了思考，\n广泛学习，必定会构建一个更加复杂庞大且有效的神经链接网络，而这个网络中存在更多事物之间的共通性，毕竟他们要节约链接数，\n也意味着不同事物可能会共用一些链接，这使得广泛学习者对于新的类似的事物能更快速地构建链接，加入到这个已经存在的网络里。\n而专业学习者，他们的技能可能更加独立，链接系统也可能独立起来，更加难找到事物的共通性。",[13,159,160,161,164,165,169],{},"所以，",[40,162,163],{},"我认为广泛学习，找到事物的本质和共通性才是我们真正应该追求的","。\n我在 ",[54,166,168],{"href":167},"\u002Farticles\u002Ffind-principles","寻找本质"," 中更加具体地阐述了我是如何利用这个想法，发现生活中的本质的。",[23,171,173],{"id":172},"广泛学习与通用编码器是什么关系","广泛学习与「通用编码器」是什么关系？",[13,175,176],{},"有了对广泛学习和专业学习的讨论，我想再回到我擅长的深度学习上。我会发现，\n对于事物的理解非常像 AutoEncoder 系统中的 Encoder Decoder 概念。\n广泛学习者一直是在训练一个庞大的 Encoder，这个 Encoder 可以理解，编码不同种类的信息，能够进行深度类比和找到事物本质的信息。\n训练出一个万能通用 Encoder，可以大大减轻 Decoder 的学习压力，这也是为什么上面提到的广泛学习者，能快速学习多种不同任务的原因了。",[13,178,179],{},[32,180],{"alt":181,"src":182},"encoder decoder","\u002Fa\u002Fmemory-change-and-deep-learning\u002Fencoder-decoder.png",[13,184,185],{},[40,186,187],{},"换句话讲，广泛学习者利用更多的 Decoding 任务，花了更多时间在学习一个通用 Encoder。如果 Decoding 任务足够多，\nEncoder 就更通用，新的 Decoding 任务学起来就更简单。",[13,189,190],{},"而专业学习者，更像是学着多个不同的 Encoder，所以他们单个 Encoder 特别的强，而不具备通用性。",[13,192,82,193,197],{},[54,194,196],{"href":195},"\u002Farticles\u002Fgeneral-understanding-and-encoder-with-decoder","对编码解码的理解"," 中会更详细地分析这种观点。",[13,199,200],{},"你看，我说了我喜欢挖掘一些深度学习比较本质的东西，这不就是一个吗。以后我对于 Encoder-Decoder 就会有另一种解释了~\n什么迁移学习，多任务学习，多模态学习还不都是这个原理。",[23,202,204],{"id":203},"记忆为什么会发生覆盖与重构","记忆为什么会发生覆盖与重构？",[13,206,207],{},"我再从全局观察一下，想要记忆的第一步，就是过滤多余信息，让脑袋的负载没那么大。当新信息不断地进入长期记忆中，\n我们的神经网络系统将会不断创造新的连接，如果新信息与长期记忆中的旧信息之间是有关系的，那我们原本的网络系统很可能就会被覆盖或者重构。\n这样的好处就是将新信息安好家，找到了一个同兴趣的社区，但是坏消息也有，被重构的网络可能改变原有的记忆，\n这时记忆应该就出现了混淆或者遗忘。",[13,209,210],{},"所以遗忘是有它的合理性的。\n大自然最擅长的是充分利用资源，效率最大化地运转事物。每一种动物的大脑都有着不一样的容积，蚂蚁为什么没有像人一样大的大脑？\n答案是没必要，用不了那么多。同样，我们人的大脑为什么不再长大一点？答案是更大的大脑消耗更多的资源，目前我们的大脑最适合人作为人类所消耗的资源量。",[13,212,213,214,217],{},"在有限的大脑容积内，怎么样可以有效地利用这些脑神经链接，更有利于我们活下去？\n我认为是我们的大脑学会了 ",[40,215,216],{},"\"复用\""," 这些神经链接（上文提到的通用 Encoder）。\n如果某些东西可以在多种场景下，实现复用，那这东西的价值肯定高，效率也不差。",[13,219,220,221],{},"所以本质上来说，我们并没有忘记，而只是之前的神经连接方式变了，\n记忆也就出现了变化，",[40,222,223],{},"有的记忆因原本的链接方式变化而改变，也有的记忆甚至因这场改变而消失了。\n但这场变化也有好的一方面，多个记忆的共同部分因为重复被激活，他们的链接也可以被加强。我把它称为\"事物的共通性被重构加强了\"。",[23,225,226],{"id":226},"对我的影响",[13,228,229],{},"对我的影响肯定是巨大的，在今后的生活学习中，我就会依据上面的这些思考，跟随下面这些原则：",[231,232,233,236,239],"ol",{},[108,234,235],{},"坚持广泛学习，不排斥新领域的新知识；",[108,237,238],{},"不熬夜，多睡觉（这点我依旧是打脸的...）；",[108,240,241],{},"多将新的知识归纳总结到原有的知识体系中",[13,243,244],{},"希望看到这篇文章的朋友共同进步吧。",{"title":246,"searchDepth":247,"depth":247,"links":248},"",3,[249,251,252,253,254,255,256],{"id":25,"depth":250,"text":25},2,{"id":46,"depth":250,"text":46},{"id":90,"depth":250,"text":90},{"id":125,"depth":250,"text":126},{"id":172,"depth":250,"text":173},{"id":203,"depth":250,"text":204},{"id":226,"depth":250,"text":226},"2020-10-01","从信息轰炸到广泛学习，用深度学习的理论来解释人类记忆的变化与成长",false,"md",[262,265,268,271],{"q":263,"a":264},"为什么广泛学习比专业学习更有优势？","广泛学习者训练的是一个'通用编码器'，能理解和编码不同种类的信息。研究表明，接触过多种乐器的业余者学新乐器的速度最终会超过专业演奏者，因为他们掌握了乐器之间的共通本质，大大降低了新任务的学习成本。",{"q":266,"a":267},"为什么我们会遗忘学过的东西？","遗忘不是大脑的缺陷，而是高效利用有限资源的机制。当新信息进入长期记忆，会重构原有的神经连接网络。多个记忆的共同部分因反复激活而加强，而不常用的连接会被覆盖或消失。这是大脑在'复用'神经连接，留下真正重要的知识。",{"q":269,"a":270},"人脑记忆和深度学习模型的迭代有什么相似之处？","深度学习模型通过不断迭代更新网络参数，人脑则在睡眠中不断重放白天的经历来强化新的神经连接。两者都是通过反复'训练'来巩固认知。不同之处在于：人脑的新连接会嵌入已有的记忆网络中，同时更新相关的旧记忆，所以'睡一觉，问题可能就有答案了'。",{"q":272,"a":273},"如何减少信息轰炸对记忆的干扰？","有效记忆的第一步是过滤繁杂信息，降低大脑的负载。可以从屏蔽 95% 的推送通知开始，只保留真正重要的信息源。然后通过广泛学习把有价值的新知识归纳到已有的知识体系中，让不同记忆共用神经连接，提高记忆效率和抗遗忘能力。",{},true,"\u002Farticles\u002Fmemory-change-and-deep-learning",10,{"title":5,"description":258},[280,281,138,282,283,284,285],"记忆与学习","深度学习与人脑","神经网络记忆","遗忘与重构","通用编码器","信息过滤","articles\u002Fmemory-change-and-deep-learning",[288,289],"学习方法","认知科学","article",null,"EmsxsyVIAO5Uhm4WqYVAC5GAislsTwS273T2nD4rmZQ",1782881825549]