[{"data":1,"prerenderedAt":261},["ShallowReactive",2],{"article-compress-learning":3},{"id":4,"title":5,"body":6,"cover":36,"date":224,"description":225,"draft":226,"extension":227,"faq":228,"featured":226,"meta":241,"navigation":242,"path":243,"readingTime":244,"seo":245,"seoKeywords":246,"stem":254,"summary":15,"tags":255,"type":258,"updated":259,"video":259,"__hash__":260},"articles\u002Farticles\u002Fcompress-learning.md","会学习 = 善于压缩信息",{"type":7,"value":8,"toc":209},"minimark",[9,16,21,24,27,30,37,42,50,56,59,65,68,73,78,81,87,97,100,103,109,112,118,121,126,130,133,137,148,154,158,161,166,169,173,176,181,184,188,191,194,199,203,206],[10,11,12],"blockquote",{},[13,14,15],"p",{},"高效学习的本质是信息压缩。类比 AI 自编码器的中间层瓶颈设计，人脑只有被迫压缩知识时才会形成深层理解，而非机械记忆。",[10,17,18],{},[13,19,20],{},"我家儿子 3 岁时，迷上了模仿游戏。有一天，我假装生气叉腰走开，他立刻学我生气叉腰走开，像模像样十分有趣。不过这个简单的模仿行为让我不禁思考：模仿本质上是一种数据无损搬运，并不是一种深度思考后的学习过程。类似的抄单词，死记硬背这类的学习过程和模仿并无差异，所以不算真正的学习。",[13,22,23],{},"那么看透\"会学习\"的本质，才能让我从\"模仿式学习\"升级到\"理解型学习\"！",[13,25,26],{},"我十分熟悉 AI，见证了 AI 从复制知识，到应用知识的过程。为什么我标题说：学会学习=善于压缩信息？这两个看似不相关的描述，其实背后有着深刻的联系。现在，我们就从 AI 模型训练的视角，探讨一下模型的\"压缩式学习\"，并最终应用这种技巧到自己的学习中。",[13,28,29],{},"熟悉 AI 的朋友应该见过各式各样的模型结构。你们有没有发现很多神经网络模型的设计往往是两头大中间小？",[13,31,32],{},[33,34],"img",{"alt":35,"src":36},"Basics of Autoencoders","\u002Fa\u002Fcompress-learning\u002Fc8f3f2c8914d58fec5563d3c687bc7e1.png",[38,39,41],"h2",{"id":40},"自编码模型如何体现压缩学习的优势","自编码模型如何体现压缩学习的优势？",[13,43,44,45,49],{},"自编码器（Autoencoder）是一种神经网络模型，它的结构特点是输入层和输出层的神经元较多，而中间的隐藏层神经元较少。这种设计的目的，正是为了",[46,47,48],"strong",{},"强迫模型压缩信息","。",[13,51,52],{},[33,53],{"alt":54,"src":55},"UNET architecture","\u002Fa\u002Fcompress-learning\u002FUNET-architecture-with-Sentinel-2-10-bands-as-input.png",[13,57,58],{},"想象一下，如果1G的数据信息要从输入传递到输出，每层信息传递的通道大小一样，那么信息可以完全无损地一个字节一个字节被copy过去。神经网络也不需要理解你那1G的信息有些啥，照搬就好。",[13,60,61],{},[33,62],{"alt":63,"src":64},"image.png","\u002Fa\u002Fcompress-learning\u002F5533eff7925426d84670d485c028215e.png",[13,66,67],{},"但如果是两头大中间小的结构，中间没法让你直传1G数据，你得想办法把源数据压缩了，然后再在输出端解压出来。在这个过程中，模型得学会在这1G的数据中，丢弃什么，保留什么。解压时得从更少的信息中，还原出所有信息量来。通过这种模式的模型训练，模型才在它的权重中训练出了对源信息的理解能力。",[13,69,70],{},[33,71],{"alt":63,"src":72},"\u002Fa\u002Fcompress-learning\u002Fbbf7ebfcc0c992deb430309da80fc0f5.png",[74,75,77],"h3",{"id":76},"清华半开卷考试怎样在实践中做知识压缩","清华半开卷考试怎样在实践中做知识压缩？",[13,79,80],{},"我们生活实际中也有压缩学习的案例。清华大学有一种半开卷考试，允许学生带一张A4纸进考场，但要求他们把书本知识压缩到这张纸上。",[13,82,83],{},[33,84],{"alt":85,"src":86},"","\u002Fa\u002Fcompress-learning\u002Fad14aa3165243f48e0eb0273af1efd14.png",[13,88,89,90,93,94,49],{},"这种做法，本质上也是一种信息压缩的学习方法。学生们必须在有限的空间内，提炼出最重要的知识点，建立知识之间的链接。和 ",[46,91,92],{},"两头大中间小"," 的模型一样，",[46,95,96],{},"迫使我们将书本知识（大）压缩成 A4 纸（小），然后再利用 A4 纸解压出知识去考试作答（大）",[74,98,99],{"id":99},"两头大中间小的结构在模型中无处不在",[13,101,102],{},"神经网络之父 Hinton 曾提到，大语言模型的体积和链接数是有限的，因此它只能将知识压缩、提炼、找到关联并存储到权重中。这种压缩和提炼的过程，正是迫使模型主动去\"理解\"知识，将知识关联在同一个网络连接的关键。",[13,104,105],{},[33,106],{"alt":107,"src":108},"实践中的扩散模型","\u002Fa\u002Fcompress-learning\u002F7d8803fe879f5797cfafb7d965cb5d88.jpg",[13,110,111],{},"在大语言模型 GPT，扩散模型 SD，生成对抗模型 GAN，UNet 等等，都能找到这样类似的两头大中间小的强迫性信息压缩结构。可以说，算法研究者们正在验证 AI 的学习方法就是一种\"压缩学习\"的方法。",[13,113,114],{},[33,115],{"alt":116,"src":117},"U-Net Explained","\u002Fa\u002Fcompress-learning\u002Fd1b06f17d046d217fa5ce76ff5b7d038.png",[13,119,120],{},"有兴趣的同学可以再去搜搜机器学习的 \"潜空间 Latent Space\" 这个关键词，模型潜空间的形成，就是模型训练出排除信息中噪声数据，能对源数据的本质特征做提炼的模式。",[13,122,123],{},[46,124,125],{},"类比人类，潜空间可以被认为是人类对不同事物共性认知的空间。",[38,127,129],{"id":128},"那么我们要怎样学习","那么我们要怎样学习？",[13,131,132],{},"既然我们已经从AI模型的视角理解了\"会学习\"的本质是\"善于压缩信息\"，那么接下来，我们该如何将这一洞察应用到自己的学习过程中呢？以下从我自身实践经历中提炼出的实用建议，帮助你从\"模仿式学习\"升级到\"理解型学习\"。",[74,134,136],{"id":135},"_1-用自己的话总结","1. 用自己的话总结",[13,138,139,140,143,144,147],{},"用上文提到的 ",[46,141,142],{},"A4 纸总结模式","。每学一本新书或新章节时，即使书中有现成的总结段落，也不要照着抄。强迫用",[46,145,146],{},"自己的话","进行压缩和总结。",[13,149,150,151,49],{},"这种提炼过程，本质上是对信息的压缩和重构。它",[46,152,153],{},"迫使你主动思考哪些信息是核心，哪些是冗余的，从而形成对知识的深度理解",[74,155,157],{"id":156},"_2-建立知识之间的关联","2. 建立知识之间的关联",[13,159,160],{},"压缩信息的另一层含义是找到不同知识之间的关联。AI模型通过压缩信息，将看似不相关的数据点链接在一起，形成潜空间中的抽象表示。同样，我们在学习时，也应该尝试将不同领域的知识联系起来。",[13,162,163],{},[33,164],{"alt":63,"src":165},"\u002Fa\u002Fcompress-learning\u002F808979673b661f4454746651aab07d12.png",[13,167,168],{},"例如，学习物理时，可以思考它与数学的关系；学习经济学时，可以结合心理学和社会学的视角。这种跨学科的关联不仅能够加深理解，还能激发创造性的思考。",[74,170,172],{"id":171},"_3-从被动接收转为主动输出","3. 从被动接收转为主动输出",[13,174,175],{},"AI模型在压缩信息的过程中，不仅仅是接收数据，还需要通过训练不断调整自己的权重，以更好地表达信息。同样，我们在学习时，只有主动\"输出\"后得到反馈，你才能在你的\"潜空间\"修正完善你的认知体系。",[13,177,178],{},[33,179],{"alt":63,"src":180},"\u002Fa\u002Fcompress-learning\u002F36a27ac1bfc013354a527e7382624510.png",[13,182,183],{},"输出可以是写一篇总结文章、绘制一张思维导图，或者向他人讲解所学内容。通过输出，你可以检验自己是否真正理解了知识，同时也能进一步压缩和提炼信息。",[74,185,187],{"id":186},"_4-培养潜空间思维","4. 培养\"潜空间\"思维",[13,189,190],{},"潜空间是AI模型对信息进行抽象和提炼的结果，它代表了模型对数据的本质理解。同样，我们在学习时，也应该培养一种\"潜空间\"思维，即透过现象看本质。",[13,192,193],{},"例如，在学习一门语言时，不要仅仅记忆单词和语法，而是多耗些脑力尝试理解语言背后的逻辑和文化；在学习艺术时，不要仅仅模仿技巧，而是多耗些脑力思考艺术表达的情感和思想。",[13,195,196],{},[46,197,198],{},"你会发现透过现象看本质总是需要更多的脑力消耗，也总是能让你印象更深刻。",[38,200,202],{"id":201},"压缩式学习给我们的学习观带来什么启示","压缩式学习给我们的学习观带来什么启示？",[13,204,205],{},"\"会学习\"不仅仅是记忆和模仿，而是一种对信息的深度压缩和提炼。通过借鉴AI模型的\"压缩式学习\"方法，我们可以从被动的\"模仿式学习\"升级到主动的\"理解型学习\"。这不仅能够提高学习效率，还能帮助我们更好地掌握知识的本质，从而在复杂多变的世界中游刃有余。",[13,207,208],{},"所以，下一次当你面对大量信息时，不妨问问自己：我该如何压缩这些信息？我该如何提炼它们的核心？当你开始用这种思维方式去学习时，你会发现，学习不再是负担，而是一种充满乐趣的探索过程。",{"title":85,"searchDepth":210,"depth":210,"links":211},3,[212,217,223],{"id":40,"depth":213,"text":41,"children":214},2,[215,216],{"id":76,"depth":210,"text":77},{"id":99,"depth":210,"text":99},{"id":128,"depth":213,"text":129,"children":218},[219,220,221,222],{"id":135,"depth":210,"text":136},{"id":156,"depth":210,"text":157},{"id":171,"depth":210,"text":172},{"id":186,"depth":210,"text":187},{"id":201,"depth":213,"text":202},"2024-09-01","从 AI 模型的压缩式学习方法，领悟人类高效学习的本质",false,"md",[229,232,235,238],{"q":230,"a":231},"什么是压缩式学习？","压缩式学习是指将大量信息提炼为核心原理和规律的学习方式。类比 AI 中的自编码器模型，输入大量数据后通过中间层的'瓶颈'强迫模型学会信息的本质特征，而非逐字逐句记忆。",{"q":233,"a":234},"为什么死记硬背不算真正的学习？","死记硬背本质上是数据的'无损搬运'，类似复制粘贴，并没有经过大脑的深度加工。真正的学习需要信息压缩——把知识转化为更精炼的理解形式，这样才能实现知识的灵活应用和迁移。",{"q":236,"a":237},"如何在日常学习中实践压缩式学习？","核心方法是：学完一个知识后，尝试用一句话或一个类比向别人解释清楚。如果说不出来，说明还没有真正压缩理解。就像 AI 自编码器的瓶颈层一样，强迫自己用更少的'带宽'表达，反而能抓住知识的本质特征。",{"q":239,"a":240},"压缩式学习和 AI 自编码器有什么关系？","AI 自编码器的设计是两头大中间小，中间的'瓶颈层'强迫模型只保留最核心的特征。人脑学习也类似：当你被迫用更精炼的方式理解知识时，大脑会自动过滤噪声，提取本质。这种'被迫压缩'的过程，才是从浅层模仿到深度理解的关键转折。",{},true,"\u002Farticles\u002Fcompress-learning",10,{"title":5,"description":225},[247,248,249,250,251,252,253],"高效学习方法","信息压缩","自编码器","学习本质","AI 学习方法","知识压缩","深度理解","articles\u002Fcompress-learning",[256,257],"学习方法","认知科学","article",null,"V_Y7vs6N_XSk0YEcw6o_CBmantqNtbB5hweh7tqPvWA",1782881824955]