[{"data":1,"prerenderedAt":180},["ShallowReactive",2],{"blog-post-/zh/blogs/how-ai-models-get-smaller":3},{"id":4,"title":5,"body":6,"description":162,"extension":163,"meta":164,"navigation":173,"ogImage":166,"path":176,"seo":177,"stem":178,"__hash__":179},"zh/blogs/zh/41.how-ai-models-get-smaller.md","AI 模型怎样变小，又可能丢掉什么？",{"type":7,"value":8,"toc":154},"minimal",[9,13,16,19,24,28,31,42,45,49,58,124,127,130,133,136,139,142,145,148,151],[10,11,12],"p",{},"一个识别手写数字的小模型，从 2,616 字节缩到了 416 字节。在同样的 540 张测试图片上，答对数量从 522 降到 520。",[10,14,15],{},"再压到 256 字节，答对数量降到了 390。一张原本识别为 0 的图片，现在被判断成了 9。",[10,17,18],{},"这是我们用一个已训练的小分类器和简单量化方法做的教学实验。它把取舍摆了出来：保存的模型可以小很多，同时保留大部分表现；但精度变得过于粗糙时，更多答案会发生变化。怎么选，要看你的任务需要什么答案。",[20,21],"youtube-embed",{"title":22,"videoId":23},"How AI Models Get Smaller—and What They Can Lose","ZbpnL9uX5Rk",[25,26,27],"h2",{"id":27},"用更少的数值表示原来的信息",[10,29,30],{},"想象量一块搁板：83.7 厘米，取整记成 84 厘米，可能仍足够用来决定摆放位置。如果只保留到十厘米，83.7 就成了 80。要把它装进两面墙之间，这个误差可能就不能接受了。",[10,32,33,34,41],{},"模型里有许多叫作权重的数值。量化用更少的比特保存其中一些数值，再通过缩放系数，把保存的编码对应回近似值。4 比特能表示 16 种编码，8 比特能表示 256 种。",[35,36,40],"a",{"href":37,"rel":38},"https://huggingface.co/docs/transformers/quantization/concept_guide",[39],"nofollow","Hugging Face 的概念说明","介绍了这些方式及其取舍。",[10,43,44],{},"变化发生在数值表示上，输入图片可以完全不变。某个权重的变化会不会改变最终答案，取决于模型、方法和输入。",[25,46,48],{"id":47},"同样的-540-张图片四个保存版本","同样的 540 张图片，四个保存版本",[10,50,51,52,57],{},"我们使用 ",[35,53,56],{"href":54,"rel":55},"https://scikit-learn.org/stable/modules/generated/sklearn.datasets.load_digits.html",[39],"scikit-learn 的手写数字数据集","，训练了一个小分类器。测试图片保持不变，再用四种权重精度保存同一个模型。",[59,60,61,77],"table",{},[62,63,64],"thead",{},[65,66,67,71,74],"tr",{},[68,69,70],"th",{},"权重精度",[68,72,73],{},"保存文件大小",[68,75,76],{},"540 张图片中答对数量",[78,79,80,92,102,113],"tbody",{},[65,81,82,86,89],{},[83,84,85],"td",{},"32 比特基准",[83,87,88],{},"2,616 字节",[83,90,91],{},"522",[65,93,94,97,100],{},[83,95,96],{},"8 比特",[83,98,99],{},"736 字节",[83,101,91],{},[65,103,104,107,110],{},[83,105,106],{},"4 比特",[83,108,109],{},"416 字节",[83,111,112],{},"520",[65,114,115,118,121],{},[83,116,117],{},"2 比特",[83,119,120],{},"256 字节",[83,122,123],{},"390",[10,125,126],{},"4 比特版本的保存文件约小了 6.3 倍，答对数量少了两张。8 比特版本答对数量相同；但仅凭总数相等，不能断言每张图片的预测都完全相同。",[10,128,129],{},"这些文件还包含文件头、偏置，以及量化版本需要的缩放系数。因此，完整的 4 比特文件并不是 32 比特文件大小的严格八分之一。",[10,131,132],{},"这个结果不能证明“4 比特总是安全”或“2 比特一定不行”。它只来自一个小分类器、一次固定的数据划分和一种简单方法。现代量化方法与语言模型的表现可能不同。",[25,134,135],{"id":135},"文件大小不能代替等待时间",[10,137,138],{},"实验中，我们把每个版本解包、还原成浮点数，再运行相同的计算。这里测量的是保存文件大小和预测结果，没有测运行内存或速度。",[10,140,141],{},"真实的低精度运行需要相应的软件和硬件支持。下载更小确实有用，但不能据此知道你的电脑完成任务要等多久。存储、运行内存、答案质量和等待时间，需要分别测量。",[25,143,144],{"id":144},"用自己的任务来选择",[10,146,147],{},"替换模型之前，收集一小组你真正关心的任务。放进几个简单例子、几个容易出错的例子，以及答错后会影响决定的情况。先写清楚什么结果算可接受。",[10,149,150],{},"把相同输入交给不同版本，查看发生变化的答案，并在自己的机器上记录完成任务的实际时间。有条件时，再记录存储和内存占用。小模型可能是很好的取舍，但某个关键任务失败，也可能比漂亮的平均值更重要。",[10,152,153],{},"这次实验值得记住的是两个具体结果：416 字节、答对 520 张；对照版本为 2,616 字节、答对 522 张。文件确实变小了，答案差异也确实存在。选择能够满足要求的最小版本，而判断依据应该来自你真正要它完成的工作。",{"title":155,"searchDepth":156,"depth":156,"links":157},"",2,[158,159,160,161],{"id":27,"depth":156,"text":27},{"id":47,"depth":156,"text":48},{"id":135,"depth":156,"text":135},{"id":144,"depth":156,"text":144},"同一个手写数字小模型、四档保存精度和同样540张测试图，解释模型量化的取舍，以及选择小模型前该检查什么。","md",{"date":165,"image":166,"alt":167,"category":168,"tags":169,"published":173,"draft":174,"youtube":175},"23rd Oct 2026","/blogs-img/2026-10-23-how-ai-models-get-smaller-cover.webp","同一张手写数字0，在32比特版本预测为0，在2比特版本预测为9，旁边是小模型是否保留相同答案的标题。","ai-native-systems",[170,171,172],"量化","本地AI","模型评估",true,false,"https://youtu.be/ZbpnL9uX5Rk","/blogs/zh/how-ai-models-get-smaller",{"title":5,"description":162},"blogs/zh/41.how-ai-models-get-smaller","XvUFCE6c3O4QWYYy-3QFJF9oAOwkvHk9EbMmvId8Mjg",1792768950356]