以前一直用ClosedAI ChatGPT，这几天国产开源LLM莫名其妙的火就试了一下下载到本地运行是什么效果。32g内存+amd显卡16g显存居然能运行32b参数的deepseek（千问32b蒸馏版，不是真的r1。本机运行速度是网页版的1/10，勉强能用，内存显存全吃满）
比起在线版600多b参数的真r1还是差远了，推理部分像模像样但是回答本身简陋了好多。而且开源版一样有闵感词，难道是训练的时候就已经做进去了。
本机可以运行的开源模型比起一年多前试过的gpt4all里面的忘了啥模型好用多了，那玩意连中文都不能理解也只能用cpu运行，孤儿amd显卡居然能正常跑也是意外的惊喜
为什么思维链llm有时会生成正确的推理过程和错误的答案，说明ai没有真正在推理，而只是表面上看着是推理实际还是在循环根据训练数据和概率在生成下一个最可能出现的词