1921_关于AI大模型本地部署以及API token购买的一些想法

之前在网络上看到了很多本地部署大模型的说法，我一直没有尝试，总觉得这个东西可能会比较难，不一定能够快速的掌握起来。这个周末还是有点忍不住好奇之心，找了几个简单的教程看了看，发现这个东西部署起来原来是这么的容易，基本上就跟装个软件也没有什么太大的区别。但是我的电脑配置相对来说比较低，于是就尝试了几个非常小的模型，参数非常小。用下来之后发现推理的结论与我自己已知的信息相差非常大，有的推理过程以及给出来的结果完全是胡说八道。

我也下载了几个专门针对 coder 的模型，原本还有所期待，觉得这种针对性的模型可能虽小但能力不错。但是实际使用的体验还是非常的不好，写个简单的 Python 脚本都会出错。有时候还会写一半就停下来，也不知道是为什么。如果你说是 token 消耗的太多，看消耗的 token 量似乎也不是这个问题。但是它就是停下来了。当然，我只是拿来做一做体验，进行反复的对比而已。即便是这样，在对比的过程之中我也总有一种冲动，去直接把我想要写的脚本需求贴到 DeepSeek 的官网上的 chat 窗口里，或者直接发给豆包。甚至发给千问，我觉得他们三个基本上都能够一分钟左右就能够把我需要的这个脚本给我写完，大概率还是一点错误都没有。

相应的小脚本我之前让 DeepSeek 给我写过，而且运行得非常好。今天我把同样的需求又发给了 DeepSeek，它给我了一个完全不同的解决方案。但是我直接按照它的方案再次测试，这个功能也是一点问题都没有。相比之下，这几个小模型除了微软的那个纯 CPU 的小模型表现还差强人意之外，其他的小模型用起来真的是不是那么顺手，总是让人感觉到急躁。但是微软的这个小模型在我的电脑上使用的时候也有一个问题。我的电脑是 Surface Pro 5，I7 处理器的版本，配了 16G 的内存，全都是固态硬盘。我发现只要是运行微软的这个小模型，CPU 就是 100%，这个我是理解的。但是 CPU 100% 的同时，它会断网，断网有时候还会导致以后直接搜不出来网络，这就是一个很神奇的现象了，不知道是一个什么冲突导致的。

我知道这很大的原因是因为我的电脑配置不行导致的，于是我就想去尝试搜索一下，配置一个大模型，表现比较好的那种，需要什么样的电脑配置。比如说，我不去使用满血版本的 DeepSeek V4 Pro，我使用 DeepSeek 的 V4 Flash。结果发现，即使是这样的一个配置，需要的一台机器可能也是二三十万才能搞得定满血的体验。难怪目前这么多人都去买 API token，当前的这个价格的确是让很多普通的消费者直接止步了。现在也有一些其他的电脑方案，可能几千块钱，或者是 1 万元左右，或者是两三万，也能够进行一些流畅的本地大模型部署，只是参数量不是那么大。但是我猜测，这样的模型在解决问题上，可能并不是能够带来很好体验的那种。

经过了这两周多的各种尝试，收费的、免费的、本地的、各种各样。我自己总结出来的经验可能还是，如果是比较重要的事情，自己的确需要这种深度分析，而且需要一定的工作流的时候，那就直接去买 API token。如果是简单的文本分析或者是文件分析，那么直接去使用免费的 DeepSeek 和豆包，可能给我们的体验会更好。

至于什么本地部署之类的，感兴趣的话，就当做兴趣玩一玩。想把这个搞成一个很顺手的生产力工具，我感觉至少在汽车电子嵌入式这方面，目前还是行不通。