上周三晚上,一位开诊所的朋友问我一句话。
他说:客户资料我能不能不上传?就放在我自己这台电脑里。
我没直接回答。因为我知道他想要的不是安慰,是一个能落地的数字。
所以我用了一整天,把 AI 真的装进了一台 6GB 显存的笔记本。
结果先给你:能装。但有墙。
一、他怕的不是 AI,是「东西去哪了」
先说清楚他在怕什么。
他诊所电脑里存着三千多份客户档案,含姓名、电话、就诊记录。
用云端 AI 客服,这些资料要被切片、上传、向量化——也就是变成机器能检索的碎片,存到别人机房的硬盘上。
他不懂什么叫向量化。他只问了一句:那我这些东西,最后存在谁家里?
这个问题,很多老板都问过。卖软件的通常答得很快:加密的、合规的、有协议的。
但老板要的不是形容词。他要的是:能不能不出这个门。
二、「显存天花板」:决定哪些 AI 装得进你抽屉
我把这件事总结成一个词:「显存天花板」。
显存,就是显卡自带的那块内存。它决定了你的电脑能同时装下多大的 AI 模型。
你可以理解为:模型是一整套家具,显存是你的客厅面积。
家具太大,客厅放不下——不是你不努力,是面积摆在那儿。
今年主流办公本,显存大多在 4GB 到 8GB 之间。我这台是 6GB。
这 6GB,就是我要撞的那道墙。墙很硬。
三、第一天,我撞了两次
第一次撞墙,是软件版本。
我按网上的教程装好,一启动,程序直接退出。报错原文是一长串英文,翻成人话是:你这套工具太旧,我的零件它不认识。
我换了三个版本。才跑通。:CUDA 13.0 那一档,也就是显卡驱动对应的新版本。
白话一句:这不是装个软件那么简单,是零件必须对号。
第二次撞墙,是速度。
第一次出图,我等了 212 秒——三分半。因为 5GB 的模型要从硬盘搬进显存。
搬完就好了。第二张开始,49.8 秒;第三张,42.3 秒。
这个数字你得记住,后面判断用得上。
四、它画得出来,也画得出笑话
接下来是我最想给你看的部分。
我让它画「一位老板深夜看账单」。它画出来了,光影很真,人物很稳。
但画面里那张 A4 纸,悬空浮在桌子上方。
纸上还写着一行字:「中国旅游公室」。这五个字,是它自己编的。
我又让它画「咖啡和笔记本特写」。键盘上的 Shift 键、Ctrl 键,全糊成了乱码像素。
再让它画「中年男性办公侧影」。这张成了:手部自然、没有悬空、光影可信,可以直接用。
三张图,三种命。差别就在这儿。
这就是本地 AI 现在的真实水平:氛围能给你,精确不给。
五、三档判断表:你的活儿该放哪
我把这一天撞出来的经验,做成一张表。你对着自己的活填就行。
| 你要做的事 | 放本地 | 上云端 | 为什么 |
|---|---|---|---|
| 客户资料切片、建知识库 | ✅ | ❌ | 资料不出门,这是本地唯一不可替代的价值 |
| 出氛围图、B-roll、背景图 | ✅ | ❌ | 一张 42 秒,零成本,够用 |
| 画面里要有文字、表格、招牌 | ❌ | ✅ | 本地必崩,字全是乱码 |
| 要精确的产品图、封面 | ❌ | ✅ | 本地出不来,别硬试 |
| 每天几百次问答的客服 | ⚠️ | ✅ | 本地能跑,但并发一高就排队 |
| 敏感资料的问答检索 | ✅ | ⚠️ | 混合:本地存、本地答,只把脱敏问题发出去 |
一句话总结这张表:越涉及别人的隐私,越该放本地;越要求精确,越该上云。
六、几个你一定会问的
问:本地跑 AI,是不是就不用花钱了?
答:软件和模型都不花钱,我这套 0 元。花的是电费和你的时间——装环境花了半天。
问:我这台老电脑能行吗?
答:看显存。6GB 能跑我这种图,4GB 会很吃力,8GB 以上宽松。不是看 CPU 多强。
问:那我的资料就绝对安全了?
答:不是。本地只是「不出门」,不等于「不泄露」。内部谁能看、谁拷走了,还得靠权限和日志管。
问:既然本地这么麻烦,为什么还要做?
答:因为有一类资料,你根本不能上传。不是不想,是不能。这类资料,只有本地这一条路。
七、我的判断
这一年大家都在比谁的模型更强、更便宜。
但对你我这种规模的企业,真正的分水岭不是模型强弱,是资料能不能留在自己手里。
昨天我还在算云端降价能省多少钱。今天我把 AI 搬回了自己桌上,才发现另一件事:
降价解决的是成本问题,本地解决的是信任问题。这是两笔账。
「显存天花板」这道墙,现在确实还在。6GB 只能装下一个小模型,画图会出悬空的笑话。
但墙在往下走。一年一米。三年前这需要一张两万块的卡,今天一台办公本就能跑。
你要做的判断不是「等不等得起」,是哪些资料你等不起。
我是合尘猫。我们专注小微企业的知识库与 AI 客服落地,也把资料不出门的本地方案跑通过。
你手上如果有「绝对不能上传」的资料,可以说说是什么类型,我看看本地能不能接住。
留言说你的场景,我看到会回。