有些配置可以，采用虚拟内存+CPU形式运行，可以将天价成本降低PC机器可以跑的，只是token/s的比较小，单也基本可以用！！！适用场景与典型应用参数数量适用场景典型应用1.5B移动端/嵌入式设备简单文本生成（如短回复、摘要）低延迟实时交互智能客服基础版、手机端轻应用7B日常对话代码辅助生成教育问答个人助手、教育……继续阅读 » 开心洋葱 2个月前 (02-11) 2390浏览 0评论2851个赞
一、为什么需要本地部署大模型一般而言，DeepSeek、文心一言、豆包、Kimi等在线的大模型，功能非常强大，完全可以很好满足我们的需求。所以，大多数情况下，我们不需要在本地部署大模型。但是，当我们需要保护个人数据隐私时，也可以考虑在本地部署大模型。和直接使用在线大模型（豆包、Kimi等）相比，在本地部署大模型具有以下优势：（1）数据隐私与安全性。第一……继续阅读 » 开心洋葱 2个月前 (02-08) 2528浏览 0评论1670个赞
