DevCN
菜单
讨论动态发现圈子我关注的我的收藏
# 模型部署与推理

本地运行大模型选显卡,怎样按模型、上下文长度和并发估算需求?

宋国卿 · · 2 次阅读

本地运行大模型选显卡,怎样按模型、上下文长度和并发估算需求?除了显存,内存与部署方式会在哪些情况下影响体验?

提问待解决
REPLIES

回复

0 条回复
暂无回复。