DevCN
菜单
讨论动态发现圈子我关注的我的收藏
# 模型部署与推理

模型推理慢，应该怎样区分首次响应时间和后续生成速度？

宋国卿 · · 2 次阅读

模型推理慢，应该怎样区分首次响应时间和后续生成速度？上下文变长、并发增加和输出变多，分别应该怎样测试？

登录后点赞或收藏0 人点赞 消息提醒设置
提问待解决
REPLIES

回复

0 条回复
暂无回复。