Python AI 实战（07/20）：电脑没显卡 / 显存不够怎么跑 AI 模型？云 GPU 与 CPU 方案

Python AI 实战问答速查手册 · 第 07/20 问

所属板块：环境与安装

结论先行：没有独立显卡也能完成不少 AI 入门练习；较大的训练或推理任务需要根据内存、时延和预算另选方案。

方案一：云 GPU（训练/跑大模型首选）

平台	特点	适合
云 GPU 租用平台	核对 GPU 型号、镜像、费用和数据存储规则	阶段性实验
Google Colab	可用资源、地区支持和额度以平台当前说明为准	学习/实验
Kaggle	资源和配额以账号当前页面为准	比赛/练习
公有云 GPU 实例	按型号、地区、计费方式和运维要求比较	持续运行的项目

方案二：纯 CPU 跑（入门完全可行）

1. 安装 CPU 版 PyTorch（体积小、无 CUDA 报错）：

pip install torch torchvision --index-url https://download.pytorch.org/whl/cpu

1. 能跑什么：机器学习模型、小规模神经网络、中小模型的推理都没问题；训练大模型会很慢，但小模型（MNIST 分类、简单 MLP）可先在 CPU 上用少量数据验证训练流程，耗时需实测。
2. 优化：torch.set_num_threads(4) 试设 CPU 线程数（按机器实测调整）；用小 batch size；用 ONNX Runtime CPU 加速推理。

方案三：跑大模型

• 本地 CPU 推理：用 Ollama 跑小参数量模型（如 Qwen2.5-7B 量化版、Llama-3.2-3B），是否能加载取决于权重精度、上下文长度、KV 缓存及运行时开销，不能只凭参数量或内存容量判断。

• 调用大模型 API：可以减少本地硬件需求。先核对当前价格、数据处理条款和限额，并设置调用预算。

显存不够时的降级思路： 换小模型（如 1.5B/3B 替代 7B/70B）→ 量化（可降低权重存储，但总内存还包含缓存和运行时开销）→ 降低 batch size / 序列长度 → 训练时可用梯度累积扩大有效 batch；推理不使用梯度累积。