Python AI 实战（20/20）：Python 模型怎么打包成服务给其他语言调用？接口化方案

Python AI 实战问答速查手册 · 第 20/20 问

所属板块：部署上线

结论：最通用、最推荐的是 REST API（FastAPI 起服务，任何语言 HTTP 调用）；要极致性能用 gRPC；要嵌入端侧用 ONNX Runtime 多语言 SDK。

方案一：REST API（常见的跨语言接入方式） Python 侧用 FastAPI 起服务（见第 18 题），其他语言用各自的 HTTP 客户端调用：

# Python 调用
import requests
resp = requests.post("http://127.0.0.1:8000/predict", json={"features": [1.0, 2.0]}, timeout=30)
resp.raise_for_status()
print(resp.json())

// Java 11+，保存为 PredictClient.java
import java.net.URI;
import java.net.http.HttpClient;
import java.net.http.HttpRequest;
import java.net.http.HttpResponse;
import java.time.Duration;

public class PredictClient {
  public static void main(String[] args) throws Exception {
    HttpClient client = HttpClient.newHttpClient();
    HttpRequest request = HttpRequest.newBuilder(
        URI.create("http://127.0.0.1:8000/predict"))
      .timeout(Duration.ofSeconds(30))
      .header("Content-Type", "application/json")
      .POST(HttpRequest.BodyPublishers.ofString("{\"features\":[1.0,2.0]}"))
      .build();
    HttpResponse<String> response = client.send(
      request, HttpResponse.BodyHandlers.ofString());
    System.out.println(response.statusCode());
    System.out.println(response.body());
  }
}

优点：语言无关、调试方便（curl 就能测）、生态成熟。缺点：JSON 序列化有少量开销。

方案二：gRPC（高性能内部服务） 用 protobuf 定义接口，Python 起 gRPC 服务，Java/Go/C++ 等生成客户端直接调用：

syntax = "proto3";
service Predictor {
  rpc Predict (PredictRequest) returns (PredictResponse);
}
message PredictRequest { repeated float features = 1; }
message PredictResponse { repeated float prediction = 1; }

优点：二进制协议、性能高、强类型、支持流式。缺点：需要生成代码、调试不如 REST 直观。适合内部高并发服务间调用。

方案三：ONNX Runtime 多语言 SDK（嵌入式/端侧） 模型导出成 ONNX 后，各语言直接用官方 SDK 加载推理，不经过网络、完全嵌入进程：

# 导出：torch.onnx.export(...)

• ONNX Runtime 提供 C/C++、C#、Java、JavaScript 等 API，各语言的接口和安装方式不同。Go 项目通常需要社区绑定、C API 封装或通过 HTTP/gRPC 调用，不能把 Go 绑定一概称为官方 SDK。

• 适合：移动端 App、桌面软件、IoT 设备，或需要毫秒级延迟的场景。

方案四：消息队列（异步大批量） 模型服务消费 Kafka/RabbitMQ 的任务，其他语言只负责投递消息。适合离线批处理、任务不要求实时返回。

选择建议表：

场景	选型
对外 API、跨语言通用	REST（FastAPI）
内部服务高性能调用	gRPC
端侧/嵌入式、无网络	ONNX Runtime SDK
异步大批量任务	消息队列
调用方是浏览器	REST 或 REST+WebSocket 流式

推荐学习路径：先做 REST API（先验证请求格式、超时和错误处理），再按业务需要补 gRPC 或 ONNX Runtime。