Token 是什么？上下文窗口长度有什么用？

Token 可以理解成大模型眼里的字——但它不是严格按中文单字切的，英文一个词经常拆成几个 token，中文一个汉字大概对应一到两个 token。模型的输入输出都按 token 计费，上下文窗口长度（比如 128K）指的就是一次能塞进去的 token 总数。聊天记录太长、文档太大都会超窗口，这时模型会忘掉前面的内容。日常使用有个朴素感受：同样一段话，中文比英文费 token，因为信息密度不一样。