RSS
菜单

文本切片(chunk)怎么切?chunk_size 和 overlap 怎么设?

chunk 大小没有银弹,要看你文档的类型和检索效果。经验值:一般 300-800 token 一个块,配合 50-150 token 的 overlap(重叠),避免把一句话或一个知识点拦腰切断。切割策略:优先按语义边界切——段落、小节、Markdown 标题都是好边界;纯按字符数硬切最容易切碎语义。判断标准很简单:切完跑一遍真实问题,看召回的内容是否完整、准确。另外,结构化文档(有标题层级)建议保留层级信息,检索效果会好很多。

下载推广海报

圈内讨论推广海报

《文本切片(chunk)怎么切?chunk_size 和 overlap 怎么设?》完整推广海报
一起交流

全部回复 0

分享经验,让问题更进一步

讨论,从你的观点开始

还没有回复,欢迎补充经验或分享不同的思路。