返回主页

文本分块(RAG)

按 token 上限把长文切成句子完整的片段,可设重叠,导出 JSONL 给 embedding

每块上限
重叠
分词器
原文
分块结果
分块结果会显示在这里

优先在句子边界切开,单句超过上限时才按字符硬切;重叠会把上一块结尾的整句带到下一块开头,所以块数会略多。导出的 JSONL 每行是 { id, tokens, text },可以直接喂给 embedding 脚本。上限按估算 token 计算,与模型真实计数会有少量偏差。