在處理文本數據時，有時我們需要將長文本按照指定的最大長度進行分塊處理，以便更好地進行處理和分析，當前知識庫+LLM產品都需要為用戶上傳的文檔進行知識工程處理（通常是對文檔進行分段，然后進行向量化，最后在問答時向量搜索知識庫以獲得答案）。為了實現這一目標，我們可以使用一個方便的工具類——文本分塊器（TextChunker）。</p><p>本文重點介紹一種文本自動分段方法的操作流程，借鑒了fastGPT、dify等知識庫產品，并使用Java語言實現一個分塊工具類來幫助開發者深入理解和快速上手。</p><p>為什么需要對文檔分段，首先LLM對輸入長度有著天然的限制，比如目前性能較好的gpt3.5-16k，對輸入的長度支持高達到16k，我們對分段的自動設置為LLM的max_tokens的40%，這里我們預設為中文場景，token換算成漢字要打對折，而且我們還要預留LLM響應的token數量，所以取值40%（fastGPT源碼顯示其取值為max_tokens0.45，因為我們希望生成盡可能多的問答對，所以需要預留更多輸出token，故本例取值向下取到40%），生成問答對不是一種必然選項，將再后續文章中展開加以說明。</p><p>每兩個分割的段落的收尾部分有一定重疊，本例為25%（max_tokens0.40.25，fastGPT源碼亦取值0.25），兩段內容首尾有一定重疊可避免生硬分割導致的知識割裂現象。
</p><p><strong>工具類概述</strong></p><p>文本分塊器的主要功能是將輸入的文本按照指定的最大長度進行分塊處理，并返回分塊后的結果和每個分塊的令牌數量。以下是該工具類的主要功能點：</p><ol><li>分塊處理：將輸入的文本按照最大長度進行分塊處理，確保每個分塊的長度不超過最大長度。</li><li>重疊處理：為了避免將句子分開，當一個分塊的長度超過最大長度減去重疊長度時，將前一個句子添加到前一塊的末尾。</li><li>令牌計數：通過調用countPromptTokens方法，可以根據指定的類型計算每個分塊中的令牌數量。這個方法可以根據具體需求進行定制。</li></ol><p><strong>使用方法</strong></p><p>使用文本分塊器非常簡單。下面直接提供Java版完整代碼：</p><p>
</p><blockquote><p>import java.util.ArrayList;
import java.util.List;

/*</p><p> * 按照句號問號分號感嘆號做為句子結束符，保證分割兩塊句子的完整性，同時讓兩段內容之間有一定的重疊。</p><p> /
public class TextChunker {
public static class ChunkInfo {
private final List<String> chunks;
private final int tokens;

public ChunkInfo(List<String> chunks, int tokens) {
this.chunks = chunks;
this.tokens = tokens;
}

public List<String> getChunks() {
return chunks;
}

public int getTokens() {
return tokens;
}
}

public static ChunkInfo splitTextIntoChunks(String text, int maxLen) {
int overlapLen = (int) (maxLen * 0.25); // 重疊長度

try {
String[] splitTexts = text.split("(?<=[。！？；.!?;])"); // 使用正則表達式分割文本成句子
List<String> chunks = new ArrayList<>();

String preChunk = "";
String chunk = "";
int tokens = 0;

for (String sentence : splitTexts) {
chunk += sentence;

if (chunk.length() > maxLen - overlapLen) {
preChunk += sentence;
}

if (chunk.length() >= maxLen) {
chunks.add(chunk);
tokens += countPromptTokens(chunk, "system"); // 計算令牌數量
chunk = preChunk;
preChunk = "";
}
}

if (!chunk.isEmpty()) {
chunks.add(chunk);
tokens += countPromptTokens(chunk, "system"); // 計算令牌數量
}

return new ChunkInfo(chunks, tokens);
} catch (Exception e) {
throw new RuntimeException(e);
}
}

private static int countPromptTokens(String text, String type) {
// 在這里實現你的令牌計數邏輯
// 此函數根據指定的類型計算塊中的令牌數量
// 你應該替換此部分以實現實際的令牌計數邏輯
return 0;
}

public static void main(String[] args) {
String inputText = "這是一個示例文本。它包含多個句子。每個句子都不應被拆分。塊的最大長度為30個字符或更少。運行應輸出測試結果。";
int maxChunkLength = 30; // 該值為每個分塊的最大長度 應使用模型最大token長度0.4

ChunkInfo chunkInfo = splitTextIntoChunks(inputText, maxChunkLength);
List<String> chunks = chunkInfo.getChunks();
int tokens = chunkInfo.getTokens();

System.out.println("總令牌數：" + tokens);
for (int i = 0; i < chunks.size(); i++) {
System.out.println("塊 " + (i + 1) + "：");
System.out.println(chunks.get(i));
System.out.println();
}
}
}
</p></blockquote><p>
</p><ol><li>導入必要的類和方法：</li></ol><p>import java.util.ArrayList;
import java.util.List;</p><p>1. <span style="font-size:14px">創建一個TextChunker對象：</span></p><p>TextChunker chunker = new TextChunker();</p><p>2. <span style="font-size:14px">調用splitTextIntoChunks方法進行文本分塊處理：</span></p><p>String inputText = "這是一個示例文本。它包含多個句子。每個句子都不應被拆分。塊的最大長度為30個字符或更少。運行應輸出測試結果。";
int maxChunkLength = 30;
TextChunker.ChunkInfo chunkInfo = chunker.splitTextIntoChunks(inputText, maxChunkLength);</p><p>3. <span style="font-size:14px">獲取分塊結果和令牌數量：</span></p><p>List<String> chunks = chunkInfo.getChunks();
int tokens = chunkInfo.getTokens();</p><p>4. <span style="font-size:14px">處理分塊結果和令牌數量：</span></p><p>你可以根據需要對每個分塊進行進一步處理，比如進行文本分析、生成問答對等。同時，總令牌數tokens也可以幫助你估計文本的復雜度和計算成本。</p><p>
</p><p><strong>總結</strong></p><p>文本分塊器（TextChunker）是一個實用的工具類，它可以幫助我們將長文本按照指定的最大長度進行分塊處理。通過使用該工具類，我們可以更好地管理和處理文本數據，提高文本處理任務的效率和準確性。此為知識工程的第一步（屬于知識清洗的一部分），可方便后續對知識進一步加工。</p><p>希望本文能夠幫助你了解文本分塊器的基本原理和使用方法。如果你有任何疑問或者想了解更多相關的內容，請隨時留言。謝謝閱讀！</p>