청킹(문서 분할)Chunking

청킹은 긴 문서를 '검색하기 좋은 크기'로 자르는 작업이에요. 통째로는 너무 길어 검색·참조가 비효율적이라, 문단·섹션 단위로 쪼개 임베딩해요.

조각이 너무 크면 불필요한 내용까지 딸려오고, 너무 작으면 맥락이 끊겨요. 그래서 '얼마나·어디서 자르느냐'가 RAG 품질에 은근히 큰 영향을 줘요. 의미 단위(문단·헤딩)로 자르고 약간 겹치게 하는 게 보통 안전해요.

전략은 크게 세 갈래예요. ①고정 크기 분할 — 글자·토큰 수로 기계적으로 자르는 가장 단순한 방식(빠르지만 문장이 중간에 끊길 수 있음) ②구조 기반 분할 — 헤딩·문단·표 같은 문서 구조를 따라 자르는 방식(매뉴얼·보고서처럼 구조가 좋은 문서에 유리) ③의미 기반 분할 — 임베딩으로 '주제가 바뀌는 지점'을 찾아 자르는 방식(품질은 좋지만 비용이 더 듦). 실무에선 구조 기반을 기본으로 두고, 조각 사이를 10–20% 겹치게(오버랩) 해서 경계에서 맥락이 끊기는 걸 막는 조합이 무난해요.

청킹이 잘못되면 임베딩·검색·모델이 아무리 좋아도 답이 나빠져요 — RAG 품질 문제의 의외로 많은 경우가 모델이 아니라 청킹에서 시작돼요. 품질이 이상하면 '검색된 조각'부터 눈으로 확인하는 게 진단 순서예요.