Graphify 토큰 효율성 실험 — Sullivan 볼트 대상
요약
Sullivan 볼트(37개 마크다운 파일)에 Graphify를 적용하고, 동일한 질문에 대해 “Raw 파일 전체 읽기” vs “Graphify 그래프 쿼리” 두 방식의 토큰 소비를 비교했다. 현재 규모에서 4.8배 절감(79%)을 확인했으며, 토큰 절감보다 관계 사전 추출과 스케일 대응이 더 핵심적인 가치임을 발견했다.
1. 실험 설계
질문
“AI Native 근육이 왜 에이전트 설계, 콘텐츠 품질, 채용 패러다임 3개 영역을 관통하는가?”
방법
- Method A (Raw 읽기): Sullivan 볼트의 37개 .md 파일을 전부 읽고 LLM에 전달하여 답변
- Method B (Graphify 쿼리): graph.json에서 “AI Native 근육” 관련 노드를 BFS(depth 3)로 탐색, 관련 노드·엣지만 추출하여 LLM에 전달
측정 기준
- LLM에 입력되는 컨텍스트의 문자 수 및 추정 토큰 수
- 한국어+영문 혼합 텍스트의 토큰 추정: ~3.5 chars/token
2. 측정 결과
| Method A: Raw 전체 읽기 | Method B: Graphify 쿼리 | |
|---|---|---|
| 입력 범위 | 37개 파일 전부 | 40개 노드 + 44개 엣지 |
| 총 문자 | 38,196 | 7,960 |
| 추정 토큰 | ~10,913 | ~2,274 |
| 절감률 | 기준 | 79% 절감 (4.8배) |
Raw 파일 상위 10개 (크기순)
| 파일 | 문자 수 | 추정 토큰 |
|---|---|---|
| Case Study ; 콘텐츠 퀄리티 개선 프로세스.md | 4,367 | ~1,247 |
| dissect 6축 프레임워크 실전 검증.md | 4,359 | ~1,245 |
| 이력서 이후 시대, 쓸모를 증명하라.md | 3,412 | ~974 |
| 구직·채용 자동화의 양면.md | 2,726 | ~778 |
| 업무 전체를 AI 워크플로우로.md | 2,682 | ~766 |
| Claude Code 개선 사례 자동 리포팅.md | 2,076 | ~593 |
| 더 나은 에이전트 하네스를 위한 사고법.md | 1,607 | ~459 |
| 개발자의-전환과-현실감각.md | 1,564 | ~446 |
| weekly-2026-04-05.md | 1,448 | ~413 |
| 2026-04-01.md | 1,425 | ~407 |
Graphify 쿼리 상세
- 시작 노드: “AI Native Muscle - Making Not Finding”, “AI Native Muscle - Making Not Searching”, “AI Native 근육 개념”
- BFS depth 3으로 탐색: 81개 전체 노드 중 40개 관련 노드 추출 (49%)
- 관련 엣지 44개 (관계 타입 + 신뢰도 포함)
- 냉면 후기, 아침 루틴 메모 등 무관한 노드는 자동 배제
3. 분석
3-1. 토큰 효율
4.8배 절감. Graphify 공식 벤치마크(71.5배)에 비해 낮은 이유:
- 공식 벤치마크: 52개 파일 + 논문 + 이미지 포함 대규모 코퍼스
- Sullivan 볼트: 37개 마크다운 파일, ~8,000 단어의 소규모 코퍼스
- 소규모 코퍼스에서는 절감 비율이 구조적으로 낮음
3-2. 노이즈 제거
| 관점 | Raw | Graphify |
|---|---|---|
| 무관한 파일 | 냉면 후기, 아침 루틴 등 전부 포함 | 질문 관련 노드만 탐색 |
| 관계 추론 | LLM이 매번 파일 간 관계를 처음부터 추론 | 관계가 이미 추출·태깅 (EXTRACTED/INFERRED) |
| 반복 질문 비용 | 매번 37개 파일 전체 읽기 | 1회 컴파일 후 쿼리는 계속 저비용 |
3-3. 스케일링 전망
| 볼트 규모 | Raw 추정 토큰 | Graphify 추정 토큰 | 절감 비율 | 비고 |
|---|---|---|---|---|
| 37파일 (~8K 단어) | ~10,913 | ~2,274 | 4.8x | 현재 |
| 100파일 (~22K 단어) | ~29,500 | ~3,000 | ~10x | 관련 노드 수는 비슷 |
| 300파일 (~66K 단어) | ~88,500 | ~4,000 | ~22x | Raw는 컨텍스트 윈도우 압박 |
| 500파일+ | 컨텍스트 초과 | ~5,000 | ∞ | Raw로는 불가능 |
핵심: Graphify 쿼리의 토큰은 코퍼스 크기가 아니라 질문과 관련된 노드 수에 비례. 코퍼스가 커져도 쿼리 비용은 거의 일정.
4. 토큰 너머의 가치
현재 규모에서 4.8배 절감은 “반드시 필요한” 수준은 아님. 10,913 토큰이면 Claude가 한 번에 읽을 수 있는 양.
Graphify의 진짜 가치는 토큰 절감이 아닌 다른 곳에 있음:
관계의 사전 추출
Raw를 읽으면 LLM이 매번 “이 파일과 저 파일이 어떻게 관련 있지?”를 추론해야 함. Graphify는 44개 엣지에 관계 타입(references, conceptually_related_to, semantically_similar_to, rationale_for)과 신뢰도(EXTRACTED/INFERRED)를 이미 명시.
누적 효과 (복리)
노트가 100개, 300개로 늘어나면 Raw 방식은 컨텍스트 윈도우에 안 들어감. 그래프 쿼리는 관련분만 추출하니까 스케일에 무관. 노트가 쌓일수록 그래프의 가치가 복리로 증가.
반복 쿼리
같은 코퍼스에 다른 질문을 여러 번 하면, Raw는 매번 전체 읽기, Graphify는 쿼리만. 하루에 5번 질문하면 Raw는 ~55K 토큰, Graphify는 ~11K 토큰.
5. 결론
Graphify 필요성 판단
| 볼트 규모 | 필요성 | 이유 |
|---|---|---|
| 현재 (37파일) | 있으면 좋지만 필수 아님 | 4.8배 절감, 관계 사전 추출의 편의 |
| 100파일+ | 유의미 | Raw 읽기가 컨텍스트 윈도우 압박 시작 |
| 300파일+ | 필수 | Raw로는 불가능, 그래프 쿼리만 가능 |
Selforge 관점에서
현재는 “인프라 투자” 단계. 지금 효과가 극적이진 않지만, 노트가 쌓이면서 복리로 가치가 커지는 구조. 이것은 Selforge의 설계 철학(“원료가 쌓일수록 정제소의 품질이 올라간다”)과 정확히 일치한다.
6. 레슨런
-
소규모 코퍼스에서 Graphify의 토큰 절감은 인상적이지 않다 — 37파일은 LLM이 그냥 읽어도 되는 양. 절감의 가치는 규모가 커질수록 비선형으로 증가.
-
토큰 절감보다 관계 구조화가 핵심 가치 — “AI Native 근육이 3개 영역을 관통한다”는 발견은 Raw 읽기로도 가능하지만, 그래프에서는 엣지와 커뮤니티로 이미 명시되어 있어 LLM이 추론할 필요가 없다.
-
지금 설치하는 것이 맞다 — 효과가 미미한 단계에서 시작해야 데이터가 쌓였을 때 바로 가치를 누릴 수 있다. “필요해졌을 때 설치”하면 그때부터 그래프를 처음 구축해야 하므로 지연.