LLM 앱 프레임워크 5축 — 전체 10 도식v0.0.1 상세

• RAG: HR 정책 PDF를 인덱싱해서 "연차 며칠?"에 정확히 답하게
• Agent: "내 연차 잔여 알려줘" → DB 조회 tool 호출 → 답변
• Prompt Opt: "답변 톤"을 컴파일러로 자동 튜닝
• Type Safety: tool 결과를 Pydantic 모델로 파싱 (실패 시 graceful)

1. Notion 페이지 1000개를 Loader로 추출 (PDF, HTML)
2. Splitter로 페이지당 평균 800 토큰 청크
3. 임베딩 모델은 text-embedding-3-small (저렴) 또는 text-embedding-3-large (정밀)
4. Pinecone 서버리스에 upsert
5. 사용자 "연차 정책" 검색 → top-10 chunk → rerank → top-3
6. Prompt: "다음 문서 기반으로 답해. 문서: {chunk}. 질문: {query}"

1. 사용자 "적금 해지 어떻게 해?" 입력
2. API 서버(FastAPI)가 인증·rate-limit 체크 → Retriever 호출
3. Retriever가 질의 임베딩 + Qdrant 검색 (top-10)
4. Cohere rerank로 top-3 압축
5. Prompt 조립: "고객 상담사처럼 답해. 매뉴얼: {top3}. 질문: {q}"
6. GPT-4o 응답 (streaming, 첫 토큰 800ms 후)
7. SSE로 사용자에게 토큰 단위 전송

app/
├── api/
│   ├── chat.py         # POST /chat 엔드포인트
│   └── admin.py        # 문서 업로드
├── rag/
│   ├── loader.py       # PDF/HTML → Document
│   ├── splitter.py     # Document → Chunk[]
│   ├── embedder.py     # Chunk → Embedding
│   ├── indexer.py      # Embedding → Vector DB
│   └── retriever.py    # Query → RetrievedChunk[]
├── llm/
│   ├── providers/
│   │   ├── openai.py
│   │   └── anthropic.py
│   └── prompts/        # prompt templates
├── core/
│   ├── agent.py        # Agent orchestration
│   ├── prompt_opt.py   # DSPy integration
│   └── types.py        # Pydantic models
└── db/
    ├── vector.py       # Pinecone client
    └── metadata.py     # Postgres session
      

1. D1(원본) → D2(로드) → D3(청크) → D4(임베딩) → D5(저장) 각 단계 로그 확인
2. 어느 단계에서 끊겼는지 보면 "청크가 너무 작아서 의미 손실" 같은 원인 파악

from pydantic import BaseModel, Field
from datetime import datetime
from typing import Literal

class Document(BaseModel):
    id: str
    title: str
    source: str  # 'notion://page/123' or 's3://bucket/key'
    created_at: datetime
    metadata: dict = Field(default_factory=dict)

class Chunk(BaseModel):
    id: str
    doc_id: str
    text: str
    position: int
    token_count: int

class Embedding(BaseModel):
    chunk_id: str
    model: str  # 'text-embedding-3-small'
    vector: list[float]
    dimensions: int
      

-- pgvector 활성화
CREATE EXTENSION IF NOT EXISTS vector;

-- 테이블
CREATE TABLE chunk (
  id UUID PRIMARY KEY,
  doc_id UUID REFERENCES document(id),
  position INT,
  content TEXT,
  token_count INT
);

CREATE TABLE embedding (
  chunk_id UUID PRIMARY KEY REFERENCES chunk(id),
  model VARCHAR(64),
  dimensions INT,
  vector VECTOR(1536)  -- OpenAI text-embedding-3-small
);

-- HNSW 인덱스 (코사인 유사도)
CREATE INDEX embedding_vector_idx
  ON embedding USING hnsw (vector vector_cosine_ops);

-- 검색
SELECT c.content, e.vector <=> $1 AS distance
FROM embedding e JOIN chunk c ON c.id = e.chunk_id
ORDER BY distance
LIMIT 5;