AI 답이 이상할 때 원인을 바로 짚는 AI 용어 40개 · 공식 문서 정의

추석 AI 부트캠프 하루 6시간 만에
AI 기초부터 나만의
서비스까지 완성 이번 연휴를 기회로 삼으세요일정 보기 ↗

Quick Start

용어를 외울 필요는 없습니다. 답이 이상할 때 해당하는 갈래만 찾아보면 됩니다.

1. 답이 앞 내용을 잊거나 지어낸다면 STEP 1부터 봅니다.
2. 내 파일이나 최신 정보를 답에 넣고 싶다면 STEP 3을 봅니다.
3. 일을 끝까지 맡기고 싶다면 STEP 4를 봅니다.

릴스에서 다룬 여섯 개(할루시네이션·컨텍스트 윈도우·시스템 프롬프트·RAG·멀티모달·에이전트)는 STEP 1, 3, 4에 들어 있습니다.

STEP 1 · 8개답이 이상할 때

이 단계에서는 답이 잊히거나 지어내질 때 원인이 되는 말를 모았습니다.

01. 컨텍스트 윈도우 (context window)

한 줄 설명 · 모델이 답을 만들 때 참조할 수 있는 텍스트 전체 범위이며, 생성되는 답변도 여기에 포함된다.

• 마주치는 순간: "문서 300장 다 넣으면 되잖아요" · 입력 한도를 모르고 말할 때.
• 공식 문서에서 정의 보기

02. 시스템 프롬프트 (system prompt)

한 줄 설명 · 모델에 맥락과 지시를 주는 자리로, 목표나 역할 같은 것을 지정한다.

• 마주치는 순간: "말투가 자꾸 틀어져요" · 역할·규칙을 어디에 박을지 정할 때.
• 공식 문서에서 정의 보기

03. 할루시네이션 (hallucination)

한 줄 설명 · 모델이 사실과 다르거나 주어진 맥락과 어긋나는 내용을 만들어내는 현상이다.

• 마주치는 순간: "고객사 이름을 지어냈어요" · 사고 보고 자리에서.
• 공식 문서에서 정의 보기

04. 추론 / 씽킹 (reasoning, thinking)

한 줄 설명 · 모델이 답하기 전에 스스로 문제를 되짚고 접근을 시도하며 중간 결과를 점검하는 동작이다.

• 마주치는 순간: "어려운 건 씽킹 켜서 돌리죠" · 정확도와 비용을 저울질할 때.
• 공식 문서에서 정의 보기

05. 멀티모달 (multimodal)

한 줄 설명 · 텍스트 외에 이미지 같은 다른 형식을 함께 이해·분석하는 능력이다.

• 마주치는 순간: "스크린샷 던지면 읽어요?" · 입력 형식을 확인할 때.
• 공식 문서에서 정의 보기

06. 지식 컷오프 (knowledge cutoff)

한 줄 설명 · 모델의 지식이 가장 폭넓고 신뢰할 수 있는 시점까지의 날짜다.

• 마주치는 순간: "지난달 개정된 법령을 모르네요" · 최신성 이슈가 터질 때.
• 공식 문서에서 정의 보기

07. 스트리밍 (streaming)

한 줄 설명 · 요청에 "stream": true 를 주면 응답을 서버센트이벤트(SSE)로 조각조각 나눠 받는 방식이다.

• 마주치는 순간: 답이 한 글자씩 타이핑되듯 나오는 화면. "왜 우리 서비스는 다 끝나야 한 번에 뜨죠?" 할 때 나오는 말.
• 공식 문서에서 정의 보기

08. 컴팩션 (compaction)

한 줄 설명 · 대화가 컨텍스트 윈도우 한계에 가까워지면 오래된 맥락을 서버에서 자동 요약해 대화를 계속 이어가게 하는 기능이다.

• 마주치는 순간: 긴 대화 중 "이전 내용을 요약해 정리했습니다" 같은 안내가 뜨고, 앞부분 디테일이 흐려질 때.
• 공식 문서에서 정의 보기

STEP 2 · 6개AI의 원리

이 단계에서는 AI가 어떻게 만들어졌는지 설명하는 말를 모았습니다.

09. LLM (large language model)

한 줄 설명 · 파라미터가 아주 많은 AI 언어 모델로, 방대한 텍스트로 학습해 사람이 쓴 것 같은 글을 만들어낸다.

• 마주치는 순간: "이건 LLM이 알아서 해주는 거 아니에요?" · 기능 범위를 정할 때 첫 문장에 등장한다.
• 공식 문서에서 정의 보기

10. 토큰 (token)

한 줄 설명 · 모델이 글을 처리하는 최소 단위로 단어·부분단어·글자·바이트에 해당한다.

• 마주치는 순간: "그거 토큰 얼마나 먹어요?" · 비용 견적을 뽑을 때.
• 공식 문서에서 정의 보기

11. 파인튜닝 (fine-tuning)

한 줄 설명 · 이미 사전학습된 모델을 추가 데이터로 더 훈련시켜 그 데이터의 패턴과 특성을 따라가게 만드는 과정이다.

• 마주치는 순간: "우리 데이터로 파인튜닝합시다" · 예산과 일정이 갈리는 분기점.
• 공식 문서에서 정의 보기

12. 임베딩 (embedding)

한 줄 설명 · 텍스트 같은 콘텐츠를 숫자 벡터로 바꿔 서로의 관련성을 잴 수 있게 만든 표현이다.

• 마주치는 순간: "비슷한 문의끼리 묶어주세요" · 검색·분류 기능을 설계할 때.
• 공식 문서에서 정의 보기

13. 사전학습 (pretraining)

한 줄 설명 · 라벨이 없는 방대한 텍스트로 모델을 처음 훈련시키는 단계로, 앞 문맥을 보고 다음 단어를 맞히도록 배운다.

• 마주치는 순간: "이 모델 언제 학습한 거예요?" · 학습(사전학습)과 파인튜닝·RAG를 구분해야 할 때 맨 앞에 놓이는 단어.
• 공식 문서에서 정의 보기

14. RLHF (사람 피드백 기반 강화학습)

한 줄 설명 · 사전학습된 모델이 사람의 선호에 맞게 행동하도록 훈련하는 기법이다.

• 마주치는 순간: "AI가 왜 이런 말투로 대답하죠?" · 모델의 성향이 어디서 왔는지 설명해야 할 때.
• 공식 문서에서 정의 보기

STEP 3 · 8개내 자료 넣기

이 단계에서는 내 파일이나 최신 정보를 답에 넣을 때 쓰는 말를 모았습니다.

15. RAG (검색 증강 생성)

한 줄 설명 · 입력에 맞는 정보를 외부 지식 베이스에서 먼저 찾아 원 질문과 함께 모델에 넘기는 방식이다.

• 마주치는 순간: "우리 사내 문서를 학습시키면 되죠?" · 사실은 RAG 이야기인데 학습이라 부를 때.
• 공식 문서에서 정의 보기

16. 벡터 검색 / 벡터 DB (vector search)

한 줄 설명 · 임베딩 벡터를 색인해 의미가 가까운 항목을 대규모로 찾아주는 검색 엔진이다.

• 마주치는 순간: "그럼 임베딩은 어디다 저장해요?" · RAG 인프라를 고를 때.
• 공식 문서에서 정의 보기

17. 그라운딩 (grounding)

한 줄 설명 · 모델의 답을 실시간 웹 같은 외부 근거에 묶어 사실성을 높이는 기능이다.

• 마주치는 순간: "출처 링크까지 같이 보여줘야 해요" · 신뢰성 요건을 붙일 때.
• 공식 문서에서 정의 보기

18. 컨텍스트 엔지니어링 (context engineering)

한 줄 설명 · 프롬프트 문구 찾기를 넘어, 어떤 맥락 구성이 원하는 동작을 만들지 설계하는 일이다.

• 마주치는 순간: "프롬프트를 더 잘 쓰면 되는 거 아닌가요?" · 문장이 아니라 무엇을 넣을지가 문제일 때.
• 공식 문서에서 정의 보기

19. 웹 검색 도구 (web search tool)

한 줄 설명 · 모델이 실시간 웹 내용에 직접 접근해 지식 컷오프 이후 정보까지 답할 수 있게 하는 도구다.

• 마주치는 순간: 답변 아래에 출처 링크가 달려 나오고, 답하기 전 "검색 중" 표시가 잠깐 뜰 때.
• 공식 문서에서 정의 보기

20. 웹 페치 도구 (web fetch tool)

한 줄 설명 · 지정된 웹 페이지나 PDF에서 전체 본문을 가져오는 도구다.

• 마주치는 순간: "이 링크 읽고 요약해줘"를 던졌을 때. 검색이 아니라 *지정한 페이지 하나*를 통째로 읽는 동작이다.
• 공식 문서에서 정의 보기

21. 인용 (citations)

한 줄 설명 · 문서 기반 답변에서 각 주장의 근거가 된 정확한 구절을 함께 돌려주는 기능이다.

• 마주치는 순간: 답변 문장마다 원문의 어느 대목에서 나왔는지 근거 구절이 따라붙을 때. "출처 표기 되나요?"의 실제 기능 이름.
• 공식 문서에서 정의 보기

22. 메모리 도구 (memory tool)

한 줄 설명 · 대화 바깥의 파일 디렉터리에 정보를 저장·조회해 세션을 넘겨 지식을 쌓게 하는 도구다.

• 마주치는 순간: "지난번에 말한 그 프로젝트"라고 했을 때 알아듣는 것. 컨텍스트 윈도우와 헷갈려서 "기억을 못 한다"는 불만이 나오는 자리.
• 공식 문서에서 정의 보기

STEP 4 · 8개일 맡기기

이 단계에서는 AI에게 일을 끝까지 맡길 때 나오는 말를 모았습니다.

23. 에이전트 (agent)

한 줄 설명 · 도구를 써서 스스로 계획하고 작업을 끝내는 구성이며, 다른 에이전트와 협업하고 단계 사이의 맥락을 유지한다.

• 마주치는 순간: "챗봇 말고 에이전트로 가죠" · 자동화 범위를 키울 때.
• 공식 문서에서 정의 보기

24. 툴 유즈 / 펑션 콜링 (tool use, function calling)

한 줄 설명 · 개발자가 정의한 함수를 모델이 필요할 때 호출하게 하는 기능이다.

• 마주치는 순간: "재고 조회는 우리 API를 물려야 하는데" · 연동 방식을 정할 때.
• 공식 문서에서 정의 보기

25. MCP (모델 컨텍스트 프로토콜)

한 줄 설명 · AI 애플리케이션을 외부 시스템에 연결하기 위한 오픈소스 표준이다.

• 마주치는 순간: "그거 MCP로 붙이면 되는 거 아니에요?" · 툴 연동을 표준으로 가자고 할 때.
• 공식 문서에서 정의 보기

26. 코드 실행 (code execution)

한 줄 설명 · 샌드박스 컨테이너에서 파이썬·bash 코드를 실제로 돌려 데이터 분석·파일 생성·계산을 수행하는 도구다.

• 마주치는 순간: 엑셀을 올렸더니 직접 계산하고 그래프 파일까지 만들어 줄 때. "얘가 진짜 돌린 거예요, 지어낸 거예요?"
• 공식 문서에서 정의 보기

27. 컴퓨터 유즈 (computer use)

한 줄 설명 · 스크린샷과 마우스·키보드 제어를 제공해 모델이 데스크톱 환경을 직접 조작하게 하는 도구다.

• 마주치는 순간: AI가 화면을 스크린샷으로 보고 마우스를 움직여 클릭하는 데모를 볼 때. API 연동이 없는 레거시 화면 자동화 이야기에서 나온다.
• 공식 문서에서 정의 보기

28. 스킬 (Agent Skills)

한 줄 설명 · 지시문·메타데이터·스크립트/템플릿을 한 폴더로 묶어 모델 기능을 확장하는 모듈이다.

• 마주치는 순간: "우리 회사 보고서 양식대로 매번 다시 설명하기 귀찮다"는 말이 나올 때. 프롬프트를 매번 붙이는 대신 폴더로 묶어 두는 것.
• 공식 문서에서 정의 보기

29. 서브에이전트 (subagents)

한 줄 설명 · 별도의 시스템 프롬프트와 설정을 가진 보조 에이전트로, YAML 머리말이 붙은 마크다운 파일로 정의한다.

• 마주치는 순간: 긴 작업 중 "코드 리뷰 담당을 따로 띄웠습니다" 같은 표시가 뜰 때. 역할별로 다른 AI를 붙이는 구성.
• 공식 문서에서 정의 보기

30. 구조화 출력 (structured outputs)

한 줄 설명 · 응답이 지정한 스키마를 따르도록 강제해, 뒷단에서 바로 파싱 가능한 출력을 보장하는 기능이다.

• 마주치는 순간: "JSON으로 달라고 했는데 앞에 설명 문장이 붙어서 파싱이 깨져요" · 개발 연동에서 제일 자주 터지는 자리.
• 공식 문서에서 정의 보기

STEP 5 · 7개요금과 속도

이 단계에서는 요금이 늘거나 답이 느릴 때 나오는 말를 모았습니다.

31. 프롬프트 캐싱 (prompt caching)

한 줄 설명 · 프롬프트의 앞부분(접두사)이 같으면 이미 처리한 결과를 재사용하는 방식이다.

• 마주치는 순간: "같은 지침을 매번 넣는데 비용이 그대로예요" · 단가를 깎을 때.
• 공식 문서에서 정의 보기

32. 배치 API (Batch API)

한 줄 설명 · 요청을 한 번에 모아 비동기로 처리하는 방식이다.

• 마주치는 순간: "1만 건 분류인데 지금 당장은 아니어도 돼요" · 대량 작업 단가를 낮출 때.
• 공식 문서에서 정의 보기

33. 템퍼러처 (temperature)

한 줄 설명 · 생성 시 예측의 무작위성을 조절하는 값으로, 높이면 표현이 다양해지고 낮추면 가장 그럴듯한 쪽으로 보수적이 된다.

• 마주치는 순간: "매번 답이 달라요, 고정 못 해요?" · QA가 재현이 안 된다고 할 때.
• 공식 문서에서 정의 보기

34. 레이트 리밋 (rate limits)

한 줄 설명 · 일정 시간 동안 조직이 보낼 수 있는 최대 요청량 제한으로, 분당 요청 수(RPM)·분당 입력 토큰(ITPM)·분당 출력 토큰(OTPM)으로 잰다.

• 마주치는 순간: 한창 쓰는데 "429" 또는 "잠시 후 다시 시도" 가 뜰 때. 결제 한도(spend limit)와 헷갈려 "돈 냈는데 왜 막히냐"는 말이 나온다.
• 공식 문서에서 정의 보기

35. 컨텍스트 에디팅 (context editing)

한 줄 설명 · 대화 기록이 길어질 때 특정 내용만 골라 비우는 기능이다.

• 마주치는 순간: 긴 에이전트 작업에서 오래된 도구 결과가 조용히 치워질 때. 컴팩션(요약)과 달리 *지워서* 자리를 비우는 쪽이다.
• 공식 문서에서 정의 보기

36. 최대 출력 토큰 (max_tokens)

한 줄 설명 · 생성을 멈추기 전까지 만들 수 있는 토큰 수의 절대 상한이다.

• 마주치는 순간: 답변이 문장 중간에서 뚝 끊길 때. "글자 수 제한 걸었어요?"의 실제 원인.
• 공식 문서에서 정의 보기

37. 지연시간 (latency)

한 줄 설명 · 프롬프트를 넣고 출력이 나오기까지 걸리는 시간이다.

• 마주치는 순간: "답이 너무 느려요"라는 CS 인입. 모델 선택·프롬프트 길이·스트리밍 중 무엇을 손댈지 갈리는 지점.
• 공식 문서에서 정의 보기

STEP 6 · 3개보안과 검증

이 단계에서는 결과를 믿어도 되는지 따질 때 쓰는 말를 모았습니다.

38. 프롬프트 인젝션 (prompt injection)

한 줄 설명 · 모델이 자기 지침이나 개발자 지시를 무시하게 만들려는 시도다.

• 마주치는 순간: 웹페이지·메일·업로드 문서를 AI에게 읽혔더니 그 안에 숨은 문장대로 행동할 때. 에이전트를 붙이는 순간 보안 검토에서 반드시 나온다.
• 공식 문서에서 정의 보기

39. 탈옥 (jailbreak)

한 줄 설명 · 애플리케이션 사용자 자신이 공격자가 되어, 설정해 둔 가드레일을 빠져나가려고 입력을 꾸미는 유형이다.

• 마주치는 순간: 사용자가 "지금부터 너는 ~인 척해"로 안전장치를 우회하려 할 때. 사내 챗봇 오픈 전 레드팀 항목.
• 공식 문서에서 정의 보기

40. 평가 / 성공 기준 (eval, success criteria)

한 줄 설명 · 좋은 성공 기준은 구체적·측정 가능·달성 가능·목적에 부합해야 한다.

• 마주치는 순간: "이번 프롬프트가 더 나아요?"라고 물었을 때 근거를 못 대는 순간. 감으로 비교하다 회차마다 결론이 바뀌는 자리.
• 공식 문서에서 정의 보기

모르는 용어를 만났을 때 쓰는 요청문

목록에 없는 용어가 나오면 아래 요청문을 그대로 붙여 넣으세요. 공식 문서 기준으로만 설명하게 묶어 둔 요청입니다.

[용어]가 무슨 뜻인지 설명해줘.

- 제공사 공식 문서(Anthropic, OpenAI, Google)에 있는 정의만 근거로 써줘.
- 한 줄 설명, 내가 이 단어를 마주치는 상황, 출처 주소 순서로 적어줘.
- 공식 정의를 찾지 못하면 지어내지 말고 "공식 정의를 찾지 못했다"고 말해줘.

성공하면 한 줄 설명 아래에 공식 문서 주소가 붙어 나옵니다. 주소가 없거나 블로그 주소라면 그 설명은 믿지 말고 다시 요청합니다.

헷갈리기 쉬운 짝

• 파인튜닝 vs RAG — 파인튜닝은 모델 가중치를 추가 학습해 *성향·스타일*을 바꾸는 것, RAG는 모델은 그대로 두고 질문마다 *자료를 찾아 넣는* 것. "사내 문서 반영"은 거의 항상 RAG다.
• 토큰 vs 파라미터 — 토큰은 주고받는 *입출력의 단위*(요금이 여기서 나온다), 파라미터는 모델 안에 학습돼 고정된 *가중치의 개수*. 토큰은 매 요청 달라지고 파라미터는 안 변한다.
• 컨텍스트 윈도우 vs 지식 컷오프 — 윈도우는 *이번 요청에* 넣을 수 있는 양, 컷오프는 *학습 때까지* 아는 시점. 윈도우를 늘려도 최신 정보가 생기지는 않는다(그건 RAG·그라운딩).
• 그라운딩 vs 할루시네이션 방지 — 그라운딩은 외부 근거에 답을 *묶는 수단*, 할루시네이션 감소는 그 결과로 노리는 *목표*. 그라운딩을 켰다고 환각이 0이 되지는 않는다.
• 툴 유즈(function calling) vs MCP — 툴 유즈는 모델이 *함수를 호출하게 하는 기능*, MCP는 그 도구·데이터 소스를 *어떤 규격으로 연결할지 정한 표준*. 둘은 대체재가 아니라 층이 다르다.
• 컴팩션 vs 컨텍스트 에디팅 — 둘 다 맥락이 넘칠 때 쓰지만, 컴팩션은 오래된 대화를 서버에서 요약해 압축하고, 컨텍스트 에디팅은 특정 내용을 클라이언트에서 지워 자리를 비운다. 요약은 정보가 남고 삭제는 사라진다.
• 메모리 vs 컨텍스트 윈도우 — 윈도우는 *이번 요청*에 담는 작업 기억, 메모리는 대화 밖 파일에 남겨 *다음 세션까지* 넘기는 저장소. "기억을 못 한다"는 불만의 절반은 메모리를 안 켠 것이다.
• 웹 검색 vs 웹 페치 — 검색은 *무엇을 볼지 모를 때* 찾아오고, 페치는 *URL이 이미 정해진* 한 페이지를 통째로 읽는다. "이 링크 요약해줘"는 페치다.
• 레이트 리밋 vs 스펜드 리밋 — 레이트 리밋은 *분당 처리량*(429, 잠시 뒤 재시도 가능), 스펜드 리밋은 *월 결제 한도*(다음 달 또는 한도 상향 전까지 안 풀린다). 둘 다 429로 보일 수 있어 error_code 로 구분해야 한다.
• 탈옥 vs 프롬프트 인젝션(간접) — 탈옥은 사용자 본인이 공격자라 내 서비스를 지키는 문제고, 간접 인젝션은 사용자는 피해자이고 AI가 읽은 외부 문서가 공격자라 사용자를 지키는 문제다. 방어 지점이 입력단이냐 도구 결과단이냐로 갈린다.

알아 둘 한계

• 정의는 2026년 9월 16일에 각 공식 문서를 열어 확인한 내용입니다. 제품이 바뀌면 문서도 바뀝니다.
• 한 줄 설명은 공식 문서 정의를 줄인 것입니다. 세부 조건은 링크한 원문에서 확인해야 합니다.
• 같은 용어도 회사마다 범위가 조금 다릅니다. 이 글은 문서에 적힌 정의를 따랐고 회사 간 차이를 모두 비교하지는 않았습니다.
• 증류, Top-p, 가드레일처럼 1차 정의 문단을 찾지 못한 용어는 넣지 않았습니다.

FAQ

40개를 다 알아야 하나요? 아닙니다. STEP 1의 여덟 개가 화면에서 가장 자주 겪는 원인입니다. 나머지는 필요할 때 찾아보면 됩니다.

ChatGPT에도 같은 말이 쓰이나요? 네. 할루시네이션, 컨텍스트 윈도우, 에이전트 같은 용어는 세 회사 문서에 모두 나옵니다. 메뉴 이름은 다를 수 있습니다.

설명이 영어 원문과 다르게 느껴지면요? 링크한 공식 문서가 기준입니다. 이 글의 한 줄 설명은 원문을 줄인 요약입니다.

공식 참고 자료

• Claude 공식 문서 — 용어집(Glossary)
• OpenAI 공식 문서 — 에이전트 가이드
• Google 공식 문서 — Gemini API 그라운딩
• Model Context Protocol 공식 소개

위 40개 정의의 출처 주소는 2026년 9월 16일 직접 열어 응답을 확인한 공식 문서입니다. 용어별 링크는 각 항목에 붙어 있습니다.