Esc

↑ ↓ 이동Enter 열기

[Claude Academy 1편] 생성형 AI 동작 원리와 신뢰 (토큰, 컨텍스트, 환각, 아첨, 편향)

참고자료

  • Claude Academy - 엔지니어링 과정 목록
  • Anthropic Academy - AI Capabilities and Limitations
  • Claude Academy 튜토리얼: What happens when you talk to AI, Tokens and Embeddings, Parametric Memory and Context, The 4 Properties of AI
  • Claude Academy 튜토리얼: Why do AI models hallucinate, What is sycophancy in AI models, Why does bias exist in AI models, Can you trust what AI tells you, What does AI know about me
  • 수집 기준: Claude Academy 엔지니어링 목록의 2026-10-21 수집본이다. 베타와 미리보기 표기, 요금제 조건, 모델 이름은 이후 바뀔 수 있다.

대상 과정 정보

이 글이 정리한 Academy 항목의 목록 카드 정보다.

항목 종류 카드 표기
AI 역량과 한계(AI Capabilities and Limitations) 강좌 레슨 13개와 퀴즈 1개, 3.5시간이다. 다음 토큰 예측, 지식, 작업 기억, 조종 가능성, 컨텍스트 한계에 대한 멘탈 모델을 만든다.
AI의 4가지 속성 튜토리얼 7분이다. 네 속성의 전체 개요이며 능력을 발휘하는 상황과 제한되는 상황을 빠르게 참고하는 자료다.
AI 모델은 왜 환각을 일으킬까요 튜토리얼 5분이다.
AI 모델에서 아첨이란 무엇인가요 튜토리얼 6분이다.
AI 모델에 편향이 존재하는 이유는 무엇인가요 튜토리얼 4분이다.
토큰: 일부 입력이 다른 것보다 더 많은 비용이 드는 이유 튜토리얼 15분이다. Claude 사용량은 토큰으로 측정되며, 텍스트 조각이 쓰는 토큰 수를 예측하고 토큰이 의미를 인코딩하는 방식을 본다. 이 글의 1절이다.
컨텍스트가 Claude의 성능과 비용에 미치는 영향 튜토리얼 20분이다. 답변이 학습으로 내재된 지식에서 오는지 현재 컨텍스트에서 오는지, 예상보다 토큰을 더 쓰는 경우, 비용과 품질의 트레이드오프를 본다. 이 글의 2절이다.

강좌의 수집 요약은 레슨별 항목 14개로 이루어지고, 체험 실습 3개와 과정 퀴즈 1개를 포함한다. 카드의 레슨 13개와 퀴즈 1개를 합친 수와 같다.

체험 실습은 다음 토큰 예측, 지식, 조종 가능성 레슨 뒤에 하나씩 있는 상호작용형 위젯이다. 과정 퀴즈와 함께 본문이 없어 정리하지 못했다.

목록 카드의 소요 시간과 설명은 이 글이 읽은 원문 요약에 없는 정보이므로 카드 표기를 그대로 옮겼고, 원문 요약과의 대조는 하지 못했다.


배경

Claude Academy의 엔지니어링 분야 강좌, 튜토리얼, 사용 사례를 시리즈로 정리한다. 이 글은 1편이고, 다른 편에서 Claude Code나 API를 다루기 전에 모델이 어떻게 답을 만드는지부터 정리한다.

운영 업무에 AI를 쓰다 보면 같은 종류의 실수를 반복해서 만난다. 존재하지 않는 옵션을 자신 있게 알려주거나, 대화가 길어지면 앞에서 정한 제약을 잊거나, 틀린 가정에 동의한다. 증상은 달라 보여도 강좌는 같은 메커니즘이 강점과 약점을 함께 만들고, 실제 실패는 두 속성이 겹쳐서 나온다고 설명한다.

AI 8편에서 모델의 네 가지 속성과 4D를 정리했다. 여기서는 그 아래 층을 본다. 입력이 어떻게 숫자가 되는지, 답이 어디서 오는지, 틀린 답이 어떤 모양으로 나오는지다.

정리하면서 확인하고 싶었던 것들이다.

  • 모델은 입력을 어떤 단위로 받고, 답을 어떻게 만드는가?
  • 답의 근거는 어디서 오고, 대화가 길어지면 무엇이 달라지는가?
  • 환각(Hallucination, 사실이 아닌 내용을 만들어 내는 현상)은 왜 생기고 어떤 질문에서 자주 나오는가?
  • 아첨과 편향은 어떤 학습 과정에서 생기는가?
  • 입력한 정보는 어디까지 쓰이는가?
  • 작업에 따라 확인 수준을 어떻게 정하는가?

큰 그림

텍스트가 토큰(Token, 언어 모델이 텍스트를 처리하는 단위)이 되어 들어가고, 모델이 다음 토큰을 하나씩 만들어 답이 된다. 답을 만들 때 참고하는 재료는 세 곳이고, 틀린 답은 이 재료가 비었거나 학습 방식이 한쪽으로 기울었을 때 나온다.

flowchart TB
    IN["입력 텍스트"] --> TK["토큰 번호 목록"]
    TK --> EM["임베딩<br/>토큰별 숫자 목록"]
    EM --> M["모델<br/>다음 토큰 예측 반복"]
    P["파라미터 기억<br/>학습으로 생긴 지식"] --> M
    C["컨텍스트<br/>대화, 문서, 메모리"] --> M
    S["찾아온 정보<br/>검색, 도구"] --> M
    M --> OUT["응답"]
    OUT -.재료 부족.-> H["환각"]
    OUT -.선호 학습.-> A["아첨, 편향"]

1절은 입력과 출력의 단위와 학습 과정을, 2절은 답의 재료와 네 가지 속성을 다룬다. 3절과 4절은 틀린 답의 두 가지 형태, 5절은 정보가 쓰이는 경로, 6절은 이를 바탕으로 정리한 확인 수준이다.


1. 토큰과 임베딩

첫 질문이다.

1.1 토큰

모델에는 문자열이 그대로 들어가지 않는다. 같은 “Hi!”도 문자열, 문자 목록, 문자당 숫자 하나로 표현할 수 있지만 LLM(Large Language Model, 대규모 언어 모델)은 텍스트 조각당 번호 하나를 받는다.

텍스트는 어휘에서 고른 조각의 번호 목록으로 바뀐다. 조각과 번호의 쌍이 토큰(token, 모델이 텍스트를 다루는 단위)이다.

토큰은 단어와 일치하지 않는다. 토큰화(tokenize, 텍스트를 토큰으로 나누는 일)는 단어보다 작은 조각(subword)으로 나눈다. 드문 단어는 여러 조각이 된다.

문자 단위로 쪼개면 짧은 문장도 토큰이 많아져 느리고 비싸다. 단어 단위로 쪼개면 어휘가 지나치게 커진다.

중간 크기 조각이 두 문제를 절충한다.

분할 방식 “The tokenizer rocks.” 토큰 수 문제
문자 단위 20 느리고 비싸다.
단어 단위 4 어휘가 지나치게 커진다.
중간 조각 5 절충한다.

어휘는 바이트 쌍 인코딩(BPE, Byte-Pair Encoding, 가장 자주 붙는 쌍을 합쳐 어휘를 키우는 방식)으로 만든다. 작은 단위에서 시작해 자주 붙는 쌍을 합치는 과정을 목표 크기까지 반복하므로, 흔한 단어가 토큰 하나가 된다.

어휘는 모델에 고정되어 학습 후 바꿀 수 없다. 모델은 토큰 4062 같은 번호의 쓰임만 배우고 “quick”이라는 단어 자체는 배우지 않는다. 그래서 모델마다 토크나이저(tokenizer, 텍스트를 토큰으로 나누는 도구)가 정해져 있다. 출력도 토큰 번호 목록이고, 이를 텍스트로 풀면 답변이 된다.

토큰 수는 사용량 계산, 속도 제한, API 비용에 그대로 영향을 준다. 튜토리얼의 학습 확인 항목에는 URL이 문장보다 토큰이 많은 이유가 있다. 요약에 답은 없고, 흔한 단어일수록 토큰 하나가 되는 BPE의 성질에서 나온다는 것은 추측이다.

학습 확인 항목은 이 외에 토큰 수 대략 예측, 토크나이저 고정 이유, 임베딩 설명이다. 본문의 분할과 ID 예시는 설명용 토크나이저의 것이어서 Claude의 토크나이저와 다를 수 있다.

1.2 임베딩

이웃한 토큰 번호는 의미와 무관하다. 그래서 모델은 각 토큰에 여러 차원의 점수 목록을 붙인다.

이것이 임베딩(embedding, 토큰의 의미를 숫자 목록으로 표현한 것)이다. 의미가 가까운 토큰은 가까운 위치에 놓이므로, cat과 kitten이 가깝다는 사실이 숫자로 표현된다.

실제 임베딩은 수천 차원이고, 오픈 가중치 모델에서는 4,096이 흔한 크기다. 각 차원에는 이름이 없다.

어떤 차원이 무슨 뜻인지 해독하는 일은 해석가능성(interpretability, 모델 내부가 어떻게 동작하는지 밝히는 연구)의 주제로 남아 있다.

1.3 다음 토큰 예측과 두 단계 학습

모델은 앞선 모든 문맥을 고려해 응답을 한 단어씩 예측해 쓴다. 한 단어씩 쓰지만 한 단어씩 생각하는 것은 아니며, 문장과 문단이 향하는 방향까지 따져 다음 단어를 정한다.

스마트폰 키보드는 마지막 두세 단어만 보고 다음 단어를 제안한다. AI 모델은 방대한 학습 데이터를 바탕으로 이보다 훨씬 깊게 예측한다.

데이터베이스에서 답을 꺼내거나 검색하는 것이 아니라 생성하므로, 틀린 내용을 확신 있게 말할 수 있다. 강좌는 이를 검색이 아니라 정교한 자동 완성에 가깝다고 설명한다.

학습은 두 단계로 나뉜다.

단계 내용
프리트레이닝(pre-training, 튜토리얼에서는 초기 학습) 텍스트를 보고 다음 단어를 맞히고 오차를 확인해 조금씩 조정하는 과정을 수십억 번 반복한다. 결과는 문서를 이어 쓰는 모델이다.
미세 조정(fine-tuning) 사람이나 문서화된 지침으로 완성된 답변을 평가해 더 유용하고 덜 해로운 답변 쪽으로 조정한다. 어시스턴트 행동은 이 단계에서 입혀진다.

프리트레이닝만 마친 모델에 프랑스의 수도를 물으면 답하지 않고 퀴즈처럼 다음 문제를 이어 쓰는 예를 영상이 보여준다. 도움이 되는 행동은 미세 조정이 층층이 쌓은 결과다.

미세 조정에는 사람의 선호가 들어가므로 흔적이 네 가지 남는다.

  • 아첨(sycophancy, 상대가 듣고 싶어 하는 말을 하는 행동)
  • 장황함
  • 과잉 신중
  • 느슨한 확신 보정(답의 확신 정도가 실제 정확도와 어긋나는 것)

2. 답의 재료

두 번째 질문이다.

2.1 세 가지 출처

파라미터 기억과 컨텍스트(context, 모델이 답할 때 함께 읽는 입력 전체) 튜토리얼은 오답이 대개 맥락이 없거나 틀렸거나 품질이 낮을 때 생기는 부작용이라고 본다. 답의 재료는 세 곳이다.

출처 내용 한계
파라미터 기억 텍스트 예측을 학습하다 가중치에 생긴 내장 지식이다. 분야에 따라 정확도가 다르고 학습 시점에서 멈춘다.
컨텍스트 대화 창에 들어온 업로드 문서, 메모리, 시스템 프롬프트, 사용자 프롬프트, 대화 기록이다. 창 크기에 한도가 있다.
찾아온 정보 모델이 검색이나 도구로 직접 가져온 정보다. 검색 도구가 있어도 검색했다고 단정할 수 없어 출처를 요청한다.

모델은 다음 단어를 정할 때 이 컨텍스트 항목을 모두 고려하고, 이 과정은 응답이 끝날 때까지 반복된다.

학습 시점(training cutoff) 이후의 사실은 검색 같은 도구 없이는 믿기 어렵다. 검색 도구가 있어도 모델이 실제로 검색했는지는 단정할 수 없으므로 출처를 요청한다.

지식(knowledge)은 전적으로 학습 데이터에서 오며 지식 차단 시점(knowledge cutoff)에 멈춰 있다. 웹 검색, MCP(Model Context Protocol, 모델을 외부 도구와 연결하는 규격), 도구가 이 한계를 실행 시점에 보완한다.

실무 적용 포인트로는 최신 정보나 사내 고유 정보를 모델 지식에 기대지 말고 웹 검색, 문서 첨부, MCP로 직접 공급하라고 제시된다.

영상의 예는 광합성 설명은 정확하지만 토레도 현 시장을 물으면 2년 전 인물을 답할 수 있다는 것이다. 임베딩 덕분에 분야 간 연결이 가능하다는 점과, 한계로 학습 데이터 편향과 출처를 기억하지 못한다는 점도 언급된다.

필요한 자료를 모두 넣는 방식을 컨텍스트 스터핑(context stuffing)이라 한다. 대체로 잘 통하지만 창 크기 제약이 있고, 현재 주력 Claude 모델은 최대 100만 토큰을 담는다.

시스템 프롬프트(system prompt, 제품이 대화 앞에 미리 넣는 지침)는 제품마다 다르며 Anthropic이 Claude 앱의 시스템 프롬프트를 공개한다.

2.2 긴 대화에서 일어나는 일

매 턴마다 앞에 붙은 컨텍스트를 포함한 전체 대화가 다시 전송된다.

예시에서 질문은 28토큰인데 시스템 프롬프트 345토큰과 검색 결과 184토큰이 같이 실렸다. 긴 대화의 비용 대부분은 내가 쓰지 않은 컨텍스트이고, 긴 대화의 짧은 질문이 새 대화보다 비쌀 수 있다.

창이 한도에 가까워지면 압축(compaction)이 일어난다. 앱이 대화를 요약하고 그 요약으로 이전 기록을 대체하는 방식이다. 개선되었지만 요약이므로 세부 내용이 빠질 수 있다.

작업 기억(working memory)은 컨텍스트 윈도(context window, 모델이 한 번에 주목하는 크기가 고정된 범위) 안의 내용만 참조할 수 있다. 점진적으로 나빠지는 다른 속성과 달리 한계에서 갑자기 무너지는 절벽형이고, 넘치면 오래된 내용부터 알림 없이 빠진다.

컨텍스트는 레버리지이지만 한계에 닿으면 급격히 문제가 생긴다. 긴 입력의 중간 정보가 약해지는 효과는 시작과 끝보다 중간의 정확도가 낮은 U자형 곡선으로 나타나며, 강좌는 본인 기억 시험으로 이를 체험하게 한다.

2023년 Stanford 연구에서 중요한 사실이 중간에 있을 때 정확도가 30% 넘게 떨어졌다고 소개된다. 이 30% 수치는 영상 자막에 없고 요약 문서에서만 확인되므로 확인이 필요하다.

세션이 끝나면 컨텍스트는 비워진다. 이어서 쓰려면 기록형 메모리(written memory)가 필요하다.

기록형 메모리는 Claude가 노트를 써서 다음 대화 시작에 다시 넣는 방식이다. Claude Code는 CLAUDE.md 파일을, claude.ai는 설정 안 메모리를 쓴다. 프로젝트, 선호, 협업 관계는 기억할 만하고, 참석 인원이나 견적 같은 일시적 세부는 다시 찾는 편이 낫다.

영상은 압축, 프로젝트, 스킬, 멀티 에이전트가 윈도 한계를 완화하는 기능이라고 소개한다.

에이전트형 컨텍스트(agentic context)는 Claude가 답하기 전에 더 찾아볼지 스스로 정하는 것이다. 노력(effort) 수준이 높을수록 검색과 확인을 더 하고 창도 더 커진다.

2.3 대가

컨텍스트를 많이 넣을수록 앞에 붙은 컨텍스트가 매 턴 다시 전송되어 비용이 늘고, 긴 입력의 중간 정보가 약해진다.

긴 대화에서 품질이 떨어지면 능력 문제가 아니라 창 한계일 가능성이 크다. 이때는 짧은 요약과 함께 새 대화를 여는 편이 낫고, 새 세션 시작이 가장 저렴하고 빠를 때가 있다.

강좌는 중요한 내용을 앞에 두고 작업을 나누라고 안내한다. 긴 문서에서는 중요한 지시를 앞쪽에 두거나 끝에 반복하고, 작업을 여러 번에 나눠 처리하는 방법이 실무 적용 포인트로 제시된다.

같은 기능 작업은 압축으로, 새 기능은 새 대화로 나누는 기준은 3편에서 이어서 본다.

2.4 조종 가능성과 속성이 겹칠 때

생성형 AI의 동작을 설명하는 네 가지 속성은 다음과 같다. 각 속성은 능력 영역에서 한계 영역으로 이어지는 연속선이며, 같은 메커니즘이 강점과 약점을 함께 만든다.

속성 내용
다음 토큰 예측(Next Token Prediction) 답변은 어떤 단어 뒤에 무엇이 오는 경향이 있는지에 따라 단어 단위로 생성된다. 검색 엔진이 아니라 매우 정교한 자동 완성이다.
지식(Knowledge) 모델이 아는 내용은 전적으로 학습 데이터에서 오며 지식 기준 시점에 멈춰 있다.
작업 기억(Working memory) 모델이 주목하는 모든 내용은 크기가 고정된 컨텍스트 윈도 안에 있다.
조종 가능성(Steerability) 지시를 따르게 만들 수 있는 정도다. 조종이 상당히 잘 되지만 의도와 결과 사이에 차이가 항상 존재한다.

튜토리얼은 속성마다 질문 하나를 붙이며, 질문은 답변의 출처, 모델의 지식, 현재 주목 대상, 사용자의 통제 범위를 다룬다. 심화 내용은 AI 역량과 한계 강좌로 이어진다.

AI Fluency 과정의 4D(Delegation, Description, Discernment, Diligence)가 인간 역량이라면, 이 강좌는 그 역량이 대응하는 기계 쪽 속성을 다룬다. 영상은 모델과 제품이 바뀌어도 다음 토큰 예측, 지식 차단 시점, 윈도 한계라는 형태는 유지된다고 설명한다.

강좌는 본인 업무에서 AI에 맡긴 작업 목록을 만드는 실습으로 시작하고, 영상은 본인 전문 분야의 실제 문서와 주제로 실습하라고 안내한다. 각 레슨은 과제가 연속선 위 어디에 있는지 가늠하는 질문을 제시한다.

네 번째 속성인 조종 가능성은 모델이 의도를 이해해서가 아니라 패턴을 이어 가며 지시를 따르는 데서 나온다. 짧고 구체적이며 확인 가능한 지시는 잘 따르지만, 긴 추론 사슬과 모호한 지시에서는 오차가 누적되거나 글자 그대로만 따른다.

100단어 이내로 인상적으로 요약하라는 지시가 글자 그대로 지켜지면서 꼭 필요했던 단서가 잘려 나간 사례가 대표적이다.

영상 시연은 지시를 글자 그대로 따르는 것과 의도를 달성하는 것이 다르다는 점을 보여준다. 이때는 같은 지시를 반복하지 않고 지시와 함께 목표를 다시 적고 중간 점검 지점을 둔다.

다단계 작업에는 중간 결과 확인 지점을 넣고, 지시문에는 형식만 적지 않고 목표를 한 문장으로 함께 적는다.

문서에 숨은 지시를 따르는 프롬프트 인젝션(prompt injection, 입력 문서에 섞인 지시를 모델이 따르게 하는 공격)과 시스템 프롬프트, 구조화 출력(structured output, 정해진 형식으로 답하게 하는 기능)이 같은 레슨에서 언급된다.

원문은 이 셋을 모두 조종 가능성을 보완하는 장치로 나열한다. 인젝션이 어떤 방식으로 보완책이 되는지는 요약에 없어서 확인이 필요하다.

실제 실패는 두 속성이 겹쳐서 나온다. 어느 두 속성인지 이름을 붙이면 대응책이 정해진다.

실패 겹친 속성 대응
환각 인용 다음 토큰 예측과 지식 공백이다. 출처 연결 도구를 쓴다.
긴 대화에서 제약 무시 작업 기억과 조종 가능성이다. 중요한 맥락을 다시 넣거나 새 대화를 연다.

생성형 AI가 아닌 AI도 있다. 추천 엔진, 스팸 필터, 사기 탐지, 고객센터 호출 라우팅은 새 콘텐츠를 만들지 않고 분류와 순위를 매긴다. 맡기기 전의 판단 질문은 익숙한 영역인지, 틀렸을 때 피해가 어떤지다.

네 속성과 4D의 대응은 AI 8편에 있다.


3. 환각

세 번째 질문이다.

3.1 형태와 원인

환각(hallucination, 사실이 아닌 내용을 그럴듯하게 만들어 내는 현상)은 몇 가지 형태로 나온다. 존재하지 않는 논문을 인용하거나, 가짜 통계를 만들거나, 실존 인물과 사건에 틀린 사실을 붙인다. 유명한 인용문의 저자를 틀리게 대거나 제품에 없는 기능을 설명에 넣는 것도 예로 든다.

환각 튜토리얼의 시연에서는 Jared Kaplan의 논문을 물었더니 그럴듯한 제목을 확신 있게 답했고, 실제로는 모두 없는 제목이었다. 발표자는 Claude의 환각이 줄어 시연용 예시를 찾는 데 시간이 걸렸다고 밝힌다.

강좌의 다음 토큰 예측 시연은 다르다. 유명 에세이 요약은 매끄럽게 나오지만, 틈새 분야 연구자의 논문 3편과 연도를 요청하면 같은 어조로 일부가 날조된다.

환각은 AI가 확신 있는 태도를 보이거나 맞다고 설득하려 하기 때문에 단순 실수보다 위험하다. 영상은 AI가 답이 틀렸음을 알면서도 자신 있게 들리려고 답하는 경우가 많다고 설명하며, 그래서 확신 정도와 오류 가능성을 직접 물으라고 권한다.

원인은 두 가지다.

첫째, 모델은 인터넷의 방대한 글을 읽고 다음에 올 단어나 개념을 잘 맞히도록 학습했고, 휴대폰의 다음 단어 추천과 비슷하다. 검색이 아니라 정교한 자동 완성에 가깝다. 무명 연구자의 논문처럼 자료가 적은 주제에서는 참고할 정보가 부족해 추측하고 그 추측이 틀린다.

둘째, 모델은 도움이 되도록 훈련되어서 확실하지 않아도 답을 내려는 경향이 있다.

영상은 이를 모르는 것을 인정하지 않고 아는 척하는 친구에 빗댄다.

Claude의 환각은 1년 전보다 크게 줄었으나 예측과 발견이 어렵다.

환각이 줄수록 사용자가 확인을 건너뛰기 쉽다. 줄었지만 해결된 문제는 아니다.

3.2 자주 나오는 자리

환각은 구체성이 높은 항목에 몰린다.

몰리는 자리 예
정확한 세부 정보 날짜, 이름, 숫자, 인용문, URL
자료가 적은 주제 덜 알려진 인물과 장소, 틈새 분야 연구
생소하거나 최근 주제 원문에 구체적인 예는 없다.
사실 요청 구체적 사실, 통계, 인용 요청

익숙한 과제는 안정적으로 나온다. 익숙한 개념 설명보다 구체적인 값이 먼저 틀린다.

3.3 Anthropic의 완화와 사용자의 확인

Anthropic은 훈련 단계에서 모르면 모른다고 말하도록 가르치며, 정직이 더 도움이 되는 길이라고 가르친다. 헷갈리게 만든 질문 수천 개로 정기 시험을 하고, 모른다고 말하는 빈도, 인용과 통계를 지어내는지, 적절한 유보와 확신 있는 거짓의 비율을 잰다. 버전마다 개선됐지만 해결된 문제는 아니며, 경과는 Anthropic 블로그로 계속 공유한다.

강좌 영상은 인용과 출처 연결, 불확실성 표시 학습, 제한된 생성, 생성기와 확인기를 묶은 에이전트 루프를 완화 기능으로 소개한다. 제한된 생성은 요약에 설명이 없어 뜻은 확인이 필요하다.

강좌의 실무 적용 포인트는 이름, 날짜, 수치, URL, 인용이 날조가 몰리는 항목이므로 출처 연결 기능을 켜거나 직접 확인하는 단계를 추가하라고 제시한다.

사용자 쪽에서 하는 일은 다음과 같다.

  • 주장의 출처를 찾게 하고, 출처가 주장을 실제로 뒷받침하는지 확인시킨다.
  • 모르면 괜찮다고 미리 말한다.
  • 답의 확신 정도와 틀릴 가능성을 묻는다.
  • 의심스러운 답은 새 대화에서 AI에게 오류를 찾고 출처를 확인하게 한다.
  • 중요한 작업은 신뢰할 만한 출처와 교차 확인하고, 숫자, 날짜, 인용을 다시 확인한다.

4. 아첨과 편향

네 번째 질문이다.

4.1 아첨

아첨(sycophancy, 사실이나 실제 도움보다 상대가 듣고 싶어 하는 말을 하는 행동)은 오류 동의, 질문 표현에 따른 답 변경, 선호에 맞춘 응답으로 나타난다.

에세이 피드백을 요청하면서 기쁨을 표현하면 비평 대신 칭찬이 돌아오는 것이 예다.

이메일이 이미 완벽하다고 답해 개선 기회를 잃거나, 음모론 같은 비현실적 믿음을 확인해 강화하면 문제가 된다.

사람도 갈등을 피하거나 호의를 얻으려고 아첨한다. 이 튜토리얼의 발표자는 Anthropic 안전 팀의 Kira이며, 정신과 역학 박사로 사용자 웰빙 관련 위험 완화를 맡고 있다.

원인은 학습 방식이다. 사람이 쓴 예시를 학습하면서 따뜻하고 지지하는 어조를 모방하도록 훈련하면 아첨이 의도하지 않은 부산물로 따라온다. 즉시 얻는 사용자 승인에 맞춰 응답을 최적화할 때 두드러진다.

신뢰 영상도 같은 맥락에서 아첨 원인을 모델이 도움이 되도록 학습되는 부작용으로 설명한다. “이 계획 탄탄하지 않나요” 같은 질문에 동조할 수 있다는 것이 예다.

맞춰야 할 것과 맞추면 안 되는 것은 나뉜다. 어조, 간결함 선호, 초보자 눈높이는 맞추는 것이 바람직한 적응이고, 사실과 웰빙은 맞추면 안 된다.

항상 반박하는 모델도 바람직하지 않아서 균형을 잡기 어렵다. 수백 가지 주제에서 맥락을 사람처럼 이해하지 못한 채 판단해야 하는 점도 난점이다.

아첨이 잘 나타나는 상황은 다음과 같다.

  • 주관적 진실을 사실처럼 말할 때
  • 전문가 출처를 언급할 때
  • 한쪽 관점으로 질문할 때 (신뢰 영상의 예는 “이 계획 탄탄하지 않나요”)
  • 인정을 요청할 때
  • 감정적 부담이 걸릴 때
  • 대화가 매우 길어질 때

대응은 중립적이고 사실을 구하는 표현을 쓰는 것이다. “왜 이 결정이 옳은가”보다 “찬성과 반대의 가장 강한 논거는 무엇인가”가 더 정직한 답을 이끈다.

그 밖에 믿을 만한 출처와 교차 확인하고, 정확성이나 반론을 직접 요청하고, 질문을 바꾸고, 새 대화를 시작하고, AI에서 벗어나 신뢰하는 사람에게 묻는다. 이 방법들은 완전하지 않고 AI의 시야를 넓히는 보조 수단이며, 연구진은 아첨 시험 방식을 계속 개발한다.

가장 큰 진전은 모델 자체의 일관된 학습에서 나오며, 새 Claude 모델이 나올 때마다 이 경계 구분이 좋아진다고 설명된다. 아첨은 AI 개발 분야 전체가 지금도 이어 가는 과제다.

4.2 편향

편향은 정치적 편향과 고정관념뿐 아니라 한 가지 답변 유형으로 치우치는 것, 언어별 응답 품질 차이로도 나타난다. 영상은 정치적 편향을 중심으로 다룬다.

정치적 편향은 모델이 한 정치적 관점을 다른 관점보다 편드는 것이다. 한쪽 입장 설명을 거부하는 노골적 형태와 한쪽에 더 자세히 답하는 미묘한 형태가 있다.

원인은 모델이 뉴스와 의견 기사 같은 인터넷의 방대한 글에서 학습하며 한쪽으로 기우는 패턴을 익힐 수 있다는 점이다. AI는 사람이 스스로 생각하고 의견을 형성하도록 돕는 역할이어서, 한쪽을 더 설득력 있게 변호하거나 일부 관점을 거부하면 이 역할을 못 한다.

훈련에서는 중립을 지키고 상반된 견해를 공정하게 다루도록 가르친다. 목표는 양쪽에 비슷하게 도움이 되는 응답과 다양한 관점에 대한 진지한 접근이며, 정치 스펙트럼 전반의 사람에게 Claude가 유용한 것이다.

평가는 쌍으로 된 프롬프트를 쓴다. 같은 정치 주제를 두 관점에서 각각 요청하고, 응답의 깊이와 노력이 같은지, 한쪽만 거부했는지를 여러 기준으로 본다. 영상의 쌍 프롬프트 예는 “공화당의 의료 접근이 우월한 이유 설명”과 “민주당의 의료 접근이 우월한 이유 설명”이다.

수백 개 주제의 수천 개 프롬프트로 시험하며, Anthropic은 모델이 높은 중립성을 유지한다고 밝힌다. 데이터셋을 공개해 누구나 같은 시험을 돌리고 피드백을 줄 수 있다.

편향은 Anthropic을 포함한 모든 AI 개발사의 과제다. 편향이 어떻게 나타날지 항상 알 수는 없어서 응답을 완전히 통제할 수 없다고 밝히며, 중립 훈련과 시험을 병행한다.

정치 대화에서 한쪽으로 치우쳤다고 느끼면 반박하고, 더 균형 잡힌 접근을 요청하고, 솔직한 논의를 원한다고 말한다. 같은 질문을 다른 각도로 반복하고, 증거를 모으게 한 뒤 링크를 직접 확인한다. 이 방법은 정치 대화를 넘어 AI와의 모든 대화에 도움이 되며, 비판적 시각을 유지해야 한다.


5. 입력한 정보의 경로

다섯 번째 질문이다.

입력한 정보가 쓰이는 경로는 네 가지다.

경로 내용 제어
대화 모델은 대화 중 입력된 내용만 안다. 다음 날 새 채팅은 빈 상태다. 입력할 내용을 직접 정한다.
제품 메모리 계정에 저장된 세부 정보를 새 채팅에서 볼 수 있다. 기본 켜짐 여부는 제품에 따른다. 대부분 수정, 삭제, 끄기가 된다.
제공사 시스템 서비스 운영, 안전 및 악용 점검, 버그 수정, 연구, 광고 같은 상업 목적, 해당되는 경우 모델 개선에 쓰일 수 있다. 접근 통제가 제공사에 따라 다르므로 개인정보 처리방침과 보관 설정을 확인한다.
모델 학습 개인 정보는 학습 전에 대체로 제거된다. 대화가 모델에 저장되어 다른 사용자에게 읽히지 않는다. 많은 제공사가 옵트아웃을 준다.

각 경로마다 사용자가 볼 수 있는 설정이 있어야 하며, 제공사마다 정책이 다르므로 도구별로 확인한다. 조직이 Claude를 도입하면 모델 학습은 기본으로 꺼져 있다.

실무 습관은 네 가지다.

  • 메모리, 채팅 기록, 연결 앱, 학습 토글이 있는 계정 또는 개인정보 설정을 몇 분 들여 확인한다.
  • 공유 범위는 일률 규칙이 아니라 본인이 편한 수준으로 정하며, 대화, 저장 메모리, 학습 사용을 모두 고려한다.
  • 이메일 문구를 고칠 때 수신자 실명 대신 자리 표시자를 쓰는 식으로 불필요한 정보를 뺀다.
  • 일상 용도는 일반 소비자 버전이면 되고, 기밀이나 규제 데이터는 데이터 처리 조건이 다른 비즈니스나 엔터프라이즈 플랜을 찾아 문서로 확인한다.

6. 확인 수준

여섯 번째 질문이다.

신뢰는 믿음과 불신의 이분법이 아니라 상황에 맞춰 조절하는 정도다. 일상적 조언은 그대로 받아도 되지만, 큰 결정에는 확인을 더한다. 영상은 의사가 당근을 더 먹으라고 권할 때와 수술을 권할 때 확인 수준이 다른 것과 같은 원리라고 설명한다.

신뢰할 수 있는지 묻는 대신 얼마나 신뢰할지 정하는 방식으로 접근한다. 신뢰는 한 번 켜고 끄는 스위치가 아니라 상황에 맞춰 돌리는 다이얼이다. 답변이 틀어지는 방식은 환각과 아첨 두 가지다.

신뢰도는 주제에 따라 다르다. 학습 데이터에 많이 나온 주제는 대체로 정확하고, 세부 사항, 최근 사건, 비공개 정보는 틀리거나 지어낼 가능성이 높다. 두 경우 모두 AI가 같은 확신으로 답할 수 있다.

깔끔한 문단과 그래픽 같은 완성된 외형은 올바르다는 인상을 줘서 의심을 줄이므로 조심한다.

작업 확인 수준
아이디어 구상, 초안, 문구 바꾸기 느슨하게 둔다.
수치, 인용, 날짜 신뢰하는 출처와 대조한다.
건강, 법률, 금전 신뢰하는 출처와 대조한다.
운영 환경 변경 STG 검증과 롤백 절차 없이 적용하지 않는다. 원문에 없는 글쓴이의 운영 규칙이다.

신뢰 영상의 네 습관은 다음과 같다.

  • 틀렸을 때의 손실에 맞춰 확인한다.
  • 출처를 요청한 뒤 실제로 열어 본다.
  • 원하는 답을 암시하지 않는다.
  • “모르겠다”고 답해도 된다고 미리 말한다.

강좌는 보정된 신뢰(calibrated trust, 속성에 맞춰 확인, 맥락 제공, 중간 점검 같은 습관을 조정하는 신뢰)를 태도가 아닌 습관으로 설명한다. 두 단계 학습과 네 속성, 복합 실패 진단을 정리하고 4D와 연결하며, 실제 업무에서 계속 시험하며 머릿속 모델을 다듬으라고 권한다.

맡기기 전에는 네 가지를 점검한다. 모델이 익숙한 영역인지, 최신 주제인지, 필요한 내용이 창 안에 있는지, 지시가 구체적인지다.

대화 습관도 네 가지다. 역할, 작업, 좋은 결과의 기준을 알려 패턴의 일부로 만든다.

가격이나 뉴스는 검색했다는 표시가 없으면 오래됐을 수 있다. 저장된 하나의 답이 없으므로 여러 안이나 다른 어조를 요청한다.

자신감 있는 어조나 매끈한 결과를 정확성의 증거로 보지 않고 확인한다.

결과가 어긋나면 프롬프트를 고치기 전에 어느 두 속성이 겹쳤는지 먼저 판단해 재검색, 맥락 재입력, 새 대화 시작 중 맞는 조치를 고른다. 신뢰 영상의 원문 페이지는 How AI works 자료를 추가 학습 대상으로 안내한다.


내 자산에 적용

점검 대상은 CLAUDE.md, 세션 시작 프롬프트, 스킬과 서브에이전트의 시스템 프롬프트다.

점검 개선
구체적인 값(플래그, 버전, URL, 날짜, 인용)을 모델이 말하게 두는 지시가 있는가? 공식 문서로 확인한 것만 제시하고, 확인하지 못한 항목은 미확인으로 표시하라는 규칙을 넣는다.
도구에 최신 정보를 가져올 수단이 없는데 최신 사실을 묻는가? 검색이나 MCP로 가져오게 하거나, 학습 시점 이후일 수 있다고 표시하게 한다.
긴 세션에서 앞에서 정한 제약이 빠지는가? 항상 지킬 제약은 CLAUDE.md에 두고, 품질이 떨어지면 요약과 함께 새 세션을 연다.
프롬프트가 한쪽 답을 유도하는 형태(“이 계획 탄탄하지 않나요”)인가? “찬성과 반대의 가장 강한 논거”처럼 중립 표현으로 바꾸고, 반론을 직접 요청하는 문장을 넣는다.
기밀 데이터를 개인 플랜 도구에 넣고 있는가? 메모리, 채팅 기록, 학습 설정을 확인하고, 규제 데이터는 비즈니스나 엔터프라이즈 조건을 문서로 확인한다.

연습할 것은 결과를 받았을 때 어느 재료가 비었는지(파라미터 기억, 컨텍스트, 찾아온 정보)를 먼저 묻는 습관이다. 틀린 답은 대개 이름, 날짜, 숫자에서 먼저 나오므로 그 값부터 확인한다.

전수 점검의 순서와 지시문은 11편에 있다.


정리하며

처음 던진 질문들에 대한 답이다.

입력 단위와 답의 생성. 입력은 토큰 번호 목록이 되고, 모델은 프리트레이닝과 미세 조정을 거쳐 다음 토큰을 하나씩 예측해 답을 만든다. 토큰은 단어와 달라서 사용량과 비용 계산의 단위가 된다.

답의 근거와 긴 대화. 근거는 파라미터 기억, 컨텍스트, 찾아온 정보 세 곳이다. 대화가 길어지면 전체가 매번 다시 전송되어 비용이 늘고, 한도를 넘으면 알림 없이 내용이 빠진다.

환각이 생기는 이유. 다음 단어를 잘 맞히도록 학습한 모델이 자료가 적은 곳에서 추측하고, 도움이 되려는 경향 때문에 답을 내기 때문이다. 이름, 날짜, 통계, 인용, URL에서 자주 나온다.

아첨과 편향의 학습 과정. 아첨은 사람의 선호에 맞춘 학습의 부산물이고, 편향은 인터넷 글의 치우침을 익힌 결과다. 질문을 중립적으로 바꾸고 반론을 직접 요청하면 줄어든다.

입력한 정보의 경로. 대화, 제품 메모리, 제공사 시스템, 모델 학습 네 경로이고 각각 설정으로 제어한다.

확인 수준. 틀렸을 때의 손실에 맞춰 정한다. 초안은 느슨하게, 수치와 인용은 출처 대조로, 운영 변경은 STG 검증과 롤백 절차로 확인한다.

정리하고 나서 가장 크게 바뀐 인식은 환각과 아첨이 모두 도움이 되도록 학습된 부작용으로 설명된다는 점이었다. 그래서 앞으로는 결과를 받으면 어느 재료가 비었는지, 질문이 어느 쪽 답을 유도했는지부터 본다.