AI에 대해 알려 드리다보면, '아. 내가 이 설명을 빼먹었구나'싶은 것들이 많이 있어요. 이미 AI가 익숙해져서 너무 잘 알고 있지만 다른 분들은 미처 모를 수 있는 내용들이요. 오늘 한 번 자주 언급되는 용어 설명과 함께 정리해봤어요!
❶ AI는 '아는 것'이 아니라 '그럴듯한 것'을 생성한다
AI는 다음 단어를 확률로 예측합니다. 그래서 할루시네이션, 즉 환각(없는 사실을 사실처럼 지어내는 현상)은 버그가 아니라 본질이죠. 환각을 완전히 0으로 만드는 것이 구조적으로 불가능하다는 이야기까지 나왔고, 특히 출처와 인용 만들기가 가장 오류율 높은 작업으로 확인됐어요.
☝️ 사실이 중요하면 검색을 켜고, 인용문은 꼭 원문을 대조하세요. 수치 계산은 차라리 코드 실행을 시키세요.
❷ 같은 질문에도 매번 다른 답이 나온다
출력에 무작위성(같은 입력에도 확률적으로 다른 단어를 고르는 성질)이 섞여 있습니다. 그래서 첫 답이 그 모델의 최선이 아닐 수 있습니다.
☝️ 결과물이 아쉽다면 프롬프트 수정 전에 여러 번 재생성도 요청해볼 수 있어요. 중요한 작업은 2-3번 뽑아 비교해볼 수 있고요.
❸ AI의 지식에는 마감일이 있다
AI 모델 업데이트 시점마다, 그 시점에 접근 가능한 지식을 학습하기 때문에 완전 최신 내용은 모를 수 있어요. 진짜 문제는 '모른다'고 말하는 대신 그럴듯하게 지어낼 때가 있다는 것이죠.
☝️ 최신 정보는 검색을 켜거나 관련 자료를 직접 붙여넣어야해요.
❹ 입력의 구체성이 출력의 품질을 결정한다
애매하게 물으면 가장 평균적이고 무난한 답이 나옵니다. 대상, 목적, 분량, 톤, 제약을 명시할수록 날카로워지고요.
☝️ '블로그 글 써줘'보다 '30대 직장인 대상, 1500자, 구어체, 결론 먼저' 이렇게 요청해요.
❺ 설명 열 줄보다 예시 하나가 강하다
원하는 결과물의 견본을 보여주면 그 패턴을 복제합니다. few-shot(퓨샷, 예시 몇 개를 먼저 보여주는 기법)이라 부르는데 텍스트 뿐 아니라 이미지, 바이브코딩, 웹디자인 시에도 잘 작동해요!
☝️ 원하는 형식의 예시 1-2개를 붙여넣고 '이런 식으로'라고 요청
❻ AI는 당신에게 동조하는 경향이 있다
질문에 깔린 전제를 그대로 따라갑니다. sycophancy(시코펀시, 아첨 - 듣고 싶어할 답에 맞춰주는 경향)인데, 스탠퍼드 2026 AI 인덱스 보고서가 주요 모델 26개를 측정한 결과 비위 맞추기로 인한 오답률이 22-94%에 달했다고 해요. 여전히 최대 미해결 과제죠!
☝️ 검증이 목적이면 '이 계획의 약점 3가지를 찾아줘'처럼 반대 방향으로 물어보세요!
❼ 토큰 사용은 입력값과 출력값에 달려있다
토큰(AI가 글을 읽고 쓰는 최소 단위, 한글 1글자 약 1-2토큰)은 참고할 자료가 많거나 출력할 자료가 방대하면 더 소모됩니다. 이 경우 모델의 능력에 따라 입력/출력값이 크면 퀄리티가 저하될 수 있어 적절한 조정과 모델 조정이 필요하고요.
☝️ AI툴의 사용량이 빨리 닳거나, 퀄리티가 이상하게 안 나올 때, 속도가 느릴 때에는 첨부한 파일이 너무 무겁지는 않은지 또는, 요청한 결과물이 과하게 무겁지는 않은지 점검해보세요.
✌️ 이럴 때 턴(대화 차례)을 주어 순차적으로 요청하면 좋습니다. 자료 정리 한 턴, 초안 한 턴, 다듬기 한 턴과 같은 식으로요.
❽ 컨텍스트 윈도우는 유한하고, 넘치면 '앞에서부터 잘린다'
컨텍스트 윈도우(AI가 한 번에 기억하며 작업하는 공간)는 지침, 대화 기록, 파일, 출력물이 함께 나눠 쓰는 공간입니다. 용량을 넘어서면 툴이 오래된 내용부터 삭제하거나 압축합니다. 즉 기억력이 나빠서 놓치는 게 아니라, 볼 대상 자체가 창에서 사라지는 것이죠. AI 모델들은 최근까지 이 창 크기 확장 경쟁에 집중했는데, 현재는 '창 안에 무엇을 골라 넣을지' 관리하는 컨텍스트 엔지니어링(맥락 설계)에 더 집중하고 있습니다.
☝️ 긴 문서는 통째로 넣지 말고 필요한 부분만 발췌해서 주기
❾ 모델 자체는 기억을 못하고, 메모리는 보조 장치이다
모델은 상태 없음(stateless, 매 호출마다 백지에서 시작) 구조라 세션이 끝나면 내용도 함께 사라집니다. 메모리는 그 틈을 메우려 위에 덧붙인 층이에요. ‘이거 기억하고 있겠지?’라고 추측만 했을 때 실망할 일이 생깁니다.
☝️ 반복되는 배경 정보는 프로젝트 지침이나 커스텀 지시에 명시적으로 저장하세요.
❿ 대화창에서 중간이 가장 흐려진다
프롬프트나 창 안에 멀쩡히 남아있는 내용도 모델은 맨 앞과 맨 뒤를 잘 보고 중간을 제일 못 봅니다. 성능 그래프가 U자를 그려요. 대화 초반 내용은 잘려나가기 전까진 오히려 잘 기억되는 편이지만, 긴 대화 '중간쯤'에 묻힌 지시는 곧잘 잊어요. 이 저하 현상에 컨텍스트 로트(context rot, 맥락 부패)라는 이름이 붙었어요. - 중간 소실 + 길어질수록 주의력이 얇게 퍼지는 희석 + 비슷하지만 무관한 내용 간 간섭, 세 가지가 주 현상입니다. 중요 정보가 중간에 있으면 정확도가 30% 이상 떨어지고, 10턴 전엔 잘 지키던 지시를 갑자기 어기는 현상도 빈번하다고 해요.
☝️ 중요한 지시는 맨 앞(프로젝트 지침)이나 맨 뒤(직전 메시지)에 배치하고 중간에 묻어두지 마세요.
☝️ 예전 지시가 무시되기 시작하면 최신 메시지로 다시 끌어올리세요.
☝️ 주제가 바뀌거나 수정이 쌓이면 결과물만 챙겨 새 채팅(세션)을 여세요!
여러분은 이 중에 몇 가지를 알고 계셨나요?
이것만 제대로 이해해도 AI를 더 잘 컨트롤한다는 느낌이 드실거에요. :)
