정답만 말하는 AI는 왜 현장에서 무능할까? 실무 효율을 결정짓는 '인간적 맥락'의 힘

AI가 짜준 기획서 초안을 그대로 올렸는데 팀장님께 "우리 회사 스타일이 아니잖아"라는 소리를 들으셨나요? 정답처럼 보이는 결과물을 받았는데 막상 실무에 쓰려니 겉도는 느낌이 들어 당황스러우셨을 거예요. 저도 예전에 비슷한 경험을 해서 그 답답함을 잘 알거든요.

왜 이런 문제가 생기는가

정답과 맥락의 결정적인 차이

AI는 학습된 데이터 기반의 확률적 정답을 내놓을 뿐, 우리 회사가 가진 암묵지를 모르거든요. 암묵지(Tacit Knowledge)는 말로 설명하기 어려운 조직 내의 관습이나 뉘앙스를 뜻하는데요. 사실 B2B 현장에서는 정답보다 이 맥락이 더 중요하더라고요.

이런 현상을 기술적으로는 컨텍스트 엔지니어링(Context Engineering, AI가 상황을 정확히 이해하도록 배경 정보를 설계하는 과정)의 부족이라고 봅니다. 정답만 말하는 AI는 똑똑하지만 눈치 없는 신입사원인 셈이죠. 이게 왜 문제냐면요, 정답만으로는 의사결정권자를 설득할 수 없기 때문이에요.

어떻게 하면 되는가

제약 조건을 활용한 맥락 설계

단순히 보고서 써달라고 하지 말고 페르소나와 제약 조건을 구체적으로 설정해 보세요. 첫째로 AI에게 구체적인 역할을 부여하는 건데요. 예를 들어 "너는 10년 차 전략 컨설턴트고, 보고 대상은 보수적인 성향의 임원이야"라고 지정하는 식이죠.

둘째로 상황적 제약을 추가해 보세요. 문장은 짧게 끊고, 전문 용어보다는 비즈니스 언어를 사용하라고 명시하는 게 좋더라고요. 맥락을 좁게 설정할수록 결과물의 실무 활용도는 비약적으로 올라가거든요. 한마디로 AI의 상상력을 제한하는 작업인 셈이죠.

한 발 더 — 실무에서 바로 통하는 팁

샘플 데이터의 힘, 퓨샷 프롬프팅

가장 확실한 방법은 과거에 잘 썼던 샘플을 직접 제공하는 거예요. 이걸 퓨샷 프롬프팅(Few-shot Prompting, 몇 가지 예시를 제공해 AI가 패턴을 학습하게 하는 방식)이라고 하는데요. 솔직히 현장에서 보면 이 방법이 가장 빠르고 정확하더라고요.

과거에 승인받았던 보고서나 메일 양식을 복사해서 "이 톤앤매너를 그대로 따라해 줘"라고 요청해 보세요. AI가 우리 회사 스타일을 추측하게 만들지 말고 정답지의 기준을 직접 보여주는 게 핵심이거든요. 데이터의 질이 결과물의 수준을 결정한다는 점을 기억하세요.

결국 AI를 잘 쓰는 건 기술이 아니라 맥락을 전달하는 능력에 달려 있네요. 지금 바로 예전에 칭찬받았던 문서 하나를 AI에게 학습시켜 보시는 건 어떨까요?