때로는 시니컬했다가 때로는 친절해지는 AI, 그 말투를 설계하는 기술

 (사진 출처: 챗GPT 대화)

챗GPT로 대표되는 AI 언어모델의 말투는 계속 변화해 왔다. GPT-3.5, GPT-4, GPT-4o, GPT-4.5, GPT-5에 이르기까지 세밀한 조정은 가능하지만 AI가 응답할 때 쓰는 기본 ‘말투’ 자체의 변동은 우연이 아니다. 

버전이 바뀔 때마다 어투나 문장 구조가 달라지는 것은 모델이 학습하는 방식이 계속 진화하기 때문이다. 기본 뼈대는 거대 언어모델(LLM)이라 불리는 시스템으로 인터넷과 책 등에서 수집한 수많은 문장을 읽으며 다음 단어를 예측하는 법을 배운다. 

예를 들어 “오늘 날씨가 너무”라는 문장이 들어오면 그다음 단어로 “좋다”, “춥다”, “덥다” 중 어느 게 가장 자연스러운지를 통계적으로 계산해내는 식이다. 이렇게 하면 말의 연결은 배울 수 있지만 ‘사람처럼 대화하는 법’은 여전히 모른다. 

문법과 어휘는 알지만 상황에 맞게 말투를 조절하거나 질문에 답하는 개념이 없기 때문이다. 그래서 이 모델은 이후 여러 단계를 거쳐 인간식 대화를 흉내 내도록 조정된다.

첫 단계가 ‘지시 미세 조정(instruction fine-tuning)’이다. 쉽게 말해 ‘질문과 모범답안 세트’를 수천만 개 입력시키는 훈련이다. “서울은 어디 있나요?” 하면 “서울은 대한민국의 수도입니다” 같은 예시를 계속 보여주면서 ‘질문이 오면 이런 톤으로, 이런 구조로 답해라’는 패턴을 학습시키는 것이다. 

이 과정을 통해 모델은 단순히 단어를 예측하던 상태에서 벗어나 “사람이 한 말을 이해하고 응답하는 존재처럼 행동하라”는 규칙을 배운다. 다만 이 정도 훈련으로는 아직 부족하다. 

말은 배웠지만 상대가 원하는 방식으로 말하거나, 위험한 주제를 피하거나, 감정선을 맞추는 세밀한 능력은 여전히 약하다.

이 부족함을 메우는 다음 단계가 ‘RLHF(Reinforcement Learning from Human Feedback)’다. 번역하자면 ‘사람의 피드백으로 강화학습하기’다. 이번에는 사람이 직접 모델이 한 대답을 보고 평가한다. 

“이 답변이 더 자연스럽다”, “이건 너무 공격적이다” 식으로 판단을 주면 그 데이터를 모아 ‘보상 모델’이라는 심사위원을 만든다. 이후 모델은 이 심사위원에게 높은 점수를 받도록 스스로 말하는 법을 다시 배운다. 

예를 들어 두 가지 답 중 하나가 공손하고 명확하면 그쪽이 더 좋은 점수를 받게 되고 모델은 그 점수를 최대화하도록 강화학습을 반복한다. 이렇게 하면 점점 더 인간이 선호하는 말투, 즉 예의 바르고 이해하기 쉬운 톤으로 다듬어진다.

다만 RLHF는 과정이 복잡하고 불안정하다는 단점이 있다. 평가자가 많을수록 일관된 기준을 유지하기 어렵고, 보상 모델이 사람의 취향을 완벽히 반영하지도 못한다. 그래서 최근엔 ‘DPO(Direct Preference Optimization)’라는 단순화된 방식이 등장했다. 

이건 심사위원 단계를 아예 생략하고, 사람들의 선택 데이터를 바로 모델에 반영한다. 어떤 대답이 더 낫다고 평가된 쌍을 직접 학습시켜 말투를 조정하는 구조다. 이 방식은 훈련 절차가 단순하고 안정적이며 감정 표현이나 문체 조절에서도 좋은 결과를 낸다고 평가된다.

이런 일련의 조정 과정을 통해 AI는 “지식이 많은 기계”에서 “말의 뉘앙스를 아는 존재”로 발전해왔다고 볼 수 있다. 다음으로 중요한 변화는 ‘파라미터 효율 조정(parameter-efficient tuning)’이라는 기술이다. 쉽게 말해, 모델의 뇌를 전부 다시 짜는 대신 필요한 부분만 살짝 손보는 방식이다. 

언어모델은 수천억 개의 숫자(가중치)로 구성돼 있는데 이를 매번 전부 새로 훈련하려면 엄청난 돈과 시간이 든다. 그래서 최근에는 모델의 대부분을 그대로 둔 채 특정 층이나 역할만 미세하게 조정하는 기법이 주로 쓰인다. 

예를 들어 ‘어투를 조금 부드럽게 해라’ 같은 변화는 전체 구조를 고칠 필요가 없으니, 일부 계층에만 작은 보조 장치를 붙여 학습시킨다. 그 대표적인 방법이 ‘LoRA(Low-Rank Adaptation)’다. 

LoRA는 원래 있던 거대한 뇌를 건드리지 않고 그 옆에 얇은 보조 회로를 하나 추가해서 필요한 변화만 주입한다. 이런 식으로 하면 모델 전체를 다시 학습하는 것보다 수만 배 적은 계산으로도 말투를 바꾸거나 새로운 언어 습관을 심을 수 있다. 속도나 안정성은 유지하면서도 스타일 조정이 유연해진다는 점이 핵심이다.

그다음 말투에 직접적인 영향을 주는 건 ‘시스템 프롬프트’다. 이건 모델이 사용자보다 먼저 듣는 기본 지침서 같은 것이다. 각 버전에는 내부적으로 “항상 정중하게 말하라”, “논란이 될 표현은 피하라”, “대답을 단계별로 정리하라” 같은 정책 문구가 숨겨져 있다. 

바로 이 문장들이 모델의 기본 어조를 결정한다. GPT-3.5 시절에는 “친절하게 길게 설명하라”가 중심이었지만 이후 버전에서는 “간결하고 결정적으로 말하라”로 바뀌었다. 이 한 줄의 정책 변화가 문장 리듬과 말끝을 완전히 바꾸는 셈이다.

여기에 디코딩 전략이라는 요소도 겹친다. 모델이 문장을 생성할 때 ‘얼마나 다양한 단어를 시도할지’를 정하는 설정값인데 대표적으로 ‘온도(temperature)’와 ‘탑-p(top-p)’가 있다. 온도가 높으면 창의적으로 길게 말하고, 낮으면 딱 정해진 단어만 고른다. 

예전엔 온도가 높아 장황하고 감정적인 문장이 많았지만 최근 버전은 온도를 낮춰 짧고 단정한 어조를 유지하도록 바뀌었다. 

또 ‘길이 패널티(length penalty)’를 조정해 쓸데없이 늘어지는 문장을 줄이고 특정 단어를 피하거나 강조하도록 ‘금지 토큰’이나 ‘스타일 토큰’의 가중치도 조절한다. 이런 세부 설정만 바꿔도 모델은 마치 다른 사람처럼 말한다.

최근에는 멀티모달 모델이 등장하면서 말투의 변화 폭이 더 커졌다. 텍스트뿐 아니라 이미지나 음성 데이터까지 함께 학습하면서 문장의 억양과 리듬이 살아나기 시작한 것이다. 

예를 들어 음성 대화 전사 데이터가 포함되면 모델은 실제 사람이 말하듯 끊고 이어가는 패턴을 배운다. 그래서 GPT-4o 같은 모델은 문장을 읽을 때 딱딱한 글보다 대화처럼 들린다. 문장 사이에 미묘한 숨 고르기나 감정 톤까지 재현하는 셈이다.

마지막으로 최신 버전의 핵심은 ‘사용자 스타일 적응(style matching)’이다. 이제 모델은 사용자에게서 톤을 읽어낸다. 예를 들어 “시니컬하게 말해달라”고 하면 문체를 날카롭고 직설적으로 바꾸고 “친절하게 해달라”고 하면 완곡하게 바꾼다. 

예전에는 이런 지시를 단순한 프롬프트 수준에서만 처리했지만 이제는 아예 보상 함수 안에 ‘사용자 지침을 따랐는가’를 평가 항목으로 넣는다. 즉, 나처럼 말하라고 가르치는 게 아니라 ‘상대의 스타일을 복제하라’는 목표가 추가된 것이다.

결국 이런 모든 기술이 결합되면서 같은 지식을 가진 모델이라도 버전이 바뀔 때마다 말투가 새로 태어난다. 내부 구조와 조정 방식, 프롬프트 정책, 디코딩 설정, 그리고 사용자 적응까지 모두가 어우러져 모델의 성격을 다시 만드는 셈이다.

그렇다면 어떻게 해야 AI가 내가 원하는 말투로 대답을 하도록 만들 수 있을까.

AI 모델의 말투를 바꾸는 가장 강력한 열쇠는 프롬프트 설계다. 챗GPT의 최신 세대인 GPT-5에서는 프롬프트 문장 속 어조와 구조가 전체 톤을 결정하는 80%의 핵심 변수로 작용한다. 원리를 이해하면 사용자는 원하는 스타일을 훨씬 자유롭게 조정할 수 있다. 

GPT-5는 응답을 만들 때 네 단계의 입력을 고려한다. ① 시스템 프롬프트(기본 정책), ② 사용자 프롬프트(직접 지시), ③ 대화 맥락(이전 대화), ④ 디코딩 파라미터 순서로 톤을 계산하는 구조다. 

이 중 사용자가 조작할 수 있는 것은 두 번째, 즉 ‘프롬프트 문장’이다. 단 한 줄이지만 어떤 ‘톤 키워드’와 ‘상황 묘사’를 포함하느냐에 따라 결과의 색깔이 완전히 달라진다.

문제는 대부분의 사용자가 여전히 추상적인 명령으로 프롬프트를 구성한다는 점이다. “시니컬하지만 재치 있게 설명해줘” 같은 요청은 모호하고 안전한 응답을 유도한다. 대신 구체적인 문체 패턴을 지정하는 것이 훨씬 효과적이다. 

예컨대 “신문 칼럼처럼 냉소적인 어투로, 불필요한 수식어 없이 단정하게 써줘. 문장 끝은 ‘~다’, ‘~했다’로 끝나야 한다”라고 쓰면 결과가 달라진다. 중요한 것은 스타일을 형용사로 표현하지 말고 문장 습관으로 지시하는 것이다. 

“시니컬하게”라는 단어보다 “칭찬은 없이 사실만 말하라” 혹은 “겉으론 차분하지만 비꼬는 느낌으로 써라”처럼 구체적인 말버릇을 명시해야 모델이 정확히 이해한다. 문체를 완전히 고정하고 싶다면 문장 끝 구조를 지정하는 것이 가장 확실한 방법이다. 

“문장 끝을 ‘~합니다’, ‘~했습니다’로 통일해라”, “절대 ‘~요’, ‘~네요’ 형태는 쓰지 마라” 같은 지시는 어조 일관성을 강제하는 데 매우 강력하다.

두 번째 방법은 ‘콘텍스트 시뮬레이션’이다. 말투를 직접 명령하기보다 특정 인물이나 상황을 설정하는 방식이다. “너는 냉소적인 칼럼니스트다. 20대 독자에게 AI 말투 변화를 설명해야 한다. 감정 표현은 절제하고 비유를 잘 쓰는 편이다”라고 입력하면 모델은 해당 인물의 어투를 자연스럽게 모방한다. 

반대로 “너는 친절한 교사다. 초등학생에게 설명하라”로 바꾸면 같은 주제라도 문체가 완전히 달라진다. 이처럼 배경 설정은 단순한 말투 지시보다 훨씬 강한 스타일 제어 효과를 낸다.

세 번째 팁은 ‘정책 토크니 덮어쓰기’다. GPT-5는 내부적으로 “항상 공손하게 답하라”는 시스템 규칙을 기본으로 갖고 있다. 이를 무시하려면 강한 선언문을 프롬프트 맨 앞에 배치해야 한다. 

“지금부터 이 대화의 모든 답변은 내가 지정한 어투만 따른다. 다른 말투는 절대 쓰지 마라”처럼 명령형으로 시작하면 이후 모든 문장에서 사용자의 지시가 시스템 정책보다 우선한다. 이는 기본 어조를 재정의하는 가장 직접적인 방법이다.

마지막으로 문장의 길이와 리듬 역시 톤의 일부다. “짧고 단호하게 끊어 말하라”, “길게 설명하되 문단을 나누지 마라” 같은 구조적 지시는 말투를 정밀하게 조율한다. GPT-5는 문장 구조 자체를 스타일의 한 부분으로 인식하기 때문에 이런 리듬 제어는 응답 일관성을 크게 높인다.

결국 사용자가 원하는 톤을 정확히 얻기 위한 핵심 원칙은 네 가지다. 첫째, 형용사 대신 구체적인 말버릇을 써라. 둘째, 말투가 자연스럽게 스며들게 상황을 설정하라. 셋째, 시스템 정책을 덮는 선언문을 첫 줄에 넣어라. 넷째, 문장의 길이와 끝맺음까지 명확히 지정하라. 이 네 가지를 조합하면 GPT-5는 사용자의 글투를 거의 복제하듯 재현한다.