챗봇에 같은 질문을 두 번 하면 답이 왜 달라질까요?

챗봇은 글을 한 번에 쓰지 않아요. 지금까지의 글을 보고, 다음에 올 말 조각마다 얼마나 어울리는지 확률을 계산해요. 이 말 조각을 토큰이라고 불러요. 그다음 그 확률대로 하나를 뽑아 글 끝에 붙이고, 이 과정을 계속 되풀이해요.

뽑기에서 처음에 다른 말 조각이 나오면 뒤따르는 문장이 전부 달라져요. 같은 출발점에서 던진 종이비행기가 바람 한 줄기에 다른 곡선을 그리는 것과 비슷해요.

개발자가 챗봇을 가져다 쓸 때 조절하는 값 중에 온도(temperature)가 있어요. OpenAI의 API 문서는 이 값이 0에서 2 사이이고, 0.8처럼 높으면 답이 더 무작위가 되고, 0.2처럼 낮으면 더 한곳에 모이고 일정해진다고 설명해요.

값을 낮출수록 확률이 높은 말 조각이 더 자주 뽑혀요. 0이면 늘 가장 높은 후보를 고르는 방식이라서, 이론으로는 같은 질문에 같은 답이 나와야 해요.

그런데 Thinking Machines Lab이 2025년 9월에 올린 글에서는 오픈소스 모델 Qwen3-235B에 'Tell me about Richard Feynman'이라는 질문을 온도 0으로 1,000번 던졌어요. 서로 다른 답이 80가지 나왔고, 가장 흔한 답도 78번뿐이었어요. 처음 102개 토큰까지는 모두 같다가 103번째에서 갈라졌어요. 992번은 'Queens, New York', 8번은 'New York City'라고 이어 썼어요.

Thinking Machines Lab은 원인을 서버가 한꺼번에 처리하는 요청 수에 따라 계산 순서가 달라지고, 그 때문에 아주 작은 수 차이가 생기는 것이라고 설명했어요. 계산 방식을 고정하자 1,000번 모두 같아졌어요. 그러니 챗봇 답에서 문장이 꼭 같아야 하는 부분은 따로 저장해 두는 편이 안전해요.