Hỏi chatbot cùng một câu hai lần, sao câu trả lời lại khác nhau?

Chatbot không viết cả đoạn văn trong một lần. Nó nhìn phần đã viết cho đến lúc đó, rồi tính xác suất cho từng mẩu chữ có thể xuất hiện tiếp theo, tùy mức độ phù hợp. Mỗi mẩu chữ này được gọi là token. Sau đó nó chọn một mẩu theo các xác suất ấy, gắn vào cuối văn bản, rồi lặp lại quá trình này.

Nếu ngay lần chọn đầu tiên xuất hiện một mẩu khác, mọi câu theo sau đều thay đổi. Điều này hơi giống những chiếc máy bay giấy ném từ cùng một điểm nhưng vạch ra các đường cong khác nhau chỉ vì một làn gió.

Một trong những giá trị nhà phát triển có thể điều chỉnh khi dùng chatbot là nhiệt độ (temperature). Tài liệu API của OpenAI cho biết giá trị này nằm trong khoảng 0 đến 2; giá trị cao như 0,8 làm kết quả ngẫu nhiên hơn, còn giá trị thấp như 0,2 làm kết quả tập trung và ổn định hơn.

Giá trị càng thấp thì những mẩu chữ có xác suất cao càng hay được chọn. Ở mức 0, cách này luôn chọn ứng viên cao nhất, nên về lý thuyết cùng một câu hỏi phải cho cùng một câu trả lời.

Nhưng trong bài viết đăng tháng 9 năm 2025, Thinking Machines Lab đã hỏi mô hình mã nguồn mở Qwen3-235B câu "Tell me about Richard Feynman" 1.000 lần ở nhiệt độ 0. Kết quả có 80 câu trả lời khác nhau, và câu phổ biến nhất cũng chỉ xuất hiện 78 lần. 102 token đầu tiên giống hệt nhau, đến token thứ 103 thì rẽ nhánh: 992 lần viết tiếp "Queens, New York" và 8 lần viết tiếp "New York City".

Bài viết giải thích nguyên nhân là thứ tự tính toán thay đổi tùy theo số yêu cầu mà máy chủ xử lý cùng lúc, và điều đó tạo ra những chênh lệch số rất nhỏ. Khi cố định cách tính, cả 1.000 câu trả lời đều giống hệt nhau. Vì vậy, nếu có phần nào trong câu trả lời của chatbot phải giữ nguyên từng chữ, an toàn hơn là lưu riêng phần đó.