The Concept That Changed How I Think About AI APIs có gì mới?

• Mỗi lần gọi AI API, bạn phải gửi lại toàn bộ cuộc trò chuyện, vì AI không tự nhớ giữa các lần gọi.
• Các nhãn như `system`, `user`, `assistant` dùng để cho AI biết ai đang nói và nên ưu tiên điều gì.

- `System` là phần dành cho chỉ dẫn của người làm ứng dụng, giống như “luật chơi” cho AI. - `user` là lời nhắn của người dùng, còn `assistant` là câu trả lời của AI trước đó.

• Hiểu đúng cấu trúc này giúp bạn làm việc với AI dễ hơn, nhất là khi xây dựng chatbot hay agent.

Khi mới tìm hiểu AI API, nhiều người nghĩ mình chỉ đang “chat với một con bot”. Nhưng điều quan trọng nằm ở chỗ: AI không tự nhớ cuộc trò chuyện như con người. Mỗi lần bạn gửi yêu cầu, bạn thực ra đang gửi cho nó cả một “bản ghi” của đoạn hội thoại cho tới lúc đó. Đây là điểm khiến nhiều người mới bối rối. Trong code, bạn sẽ thấy một danh sách chứa nhiều tin nhắn, và mỗi tin nhắn có một `role` như `system`, `user`, hoặc `assistant`. Nhìn thì đơn giản, nhưng chính cấu trúc này là thứ giúp AI hiểu ai đang nói, đang được yêu cầu làm gì, và câu trả lời trước đó là gì. Nếu không hiểu phần này, bạn sẽ dễ có cảm giác AI hoạt động khá “mơ hồ”. Nhưng khi hiểu rồi, mọi thứ sáng ra rất nhanh. Bạn sẽ thấy AI API không phải là một chiếc hộp bí ẩn, mà giống như một cách gửi kịch bản cho mô hình đọc rồi viết tiếp câu sau. Điều cốt lõi đầu tiên là AI API thường không có “trí nhớ” riêng cho cuộc trò chuyện của bạn.

Nghĩa là server không ngồi giữ sẵn cuộc chat và tự nối tiếp cho bạn. Thay vào đó, chính ứng dụng của bạn phải lưu lại lịch sử rồi gửi lại trong mỗi lần gọi. Nói đơn giản, nếu bạn muốn AI nhớ rằng “hôm trước đang nói về chuyến đi Nhật”, bạn phải đưa thông tin đó vào lại request tiếp theo. Vì vậy, “bộ nhớ” của AI hội thoại thực ra nằm ở danh sách tin nhắn bạn gửi đi, chứ không nằm bí mật ở phía máy chủ. Điều này nghe có vẻ phiền, nhưng lại rất hữu ích. Nó cho bạn quyền kiểm soát hoàn toàn: bạn có thể giữ lại, cắt bớt, tóm tắt, hoặc thay đổi lịch sử hội thoại theo ý mình. Đây là lý do các chatbot và agent có thể hoạt động linh hoạt. Để AI hiểu đúng, các hệ thống thường dùng ba vai trò chính. Mỗi vai trò giống như một người trong cuộc trò chuyện, dù thực tế tin nhắn đó có thể do con người, chương trình, hay chính AI tạo ra.

- `System`: phần hướng dẫn nền, giống như luật hoặc vai trò mà bạn giao cho AI. - `user`: lời của người dùng thật, hoặc dữ liệu mà chương trình của bạn “đẩy vào” như thể đó là người dùng. - `assistant`: câu trả lời của AI ở những lượt trước. Trong đó, `system` rất quan trọng vì nó giống như chỉ đạo từ đầu bài. Bạn có thể bảo AI nói ngắn gọn, lịch sự, chỉ trả lời về một chủ đề nhất định, hoặc không được bịa nếu không biết. Phần này thường không hiện ra với người dùng cuối, nhưng lại ảnh hưởng mạnh đến cách AI phản hồi. Phần `user` là những gì người thật nhập vào. Tuy nhiên, trong các ứng dụng nâng cao, code của bạn cũng có thể đóng vai “user” để nhét thêm dữ liệu vào hội thoại. Chẳng hạn, khi một công cụ bên ngoài trả về kết quả, chương trình có thể đưa kết quả đó vào luồng hội thoại để AI đọc và phản hồi tiếp. Phần `assistant` là những gì AI đã trả lời ở lượt trước.

Nếu bạn muốn AI nhớ mạch hội thoại, bạn phải gửi lại cả câu trả lời cũ này. Đây là cách tạo cảm giác “nhớ” trong các cuộc chat nhiều lượt.

Bạn đang đưa cho AI một bản ghi cuộc hội thoại hoàn chỉnh, rồi yêu cầu nó viết tiếp dòng mới. Nó không tự lật lại quá khứ, mà chỉ đọc cái bạn đưa cho nó ở thời điểm hiện tại.

• AI API thường là “stateless”, tức là không giữ trạng thái cuộc chat cho bạn.
• Mọi thứ cần nhớ phải được bạn gửi lại trong danh sách tin nhắn.
• Muốn hội thoại nối tiếp, bạn phải lưu lịch sử trong ứng dụng.
• Muốn AI không quên, bạn phải đưa lại ngữ cảnh cũ.
• Muốn kiểm soát hành vi AI, phần `system` là nơi hiệu quả nhất.

Điều này áp dụng khá giống nhau ở nhiều nhà cung cấp khác nhau, nhưng mỗi bên có cách trình bày hơi khác. OpenAI là kiểu quen thuộc nhất: tất cả nằm trong một danh sách `messages`, gồm `system`, `user`, và `assistant`. Nhiều nền tảng khác cũng đi theo cách này vì nó dễ hiểu và dễ triển khai. Anthropic, với Claude, lại tách riêng phần chỉ dẫn hệ thống ra ngoài danh sách tin nhắn. Tức là `system` không nằm chung với hội thoại, mà được đặt ở một trường riêng. Cách này làm cho cấu trúc rõ ràng hơn: phần “luật” nằm riêng, phần đối thoại nằm riêng. Gemini thì đổi tên nhiều hơn. Họ dùng `contents` thay cho `messages`, dùng `model` thay cho `assistant`, và mỗi tin nhắn có `parts` thay vì chỉ một chuỗi nội dung đơn giản. Lý do là Gemini được thiết kế để xử lý nhiều kiểu dữ liệu cùng lúc, không chỉ văn bản mà còn có thể là ảnh, video hoặc âm thanh. Groq và DeepSeek lại khá gần với OpenAI. Nếu đã quen cách của OpenAI, bạn thường sẽ thấy Groq và DeepSeek dễ chuyển sang hơn nhiều.

Với DeepSeek, thậm chí có thể dùng gần như cùng một kiểu code, chỉ đổi địa chỉ API và khóa truy cập. Có một chi tiết thú vị ở DeepSeek là “prefix completion”. Hiểu đơn giản, bạn cho AI một đoạn mở đầu dang dở, rồi bảo nó viết tiếp từ đó. Cách này hữu ích khi bạn muốn ép đầu ra đi theo một định dạng nhất định, ví dụ như code hoặc JSON.

• OpenAI: cấu trúc `messages` rất phổ biến và dễ học.
• Anthropic: tách `system` riêng, nhìn gọn và rõ vai trò hơn.
• Gemini: đổi tên thành `contents`, `parts`, `model` để phù hợp dữ liệu đa phương tiện.
• Groq: gần như theo phong cách OpenAI, dễ chuyển đổi.
• DeepSeek: tương thích OpenAI và có thêm vài tính năng riêng như prefix completion.

Khi bạn bắt đầu xây dựng một agent, phần thú vị nhất là ranh giới giữa “người dùng” và “chương trình” trở nên mờ đi. Ví dụ, nếu agent cần biết thời tiết, chương trình có thể gọi một công cụ ngoài để lấy dữ liệu rồi đưa kết quả đó vào hội thoại. AI sau đó đọc dữ liệu này và viết câu trả lời cho người dùng.

AI không cần biết dữ liệu đó thật sự đến từ ai. Nó chỉ cần nhìn thấy đúng vai trò và đúng định dạng. Nếu bạn gắn nội dung đó như một tin nhắn `user`, mô hình sẽ xử lý nó như một phần của hội thoại.

Chương trình không chỉ chuyển câu hỏi của người dùng cho AI, mà còn chủ động thêm dữ liệu, thêm ngữ cảnh, và điều phối cả cuộc hội thoại. Bạn lúc này không còn chỉ “chat với AI”, mà đang viết kịch bản cho AI đọc.

• `System`: bạn là trợ lý thời tiết, trả lời ngắn gọn và rõ ràng.

- `User`: trời Tokyo bây giờ thế nào? - `assistant`: để tôi kiểm tra. - `user` do code chèn vào: dữ liệu thời tiết từ công cụ bên ngoài. - `assistant`: tổng hợp và trả lời cho người dùng. Nhìn vào đây, ta thấy ứng dụng không chỉ nhận câu hỏi rồi chờ AI tự nghĩ. Nó còn tham gia vào luồng thông tin, thu thập dữ liệu, rồi “đưa tay” vào cuộc trò chuyện đúng lúc. Điều này cũng cho thấy vì sao `system` prompt rất quan trọng. Nếu coi ứng dụng AI như một cuộc đối thoại, thì `system` chính là bộ quy tắc ban đầu. Nó nói cho AI biết nên cư xử ra sao, trả lời kiểu gì, và giới hạn nào không được vượt qua. Một `system` prompt tốt thường cụ thể hơn nhiều so với câu “bạn là chatbot hỗ trợ khách hàng”. Nếu chỉ nói chung chung như vậy, AI có thể đoán mò, tự suy diễn, hoặc trả lời dài dòng không cần thiết.

Nhưng nếu bạn nói rõ: chỉ trả lời về sản phẩm A, không bàn sang sản phẩm khác, không biết thì nói sẽ chuyển bộ phận hỗ trợ, và giữ câu trả lời dưới 3 câu, thì phản hồi sẽ ổn định hơn. Nói ngắn gọn, `system` không phải lời chào mở màn. Nó giống như nội quy của cả ứng dụng. Muốn AI làm đúng việc, hãy viết phần này rõ ràng, có giới hạn và dễ hiểu. Về thực tế lập trình, vòng lặp hội thoại thường rất đơn giản. Bạn lưu lịch sử, người dùng nhập gì thì thêm vào danh sách, gửi toàn bộ danh sách đó cho AI, nhận câu trả lời, rồi lại lưu câu trả lời ấy vào lịch sử. Cứ thế lặp lại. Điểm cần nhớ là danh sách này có giới hạn độ dài. Nếu hội thoại quá dài, bạn sẽ chạm trần dữ liệu mà mô hình có thể đọc trong một lần. Khi đó, ứng dụng thật sẽ phải rút gọn lịch sử, tóm tắt các đoạn cũ, hoặc chỉ giữ lại những phần quan trọng.

• AI không tự nhớ cuộc trò chuyện giữa các lần gọi.
• Bạn phải tự lưu và gửi lại lịch sử hội thoại. - `system` là nơi đặt luật chơi cho AI. - `user` và `assistant` giúp mô hình biết ai nói câu nào.
• Các nhà cung cấp khác nhau chủ yếu khác ở tên gọi và cách bày biện, còn ý tưởng chung khá giống nhau.

Khi hiểu được điều này, việc đọc tài liệu của các nền tảng AI sẽ nhẹ hơn rất nhiều. Bạn sẽ không còn học kiểu “thử đại xem sao”, mà biết mình đang điều khiển điều gì. Và đó là bước chuyển rất quan trọng: từ chỗ thấy AI “ma thuật”, sang chỗ hiểu nó như một công cụ có cấu trúc rõ ràng.

Nếu bạn không làm công nghệ mỗi ngày, tài liệu gốc về AI thường khá dài, nhiều thuật ngữ và dễ gây ngợp. Bài tóm tắt trên Insight giúp bạn nắm ý chính nhanh mà không phải đọc hết từng dòng code hay thuật ngữ kỹ thuật. Lợi ích lớn nhất là tiết kiệm thời gian. Thay vì mất hàng chục phút để tự lọc ý, bạn có thể hiểu ngay điều quan trọng nhất: AI API hoạt động thế nào, vì sao có các vai trò `system`, `user`, `assistant`, và khi nào dữ liệu do chính ứng dụng chèn vào lại quan trọng. Insight cũng giúp lọc nhiễu. Nhiều bài gốc có ví dụ, lời kể trải nghiệm và đoạn minh họa dài; bản tóm tắt sẽ cô đọng lại thành các ý dễ nhớ, phù hợp để đọc nhanh trên điện thoại hoặc lướt giữa giờ làm việc. Quan trọng hơn, bạn vẫn nắm được bản chất chứ không chỉ là câu chữ bề mặt. Khi hiểu đúng ý chính, bạn dễ áp dụng vào thực tế, dễ trao đổi với người khác, và dễ quyết định có nên đọc sâu thêm hay không.

Đây là cách đọc thông minh hơn cho người bận rộn: ít thời gian hơn, ít nhiễu hơn, nhưng vẫn đủ hiểu để dùng được.