66B là một mô hình ngôn ngữ lớn (LLM) được thiết kế để xử lý và hiểu ngôn ngữ tự nhiên ở nhiều ngôn ngữ. Với quy mô khoảng 66 tỷ tham số, nó đã được huấn luyện trên một tập dữ liệu đa dạng nhằm nắm bắt cú pháp, ngữ nghĩa và các mối quan hệ có ý nghĩa trong văn bản.
Kiến trúc dựa trên transformer với cơ chế attention đa đầu và tối ưu hóa hiệu suất cho suy luận theo chuỗi. Quá trình huấn luyện kết hợp nhiều phương pháp như tiền huấn luyện tự giám sát, điều chỉnh trên dữ liệu có chất lượng cao và lọc bỏ nhiễu để tăng độ tin cậy của các dự đoán.
66B hỗ trợ trả lời câu hỏi, viết văn bản sáng tạo, tóm tắt văn bản, dịch máy và phân tích cảm xúc. Nó có khả năng làm việc ở nhiều ngôn ngữ, từ tiếng Việt cho tới nhiều ngôn ngữ khu vực, với hiệu suất tốt ở ngữ cảnh phức tạp và nhiều tác vụ ngôn ngữ tự nhiên.
