Meta công khai mô hình AI khổng lồ chuyên xử lý ngôn ngữ

Bằng cách công khai mô hình ngôn ngữ với 175 tỷ tham số OPT-175B, Meta hy vọng sẽ đóng góp cho quá trình nghiên cứu AI và giảm thiểu thiên vị trong mô hình này.

Meta công khai mô hình AI khổng lồ chuyên xử lý ngôn ngữ - 1

Meta - tập đoàn mẹ của Facebook - sẽ công khai một mô hình ngôn ngữ lớn (large language model) cho giới nghiên cứu trí tuệ nhân tạo (AI), theo thông báo ngày 3/5.

"Mô hình ngôn ngữ lớn" là loại mô hình AI xử lý ngôn ngữ tự nhiên được "luyện tập" bằng khối lượng văn bản rất lớn, có khả năng trả lời câu hỏi đọc hiểu đồng thời có thể tạo ra văn bản mới.

Trong bài blog của mình, Meta cho biết mô hình mang tên "Open Pretrained Transformer" (OPT-175B) là mô hình ngôn ngữ 175 tỷ tham số đầu tiên được công khai cho cộng đồng nghiên cứu AI và sẽ cải thiện khả năng nghiên cứu mô hình ngôn ngữ lớn.

Theo Meta, việc giới hạn truy cập mô hình ngôn ngữ lớn đã "cản trở tiến bộ trong quá trình cải thiện tính đầy đủ và giảm thiểu vấn đề thiên vị của mô hình". Bằng cách công khai OPT-175B, Meta hy vọng sẽ có thêm luồng ý kiến đống góp về mặt đạo đức cho công nghệ này.

Tuy nhiên, để tránh việc mô hình bị lạm dụng và duy trì tính toàn vẹn của mô hình, Meta sẽ chỉ công khai OPT-175B dưới dạng ứng dụng phi thương mại để tập trung cho mục đích nghiên cứu. Dữ liệu được công khai sẽ bao gồm mô hình được luyện tập trước và mã nguồn dùng để luyện tập và sử dụng mô hình.

Công nghệ AI vốn là một lĩnh vực nghiên cứu then chốt của nhiều tập đoàn công nghệ lớn. Tuy nhiên, việc phụ thuộc vào AI - bao gồm các mô hình ngôn ngữ lớn - được cho là nguyên nhân dẫn đến nhiều vấn đề trên môi trường mạng và mang lại rủi ro về đạo đức.

Nguồn: [Link nguồn]Nguồn: [Link nguồn]