Tin về mã nguồn mở

Dự án mã nguồn mở llm-d vừa phát hành phiên bản 1.0, nhằm giúp doanh nghiệp triển khai và mở rộng suy luận mô hình ngôn ngữ lớn hiệu quả hơn trong môi trường sản xuất. Bản 1.0 bổ sung các tính năng như kiểm soát chất lượng dịch vụ cho nhiều người dùng, vận hành không gián đoạn và định tuyến nhận biết phiên làm việc cho tác vụ AI tác nhân. Dự án do Red Hat, IBM, Google Cloud, CoreWeave và NVIDIA thành lập năm 2025, nay thuộc Cloud Native Computing Foundation, với hơn 500 người đóng góp từ hơn 25 tổ chức. Các minh họa gần đây cho thấy chi phí có thể giảm 5 đến 10 lần với tác vụ AI tác nhân cần nhiều ngữ cảnh và thông lượng đầu ra tăng gấp 3 lần, còn IBM Research ghi nhận chi phí suy luận thấp hơn 11,5 lần so với cấu hình độc quyền.