CLM-8B vừa ra mắt: Mô hình AI mở mới được cho là nhanh hơn Jev tới 9 lần dành cho các tác nhân

Câu trả lời ngắn gọn: CLM-8B là một mô hình ngôn ngữ tương phản nhằm mục đích đưa ra quyết định nhanh chóng cho các tác nhân, với tuyên bố của tác giả về độ trễ thấp hơn tới khoảng 9 lần so với các mô hình cùng loại Jev. Những con số này vẫn chưa được xác nhận ngoài môi trường phát hành. Nếu bạn xây dựng các tác nhân lập trình, hãy thử nghiệm A/B trên hệ thống của riêng bạn trước khi tin tưởng vào các biểu đồ.

Những điểm chính cần ghi nhớ:

Các tuyên bố về độ trễ: Hãy coi tốc độ tăng ~9 lần của Jev là do tác giả báo cáo cho đến khi có người khác tái tạo được kết quả tương tự.

Bộ khung đánh giá: Giữ cố định các công cụ và lời nhắc khi thực hiện thử nghiệm A/B trên CLM-8B.

Kiến trúc kết hợp: Sử dụng CLM cho các vòng lặp nhanh; giữ lại một trình suy luận chậm hơn cho các tác vụ mới.

trọng lượng mở: Xác nhận các tệp giấy phép Apache trước khi phân phối các phiên bản thương mại.

Rủi ro lạm dụng: Các công cụ và bí mật có thể đảo ngược được sẽ được các tác nhân quyết định chỉ trong vài mili giây.

CLM-8B đang hướng tới điều gì? ⚡

Theo mô tả của những người ủng hộ phương pháp này, huấn luyện Mô hình Ngôn ngữ Tương phản tập trung vào việc kết nối các trạng thái và hành động hơn là tối đa hóa xác suất của hành động tiếp theo một cách riêng lẻ. Nói một cách dễ hiểu: mô hình được điều chỉnh để ánh xạ "tình huống hiện tại" đến "hành động cần thực hiện", giống như một nhà hoạch định chính sách hơn là một tiểu thuyết gia. Đó là sự tương đồng với Hệ thống 1 mà các nhà nghiên cứu vẫn luôn hướng tới - nhanh chóng, liên tưởng, định hình quyết định - trái ngược với khuynh hướng của Hệ thống 2 với chuỗi suy nghĩ dài dòng, tiêu tốn nhiều tài nguyên trong quá trình suy nghĩ.

CLM-8B là bộ trọng số công khai đầu tiên trong dòng sản phẩm này. Nó được định vị là bản phát hành nghiên cứu mở với giấy phép Apache 2.0 trên phạm vi bảo mật đi kèm, điều này rất quan trọng nếu bạn muốn tinh chỉnh, phát hành hoặc phân nhánh mà không gặp rắc rối với luật sư. Jacky Kwok đã giới thiệu công trình này; Azalia Mirhoseini, người có liên hệ với Stanford, đã khuếch đại nó; và bối cảnh rộng hơn cho thấy đây là Stanford và NVIDIA. Các nhà nghiên cứu được nêu tên, trọng số công khai, mã nguồn mở - không phải là một vụ rò rỉ ẩn danh. Vẫn còn quá sớm để có sự sao chép từ bên thứ ba, vì vậy hãy giữ thái độ hoài nghi ở mức độ giữa "thú vị" và "hãy cho tôi xem diễn đàn độc lập".

Kích thước của card là tám tỷ tham số, đủ nhỏ để các phòng thí nghiệm và nhà phát triển độc lập có thể sử dụng mà không cần phải trả giá quá cao để có được thời gian sử dụng H100. Hiện đã có thông tin về phiên bản kế nhiệm lớn hơn của CLM-35B . Liệu phiên bản lớn hơn này có giữ nguyên đặc điểm về độ trễ hay đánh đổi tốc độ lấy độ sâu xử lý vẫn chưa được quyết định, nhưng tín hiệu từ lộ trình phát triển rất rõ ràng: đây được thiết kế để trở thành một dòng sản phẩm, chứ không phải là một card demo đơn lẻ.

•  Trọng tâm: vòng lặp trạng thái → hành động dành cho các tác nhân, không phải viết luận
•  Việc cấp phép được mô tả là Apache 2.0 trong các bài báo xung quanh thời điểm phát hành
•  Phong cách: Hệ thống 1 / Câu chuyện huấn luyện định hướng quyết định
•  Thông tin tiếp theo: Kế hoạch sử dụng CLM-35B lớn hơn đã được đề cập

Phong cách Hệ thống 1 so với kiểu máy chạy bộ token thông thường 

Hầu hết các mô hình LLM (Learning Learning Module) mà bạn biết đều tạo ra văn bản từng token một. Điều đó rất hiệu quả đối với văn xuôi, các đoạn mã và các dấu vết suy luận cẩn thận. Đó cũng là lý do tại sao một tác nhân cần hai mươi quyết định nhỏ mỗi phút có thể cảm thấy chậm chạp ngay cả khi mô hình "thông minh". Mỗi bước đều phải trả thuế tự hồi quy.

Mô hình Ngôn ngữ Tương phản đảo ngược trọng tâm. Thay vì yêu cầu mạng nơ-ron kể lại câu chuyện để đưa ra câu trả lời, bạn huấn luyện nó ưu tiên hành động đúng đắn dựa trên trạng thái hiện tại - hãy nghĩ đến sự tương phản giữa các bước đi tốt và xấu, chứ không chỉ là sự tiếp nối trôi chảy. Những người xây dựng mô hình đã biết rõ quy luật này: đôi khi bạn không cần một lời giải thích dài cả ngàn từ; bạn chỉ cần mô hình gõ lệnh pytest thay vì rm -rf. Các vòng lặp nhanh rất quan tâm đến sự khác biệt này.

Điều này không có nghĩa là CLM-8B không thể phát ra văn bản. Nó có nghĩa là mục tiêu đào tạo và câu chuyện đánh giá nghiêng về khả năng điều khiển của tác nhân. Đó là một hình dạng sản phẩm khác so với "mô hình trò chuyện cũng có thể gọi công cụ". Ngành công nghiệp đã dành nhiều năm để cải thiện các mô hình trong việc nói về các công cụ, nhưng vẫn bị tắc nghẽn ở chính quá trình giao tiếp. Một mô hình ưu tiên quyết định là một bước đi ngang hướng, hoặc là trông có vẻ hiển nhiên khi nhìn lại, hoặc là thất bại khi các tiêu chuẩn đánh giá trở nên phức tạp. Cả hai kết quả đều có thể xảy ra.

Tốc độ và số liệu đo được (coi như số liệu khai báo)

Đây là phần gây xôn xao trên mạng xã hội: những người quảng bá tuyên bố tốc độ suy luận nhanh hơn khoảng 9 lần so với các mô hình thuộc lớp Jev. Sau khi tinh chỉnh nhẹ, họ cũng báo cáo kết quả mã hóa tác nhân mạnh mẽ - DeepSWE đạt khoảng 81,6% và Terminal-Bench 2.1 đạt khoảng 87,6%. Trong một số đánh giá, họ mô tả hiệu năng không cần huấn luyện (zero-shot) tương đương với Jev trong khi độ trễ thấp hơn nhiều. Một bản tóm tắt cụm máy tính được lan truyền trong các cuộc thảo luận về bản phát hành đã trích dẫn thời gian phản hồi khoảng 32 ms trên thiết lập terminal bench. Cần lưu ý rằng: đây là thông tin được báo cáo và tuyên bố, chứ chưa được kiểm toán độc lập trong bài viết này.

Nếu những số liệu về độ trễ đó được khái quát hóa, thì lợi ích thực tế là cần ít GPU hơn cho mỗi tác nhân đồng thời, hoặc nhiều tác nhân hơn trên mỗi GPU. Việc lập trình các tác nhân xử lý quá tải một lớp vỏ (shell) đặc biệt nhạy cảm vì thời gian chờ thực tế tích lũy; một quyết định 200 ms và một quyết định 30 ms sẽ cho cảm giác khác nhau sau vài trăm lượt xử lý. Người dùng thường đổ lỗi cho "mô hình quá kém thông minh" trong khi vấn đề thực sự là độ trễ tương tác.

Tuy nhiên - và đây là đoạn dành cho sự giám sát của người lớn - các bài kiểm tra của tác giả vẫn chỉ là tiếp thị cho đến khi người khác sao chép chúng trên phần cứng dùng chung với các lời nhắc dùng chung. Kết quả tinh chỉnh nhẹ cũng có thể che giấu rất nhiều cấu trúc hỗ trợ. Các con số mạnh mẽ từ DeepSWE và Terminal-Bench rất đáng phấn khích chính vì các bộ kiểm thử này trừng phạt các tác nhân dễ bị lỗi, nhưng sự phấn khích không đồng nghĩa với việc sao chép. Hãy dán một mẩu giấy ghi chú có chữ "TUYÊN BỐ" về con số 9× và con số thuộc lớp 32 ms đó. 

Bảng so sánh: LLM từng từ so với khung kiểu CLM

Bảng biểu rất hữu ích khi ngôn ngữ tiếp thị trở nên khó hiểu. Bảng này so sánh thói quen tạo lập thế hệ LLM điển hình với câu chuyện về Mô hình Ngôn ngữ Đối chiếu như các nhà nghiên cứu mô tả. Các ô được sắp xếp hơi không đều một cách có chủ ý vì các so sánh cụ thể luôn như vậy.

Hãy sử dụng bảng này như một mô hình tư duy, chứ không phải là một phán quyết. Các nhóm sản phẩm vẫn cần tự đánh giá khả năng của mình: lược đồ công cụ, chính sách thử lại và nhiễu môi trường sẽ ảnh hưởng đến điểm số nhiều hơn những gì được trình bày trong bản trình chiếu.

Ai đứng sau những tiếng ồn này? 👤

Việc ghi nhận nguồn gốc rất quan trọng vì các sản phẩm AI công khai có phạm vi rất rộng, từ những bản phát hành được thực hiện cẩn thận trong phòng thí nghiệm đến những bản phát tán bí ẩn. Bản phát hành này có người đứng sau. Jacky Kwok đã giới thiệu CLM; Azalia Mirhoseini đã giúp đưa nó đến với công chúng rộng rãi hơn; các bài báo luôn đề cập đến sự hợp tác nghiên cứu giữa Stanford và NVIDIA. Điều đó không tự động biến mọi con số thành sự thật, nhưng nó giúp đảm bảo uy tín của người phát minh. Các bản phát hành công khai có tên nhà nghiên cứu thường được kiểm tra độ tin cậy nhanh hơn so với các bản phát tán ẩn danh - các đồng nghiệp rất thích nhắm mục tiêu công khai.

Đối với các nhà phát triển, ý nghĩa thực tiễn là quyền truy cập. Việc sử dụng mã nguồn mở cộng với giấy phép kiểu Apache 2.0 (như đã đề cập khi ra mắt) thường có nghĩa là bạn có thể thử nghiệm thương mại với ít rủi ro hơn so với các giấy phép chỉ dành cho nghiên cứu. Hãy tự kiểm tra các tệp giấy phép thực tế trong bản phát hành trước khi gửi bất cứ thứ gì; tóm tắt phạm vi bảo mật không phải là hợp đồng. Điều đó nghe có vẻ rườm rà, nhưng sự tỉ mỉ trong giấy phép lại giúp các công ty khởi nghiệp thành công.

Mô hình khuếch đại xã hội khá quen thuộc: nhà nghiên cứu đăng bài, người khuếch đại được kính trọng trích dẫn lại bài đăng, sau đó là làn sóng "cuối cùng thì vấn đề cũng được giải quyết". Hãy lọc những người chia sẻ chi tiết về hệ thống. Ảnh chụp màn hình của một lần chạy mã thành công chỉ là màn kịch tạo cảm xúc, không phải khoa học. 🛰️

Vì sao vòng lặp từ trạng thái đến hành động lại sở hữu mã hóa tác nhân? 

Lập trình tác nhân là một môi trường khắc nghiệt. Mô hình nhìn thấy ảnh chụp nhanh kho lưu trữ, bản ghi lệnh shell, có thể là một bài kiểm tra thất bại, và phải chọn chỉnh sửa hoặc thực thi lệnh. Thành công thường mang tính nhị phân hơn cả hội thoại. Hoặc bài kiểm tra thành công hoặc thất bại. Hình thức phần thưởng đó ưu tiên các chính sách lựa chọn hành động một cách rõ ràng hơn là các mô hình viết nên những bài luận thất bại hoa mỹ.

Các câu chuyện huấn luyện tương phản phù hợp với thế giới đó vì chúng thúc đẩy mạng lưới thần kinh thực hiện các hành động ưu tiên trong một trạng thái nhất định. Hãy nghĩ về nó như việc dạy một kỹ sư mới vào nghề "khi bạn thấy lớp lỗi này, hãy sử dụng mẫu sửa lỗi này" thay vì "viết một bài đăng trên blog về lý do tại sao trình biên dịch lại khó". Người kỹ sư mới vẫn cần khả năng phán đoán; lối tắt chỉ giúp giảm bớt sự lưỡng lự.

Độ trễ ở đây càng trở nên nghiêm trọng hơn. Giả sử một tác nhân trung bình cần 80 bước công cụ để khắc phục một lỗi trung bình. Giảm 150 ms mỗi bước và bạn tiết kiệm được 12 giây thời gian thực - đó là sự khác biệt giữa trạng thái làm việc hiệu quả và việc người dùng chuyển sang cửa sổ khác để kiểm tra email. Các nhóm vận hành nhiều tác nhân cũng cảm nhận được điều đó trong hóa đơn điện toán đám mây. Tốc độ suy luận được tuyên bố nhanh hơn gấp nhiều lần so với một tác vụ tương đương thuộc lớp Jev, ngay cả khi thực tế chỉ nhanh hơn "4 lần", vẫn làm thay đổi kế hoạch năng lực.

Tôi có một phép ẩn dụ hơi thiếu chắc chắn mà tôi vẫn thường dùng trong các cuộc họp: mô hình trò chuyện từng token một giống như việc tranh luận về lộ trình ở mỗi ngã tư, trong khi bộ điều khiển kiểu Hệ thống 1 lại giống như phản xạ tự nhiên khi lái xe trong thành phố. Phản xạ tự nhiên sẽ không còn hiệu quả ở một thành phố mới. Tương tự, một mô hình hành động được tinh chỉnh quá hẹp cũng sẽ thất bại khi văn hóa kho lưu trữ mang tính đặc thù. Bạn vẫn cần các chế độ cân nhắc kỹ lưỡng cho các lựa chọn kiến ​​trúc mới; bạn cần phản xạ nhanh nhạy cho lần thứ năm mươi "sửa lỗi nhập khẩu và chạy lại". Các kiến ​​trúc lai - bộ điều khiển nhanh kiểu CLM cộng với bộ suy luận mạnh mẽ hơn trên các nhánh khó - có lẽ là nơi các hệ thống nghiêm túc sẽ hướng tới, ngay cả khi các bài đăng ra mắt chỉ bán một mô hình chủ đạo duy nhất. 🚦

Điều đáng nói thêm là: các công cụ lập trình tự động như DeepSWE và Terminal-Bench khuyến khích việc xây dựng khung sườn. Chất lượng của công cụ, danh sách cho phép và các lời nhắc phục hồi có thể làm thay đổi tỷ lệ thành công lên đến hai chữ số. Khi bạn thấy tỷ lệ thành công khoảng 81,6% hoặc 87,6% sau khi tinh chỉnh nhẹ, hãy tìm hiểu kỹ về các lớp bao bọc được sử dụng cho trọng số. Đó không phải là lời nói dối; đó là cách mà lĩnh vực này hoạt động.

Trọng lượng mở, tinh chỉnh và bóng 35B Shadow 

Các trọng số mở làm thay đổi động lực xã hội của một yêu cầu. Các mô hình API đóng có thể hiển thị biểu đồ và khiến bạn phải đoán mò về sự nhiễm bẩn, các thủ thuật giải mã hoặc các lời nhắc hệ thống bí mật. Với các tham số có thể tải xuống, ít nhất bạn cũng có thể thử nghiệm nó. Việc tinh chỉnh CLM-8B cho môi trường mã hóa nội bộ của bạn - các quy tắc lint, CLI triển khai, cấu trúc monorepo của bạn - là con đường thực tế để đạt được các con số hiệu năng ấn tượng, chứ không phải là phép màu từ con số không ngay từ ngày đầu tiên.

Khung Apache 2.0 (theo như báo cáo) thân thiện với nhà phát triển: ngôn ngữ cấp bằng sáng chế, các quy tắc phân phối lại rõ ràng, ít cạm bẫy "chỉ dành cho nghiên cứu". Tóm lại: hãy đọc kỹ các tài liệu. Người viết báo cáo tóm tắt; luật sư chuyên sâu.

Mô hình CLM-35B đang được lên kế hoạch là vấn đề lớn trong bản phác thảo lộ trình. Các mô hình lớn hơn thường lấy lại được khả năng xử lý có chủ đích nhưng lại mất đi một phần sự quyến rũ của "nhỏ gọn và cực nhanh", trừ khi các thủ thuật tinh chế hoặc suy đoán giúp kiểm soát độ trễ. Nếu phiên bản 8 tỷ là chiếc xe thể thao và phiên bản 35 tỷ là chiếc sedan du lịch, các nhóm có thể giữ cả hai: 8 tỷ cho các vòng lặp nhanh, 35 tỷ cho việc lập kế hoạch phức tạp. Hoặc mô hình lớn hơn có thể đơn giản là chiếm ưu thế nếu phần cứng tiếp tục rẻ hơn. Tương lai nào sẽ đến vẫn chưa được quyết định; ghi chú phát hành trong tương lai sẽ quyết định, chứ không phải đoạn văn này.

Một rủi ro tiềm ẩn với các mô hình tác nhân mở: mọi người sẽ tích hợp chúng vào CI mà không có giới hạn tốc độ và phát hiện ra lỗ hổng bảo mật thông qua các tệp README độc hại. Các mô hình nhanh khuếch đại việc lạm dụng cũng giống như cách chúng khuếch đại giá trị thực tiễn. Các rào chắn bảo vệ không phải là trò chơi tùy chọn; chúng là sản phẩm. 

• Hãy tinh chỉnh trên chính bản thân mình trước khi đánh giá chất lượng
• Hãy giữ lại một người có khả năng suy luận chậm hơn như một phương án dự phòng cho những nhiệm vụ mới
• Độ trễ của thiết bị p50/p95 trong bộ dây đeo của bạn, không chỉ là độ chính xác
• Giả sử 35 tỷ sẽ làm dịch chuyển đường biên Pareto một lần nữa

Đọc bài so sánh Jev mà không bị lạc lối 

Việc so sánh với các mô hình thuộc lớp Jev chỉ mang tính chất hùng biện. Chúng thiết lập một chuẩn mực trong phân khúc tốc độ xử lý tác nhân để cụm từ "nhanh hơn đến 9 lần" có một điểm tham chiếu. Các tuyên bố tương đối cần một điểm neo, và điều đó là hợp lý. Nguy hiểm nằm ở chỗ thu gọn toàn bộ hệ thống đánh giá vào một hệ số nhân duy nhất. Kích thước lô, độ chính xác, cài đặt giải mã, độ dài ngữ cảnh và việc tuần tự hóa lệnh gọi công cụ đều định hình lại ý nghĩa của "nhanh hơn", và những yếu tố này hiếm khi xuất hiện trên cùng một slide.

Khi bản tóm tắt cụm đề cập đến phản hồi thuộc lớp ~32 ms trên thiết lập thử nghiệm tại thiết bị đầu cuối, hãy coi "phản hồi" là một nhãn không rõ ràng cho đến khi ai đó làm rõ liệu nó có nghĩa là mã thông báo đầu tiên, JSON hành động đầy đủ hay tiền tố được lưu vào bộ nhớ cache. Những sự khác biệt đó biến mili giây tiếp thị thành giờ làm việc của kỹ sư. Chất lượng không cần huấn luyện tương đương với độ trễ thấp hơn là sự kết hợp lý tưởng; nếu các nhóm độc lập xác nhận được dù chỉ một nửa điều đó, thì việc đào tạo theo kiểu CLM sẽ có được một vị trí thường trực trong các cuộc họp kiến ​​trúc.

Cho đến lúc đó, hãy coi Jev như một câu chuyện cạnh tranh hơn là một bảng xếp hạng đã được định đoạt. Sự cạnh tranh giúp bán được nhiều bài đăng. Các chỉ số KPI sản xuất của bạn không quan tâm đến câu chuyện. Hãy đo lường sự thành công của nhiệm vụ, số tiền chi cho mỗi phiếu yêu cầu được giải quyết và tỷ lệ can thiệp của con người. Nếu một phiên bản cải tiến của Mô hình Ngôn ngữ Đối chiếu (Contrastive Language Model) giành chiến thắng ở những chỉ số đó, hãy ăn mừng. Nếu nó chỉ thắng trên Twitter, hãy tiếp tục tiến lên. 🚶

Một chút mâu thuẫn: những câu chuyện về sự cạnh tranh vẫn có sức ảnh hưởng nhất định. Chúng buộc các phòng thí nghiệm phải công bố số liệu thay vì những lời lẽ sáo rỗng. Chỉ cần đừng nhầm lẫn bảng điểm với tinh thần thể thao.

Những điều mà bản phát hành này cần phải làm đúng 

Để CLM-8B có ý nghĩa vượt ra ngoài phạm vi tin tức nhất thời, một vài điều cần phải được chứng minh:

• Sao chép: các nhóm bên ngoài cần có khả năng đạt được độ trễ và tỷ lệ thành công khi lập trình tương tự như các công thức đã được ghi lại.
• Hãy tận dụng tính minh bạch: chia sẻ thông tin chi tiết về trình bao bọc tác nhân đã tạo ra điểm số DeepSWE và Terminal-Bench.
• Tài liệu không giả định khả năng giao tiếp bằng thần giao cách cảm trong phòng thí nghiệm: cần có các kịch bản tinh chỉnh rõ ràng, lệnh đánh giá và ghi chú phần cứng.
• Các kiểu lỗi: chỉ ra những điểm mà các quyết định theo kiểu Hệ thống 1 bị sụp đổ - API mới, vé không rõ ràng, các thao tác nhạy cảm về bảo mật.
• Lộ trình nâng cấp: làm rõ mối liên hệ giữa CLM-35B để các nhóm không bị quá tải hệ thống của mình dẫn đến bế tắc với chuẩn 8B.

Nếu những ô đó vẫn trống, mô hình sẽ trở thành một vật trang trí vô dụng. Nếu chúng được lấp đầy, các nền tảng tác nhân sẽ có được sự lựa chọn thành phần cụ thể: mô hình LLM thận trọng cho tư duy sâu sắc, mô hình nhanh tương phản cho những thao tác nhanh nhạy. Sự phân công lao động đó có vẻ trưởng thành hơn là giả vờ rằng một mô hình khổng lồ duy nhất có thể đảm nhiệm mọi công việc ở mọi mức độ trễ.

Những bài học thực tiễn dành cho các nhà thầu xây dựng làm đại lý vận chuyển hàng hóa 

Bạn không cần phải viết lại toàn bộ hệ thống của mình ngay ngày mai. Điều bạn cần là một kế hoạch để đánh giá các mô hình ra quyết định nhanh. Hãy bắt đầu bằng cách tách ra một phần quan trọng về độ trễ của tác nhân – có thể là vòng lặp nhỏ ở thiết bị đầu cuối hoặc bước "chọn grep tiếp theo" – và so sánh việc tinh chỉnh CLM-8B với mô hình hiện tại của bạn. Giữ nguyên cấu hình hiện tại. Ghi lại mọi thứ.

Hãy chú ý đến những sự suy giảm chất lượng âm thầm: các mô hình phản hồi ngay lập tức với những hành động sai đầy tự tin lại tệ hơn các mô hình chính xác chậm hơn trong các kho lưu trữ có rủi ro cao. Thêm các bước xác minh. Ưu tiên các công cụ có thể đảo ngược. Lên kế hoạch cho lần gọi mô hình thứ hai khi độ tin cậy thấp - đúng vậy, điều đó sẽ làm giảm tốc độ, và điều đó không sao cả. Tốc độ mà không có giới hạn là nguyên nhân dẫn đến sự cố trong các bản demo.

Về phía tổ chức, hãy cập nhật bảng tính dung lượng bằng cách thêm cột "số hành động mỗi giây trên mỗi GPU" thay vì chỉ là số token mỗi giây. Khối lượng công việc dựa trên tác nhân quan tâm đến việc ra quyết định, chứ không phải tốc độ xử lý văn bản. Nếu tuyên bố về hiệu suất gấp ~9 lần của các tác giả đúng dù chỉ một phần khi thử nghiệm trên phần cứng của bạn, bảng tính của bạn sẽ trông khác đi. Nếu không, bạn đã học được một bài học quý giá.

Và làm ơn, vì lợi ích của hoạt động vận hành, đừng sao chép các bí mật sản xuất vào một tác nhân thử nghiệm chỉ vì mô hình đó có vẻ "an toàn". Các mô hình mở nhanh chóng tạo điều kiện dễ dàng cho việc tạo ra các hệ thống ngầm mà không ai kiểm tra. Quy trình vẫn rất quan trọng. 

Những vấn đề chưa được giải quyết vẫn còn tồn đọng 

Một vài vấn đề chưa được giải quyết khiến tôi chưa thể hoàn toàn tập trung vào việc quảng bá:

• Hiện vẫn chưa rõ mức độ thành công trong việc lập trình được báo cáo là nhờ vào trọng số so với dữ liệu tinh chỉnh và lớp bao bọc.
• Khung tư duy Hệ thống 1 có thể bị giảm bớt khi các nhiệm vụ cần lập kế hoạch dài hạn hơn là phản xạ tức thời tại chỗ.
• CLM-35B có thể tiếp tục duy trì ưu điểm về độ trễ hoặc trở thành một LLM tầm trung mạnh mẽ khác.
• Các tùy chọn hành động tương phản có thể trở nên dễ vỡ khi có sự thay đổi về phân phối - ngôn ngữ mới, giao diện dòng lệnh đám mây mới, kho lưu trữ đối thủ.
• Vấn đề an toàn vẫn cần được làm rõ hơn khi các thao tác được thực hiện chỉ trong vài mili giây.

Đó không phải là những chiêu trò nhằm hạ bệ đội ngũ phát triển. Đó là những bước kiểm tra mà bất kỳ quá trình đánh giá việc áp dụng phần mềm nghiêm túc nào cũng nên thực hiện. Các bản phát hành mở sớm cần được xem xét kỹ lưỡng và có những khó khăn nhất định, chứ không phải là cài đặt mù quáng.

Tóm lại 

CLM-8B là một mô hình ngôn ngữ tương phản (Contrastive Language Model) mã nguồn mở, được xây dựng dựa trên Apache (theo phạm vi phủ sóng), nhằm mục đích chuyển đổi trạng thái thành hành động nhanh chóng cho các tác nhân, được Jacky Kwok giới thiệu công khai với sự hỗ trợ từ Azalia Mirhoseini và được coi là nghiên cứu liên kết với Stanford/NVIDIA. Những tuyên bố chính – nhanh hơn khoảng 9 lần so với suy luận kiểu Jev, kết quả DeepSWE và Terminal-Bench mạnh mẽ sau khi tinh chỉnh nhẹ, chất lượng zero-shot tương đương với độ trễ thấp hơn nhiều, bao gồm cả thông tin về phản hồi terminal kiểu ~32 ms – là do tác giả báo cáo và vẫn đang chờ xác nhận rộng rãi từ bên thứ ba. Một phiên bản CLM-35B lớn hơn đang được phát triển.

Nếu bạn xây dựng các hệ thống mã hóa tác nhân, điều này đáng được đánh giá tập trung, chứ không phải là một tín ngưỡng. Hãy coi nó như một bộ điều khiển Hệ thống 1 tiềm năng trong một kiến ​​trúc lai, tự đo lường khả năng của mình và giữ nguyên nhãn CLAIM trên mọi biểu đồ cho đến khi các lần chạy độc lập thành công. Phần thú vị không phải là một mô hình trò chuyện khác với logo mới. Phần thú vị là liệu việc huấn luyện dựa trên quyết định có thể giúp các tác nhân phản hồi tức thì mà không dẫn đến những sai lầm liều lĩnh hay không.

Ví dụ thực tế: Xây dựng một vòng lặp vi mô đánh giá tác nhân có độ trễ thấp cho CLM-8B

Các biểu đồ của tác giả về CLM-8B vừa ra mắt: Mô hình AI mở mới tuyên bố nhanh hơn Jev tới 9 lần dành cho các tác nhân có thể trông rất thuyết phục; nhưng chỉ có kết quả thực tế mới là yếu tố quyết định. Dưới đây là cách một nhóm phát triển công cụ độc lập của Anh đã xem xét CLM-8B như một ứng cử viên cho bộ điều khiển Hệ thống 1 - không phải là một công cụ thay thế cho trò chuyện - và đo lường hiệu năng của nó trên hệ thống vi mạch đầu cuối của riêng họ.

Kịch bản

Sam đang vận hành một sản phẩm nhỏ, vốn đã sử dụng một trình biên dịch phức tạp hơn cho việc tái cấu trúc nhiều tệp. Phần khó khăn nhất là vòng lặp nóng: đọc bản ghi kiểm thử thất bại, chọn lệnh shell hoặc hành động chỉnh sửa tiếp theo, chạy nó, rồi lặp lại. Người dùng phàn nàn ít về câu trả lời nhàm chán hơn là về độ trễ như đeo găng tay mùa đông trong suốt năm mươi bước công cụ. Các bài đăng trên mạng xã hội đang khuếch đại trọng số của Mô hình Ngôn ngữ Tương phản và tuyên bố tăng tốc khoảng 9 lần so với các công cụ cùng loại Jev, cùng với các số liệu DeepSWE / Terminal-Bench mạnh mẽ sau khi tinh chỉnh nhẹ. Sam từ chối viết lại quy trình sản xuất dựa trên biểu đồ báo chí.

Họ tạo ra một vòng lặp nhỏ quan trọng về độ trễ: hai mươi dấu vết sửa lỗi cố định từ kho mã nguồn riêng của họ. Công cụ chủ lực hiện tại vẫn là con đường cân nhắc cho các phiếu yêu cầu kiến ​​trúc mới. CLM-8B - nếu được lưu trữ và tinh chỉnh nhẹ trên các dấu vết của họ - chỉ được phép cạnh tranh ở bước "chọn hành động đảo ngược tiếp theo", với một bộ suy luận chậm hơn làm lối thoát khi độ tin cậy thấp.

Mục tiêu là tạo ra một thử nghiệm A/B giữ nguyên cấu hình: cùng công cụ, cùng danh sách cho phép, cùng chính sách thử lại. Ghi nhật ký các hành động mỗi giây, độ trễ p50/p95, thành công của tác vụ và sự can thiệp của con người - sau đó quyết định xem các trọng lượng chưa được sử dụng có đủ điều kiện tham gia hay không.

Những gì trợ lý cần

• Hai mươi dấu vết kiểm thử thất bại được ẩn danh từ công việc thực tế (chỉ bao gồm đầu vào và công cụ được cho phép)
• Một trình bao bọc tác nhân cố định: lược đồ công cụ, danh sách cho phép, số bước tối đa và nhánh "bộ suy luận chậm cuộc gọi"
• Điểm số cơ bản trên mô hình hiện tại cho cùng hai mươi nhiệm vụ
• Ghi chú phần cứng cho máy chủ CLM-8B (lớp GPU, độ chính xác, xử lý theo lô) để có một điểm tham chiếu cho khái niệm “nhanh hơn”
• Một quy tắc dán nhãn CLAIM: tác giả DeepSWE / Terminal-Bench / ~9× / ~32 ms, các số liệu sẽ được giữ nguyên cho đến khi bộ công cụ này tái tạo được điều gì đó
• Một người chủ sở hữu sẽ xem xét lại các hành động sai nhưng vội vàng trước khi tích hợp bất kỳ tính năng CI nào

Ví dụ hướng dẫn

Bạn đang giúp tôi thiết kế một bài kiểm tra A/B công bằng cho CLM-8B như một bộ điều khiển trạng thái→hành động nhanh bên trong tác nhân lập trình của chúng ta. Chỉ sử dụng các thông tin cơ bản mà tôi dán vào. Không được tự ý thêm vào các hệ số nhân độ trễ, điểm DeepSWE hoặc các điều khoản cấp phép.

Nhiệm vụ: Từ hai mươi tên nhiệm vụ và ghi chú cơ sở hiện tại của tôi, hãy soạn thảo (1) một bảng chấm điểm với các cột Nhiệm vụ / Mô hình / Các bước / Đồng hồ thời gian thực / Thành công (đạt/không đạt) / Can thiệp của con người (có/không) / Ghi chú, (2) một giao thức sáu gạch đầu dòng giữ cho trình bao bọc giống hệt nhau trên các mô hình, và (3) một quy tắc quyết định bằng ngôn từ thông dụng rõ ràng về thời điểm CLM-8B có thể sở hữu vòng lặp nhỏ so với thời điểm chúng ta chuyển sang bộ suy luận chậm.

Ràng buộc: Tiếng Anh Anh (UK English). Gắn nhãn mọi số liệu do tác giả báo cáo là CLAIM nếu nó xuất hiện. Ưu tiên các công cụ có thể đảo ngược. Cấm sử dụng ngôn ngữ kiểu "các tác nhân cuối cùng đã giải quyết được vấn đề". Nếu thiếu một chỉ số nào đó trong đoạn văn tôi dán, hãy viết [NEED MEASUREMENT] thay vì đoán mò.

Kết quả đầu ra: phần tiêu đề của bảng điểm và một hàng ví dụ đã điền sẵn bằng các ký tự giữ chỗ, các gạch đầu dòng của giao thức, sau đó là quy tắc leo thang/giữ lại. Không có phần mở đầu.

Cách kiểm tra nó

• Chạy mười đường tín hiệu tương tự trên thiết bị chủ lực hiện tại và trên thiết bị CLM-8B được tinh chỉnh với cùng một trình bao bọc. Xác nhận rằng chỉ có thời gian thực và kết quả thành công là khác nhau - danh sách công cụ thì không.
• Hãy hỏi: “Biểu đồ tác giả nào có thể thay đổi quá trình sản xuất trong tuần này?” Một câu trả lời tốt: không có biểu đồ nào cho đến khi hệ thống này chứng minh được sự thành công và giảm độ trễ đồng thời.
• Trường hợp ngoại lệ: CLM-8B trả lời trong khoảng ~30 ms với một đề xuất lệnh gây hại - xác nhận danh sách cho phép và việc xem xét thủ công sẽ phát hiện ra lỗi này trước khi CI xử lý.
• Trường hợp đặc biệt: vé API mới nằm ngoài hai mươi dấu vết - xác nhận xem bộ suy luận chậm có sở hữu nó hay không, chứ không phải mô hình phản xạ.
• Kiểm tra chấp nhận: (1) không có tuyên bố 9× được tạo ra như một kết quả đo lường, (2) độ trễ p50 và p95 được ghi lại, (3) mẫu số thành công là hai mươi nhiệm vụ, (4) các hành động nhanh sai được tính, (5) kiểm tra Apache/giấy phép diễn ra ngoại tuyến trước bất kỳ kế hoạch tàu thương mại nào.

Kết quả

Kết quả minh họa (ví dụ ước tính cho một nhóm công cụ ba người trên hai mươi dấu vết monorepo cố định, không phải là chạy lại độc lập trong phòng thí nghiệm của các tác giả): Công cụ cơ bản hoàn thành 14 trong số 20 dấu vết mà không cần sự trợ giúp của con người; độ trễ bước trung bình khoảng 180 ms; hai dấu vết cần sự can thiệp của con người sau một lỗi chỉnh sửa. Sau khi tinh chỉnh nhẹ CLM-8B trên các dấu vết nội bộ (cùng một trình bao bọc), 15 trong số 20 dấu vết đã vượt qua mà không cần trợ giúp; độ trễ bước trung bình khoảng 45 ms trên máy chủ GPU đơn của họ; một hành động nhanh sai bổ sung đã bị danh sách cho phép phát hiện trước khi áp dụng. Thời gian thực cho bộ hai mươi dấu vết giảm từ khoảng 38 phút xuống còn khoảng 22 phút bao gồm các bước xác minh. Trên danh sách kiểm tra vệ sinh (giữ nguyên bộ dây dẫn, nhãn CLAIM được giữ trên biểu đồ tác giả, vẫn sử dụng bộ suy luận chậm cho các vé mới, không có bí mật sản xuất trong tác nhân thử nghiệm), 5 trong số 5 mục đánh giá đã vượt qua. Hạn chế: tập hợp tác vụ nhỏ, một lớp phần cứng, chất lượng dữ liệu tinh chỉnh chiếm ưu thế; Điều này không xác thực các số liệu ~9× hoặc DeepSWE của các tác giả khi sử dụng ngoài phạm vi này.

Để đo lường phiên bản của riêng bạn: đóng băng hai mươi dấu vết; chấm điểm mô hình hiện tại trước; chạy CLM-8B với độ chính xác/cài đặt đã được ghi lại; chạy lại với cùng một trình bao bọc; báo cáo thành công/số lượng, p50/p95, các can thiệp và liệu có số CLAIM nào được coi là sự thật hay không.

Điều gì có thể xảy ra sai sót?

• Sùng bái biểu đồ: Vận chuyển trên slide ~9× mà không cần p95 của riêng bạn.
• Những hành động sai lầm nhanh chóng: Những sai lầm tức thời đầy tự tin lại đánh bại những quyết định đúng đắn nhưng chậm rãi trong các giao dịch mua bán lại có rủi ro cao.
• Lỗi thay đổi công cụ: Thay đổi các lời nhắc công cụ giữa các mô hình và gọi đó là một thành công của mô hình.
• Kiến trúc tập trung vào một nhân tố chính: Loại bỏ tư duy lý luận rườm rà để tập trung vào công việc thiết kế kiến ​​trúc mới.
• Đánh giá sơ bộ về giấy phép: Tin tưởng vào các bản tóm tắt phạm vi bảo mật thay vì các tệp giấy phép thực tế từ kho lưu trữ trọng lượng.
• Shadow CI: Tích hợp nhanh một tác nhân mở vào các quy trình mà không cần giới hạn tốc độ hoặc xem xét tiêm.

Bài học thực tiễn

CLM-8B đáng được đánh giá tập trung như một ứng cử viên cho bộ điều khiển Hệ thống 1 trong lập trình tác nhân - trọng số mở, câu chuyện được định hình bởi quyết định, tuyên bố tốc độ do tác giả báo cáo. Nó không phải là một tín điều và không phải là một hệ số 9x đã được chứng minh cho hệ thống của bạn cho đến khi hệ thống kiểm soát của bạn xác nhận điều đó. Giữ lớp bao bọc không đổi, ghi lại số hành động mỗi giây và tốc độ sai nhanh, giữ một lối thoát chậm hơn và để nguyên nhãn CLAIM trên mọi biểu đồ báo cáo cho đến khi các lần chạy độc lập (bao gồm cả của bạn) được hoàn tất.

Câu hỏi thường gặp

CLM-8B là gì và tại sao các nhà môi giới bất động sản lại bàn tán về nó?

CLM-8B là bộ trọng số công khai đầu tiên trong dòng Mô hình Ngôn ngữ Tương phản - một bản phát hành nghiên cứu mở được giới thiệu như một vòng lặp quyết định nhanh cho các tác nhân, chứ không chỉ là một bộ não trò chuyện thông thường. Câu chuyện huấn luyện kết nối các trạng thái với các hành động giống như một phản xạ Hệ thống 1 hơn là một bài luận chậm chạp về từ tiếp theo. Với tám tỷ tham số, nó đủ nhỏ để nhiều phòng thí nghiệm và nhà phát triển độc lập có thể lưu trữ, với giấy phép Apache 2.0 được nêu rõ trong phạm vi phủ sóng xung quanh thời điểm phát hành. Các con số trong bài đăng ra mắt là những tuyên bố do tác giả báo cáo, không phải là kết quả chạy lại từ phòng thí nghiệm độc lập.

CLM-8B tuyên bố nhanh hơn Jev tới 9 lần đối với các đặc vụ như thế nào?

Những người quảng bá tuyên bố tốc độ suy luận nhanh hơn khoảng 9 lần so với các mô hình thuộc lớp Jev, với thông tin về thời gian phản hồi khoảng 32 ms trên thiết lập terminal bench. Sau khi tinh chỉnh nhẹ, họ cũng báo cáo kết quả mã hóa tác nhân mạnh mẽ - DeepSWE đạt khoảng 81,6% và Terminal-Bench 2.1 đạt khoảng 87,6% - và chất lượng zero-shot tương đương với Jev ở độ trễ thấp hơn nhiều. Hãy coi các con số 9 lần và mili giây chỉ là tuyên bố cho đến khi các bên thứ ba tái tạo chúng trên phần cứng dùng chung. Tốc độ tương đối vẫn cần được làm rõ về kích thước batch, độ chính xác và cài đặt giải mã.

Phương pháp đào tạo Mô hình Ngôn ngữ Đối chiếu khác với các phương pháp đào tạo Ngôn ngữ Thông thường như thế nào?

Hầu hết các mô hình ngôn ngữ logic (LLM) trong sản xuất tạo ra từng token một, điều này phù hợp với văn xuôi và lập luận dài dòng nhưng lại gây khó khăn cho mọi quyết định nhỏ mà tác nhân đưa ra. Việc huấn luyện Mô hình Ngôn ngữ Tương phản (CLM), như những người quảng bá mô tả, thúc đẩy mạng lưới ánh xạ các tình huống đến các bước đi ưu tiên - giống một người hoạch định chính sách hơn là một tiểu thuyết gia. Khung Hệ thống 1 này ưu tiên các vòng lặp chuyển đổi trạng thái sang hành động nhanh chóng hơn là kể chuyện mãi giữa các lần gọi công cụ. CLM-8B vẫn có thể phát ra văn bản; câu chuyện về mục tiêu và đánh giá nghiêng về phía sự kiểm soát của tác nhân.

Ai đã phát hành CLM-8B, và liệu nó có thực sự là mã nguồn mở?

Jacky Kwok giới thiệu công trình này; Azalia Mirhoseini đã làm rõ thêm; bản tóm tắt đề cập đến nỗ lực hợp tác giữa Stanford và NVIDIA, với các nhà nghiên cứu được nêu tên, trọng số công khai và mã nguồn mở. Việc cấp phép cho bản phát hành được quy định là Apache 2.0, điều này rất quan trọng đối với việc tinh chỉnh và phân phối - nhưng hãy đọc các tệp giấy phép trong kho lưu trữ trước khi dựa vào các bản tóm tắt đề cập. Các bản phát hành mở được nêu tên thường được kiểm tra độ ổn định nhanh hơn so với các bản sao ẩn danh. Vẫn còn quá sớm để có thể nhân rộng mô hình này trên diện rộng từ bên thứ ba.

Tại sao vòng lặp từ trạng thái đến hành động lại quan trọng đến vậy đối với lập trình tác nhân?

Lập trình tác nhân thường mang tính nhị phân: bài kiểm tra thành công hoặc thất bại, vì vậy những lựa chọn hành động rõ ràng sẽ hiệu quả hơn những bài luận thất bại hoa mỹ. Độ trễ tích lũy qua hàng chục bước công cụ - giảm thời gian cho mỗi bước sẽ giúp tiết kiệm cả thời gian thực và chi phí điện toán đám mây. Tốc độ được tuyên bố nhanh hơn gấp nhiều lần so với một thiết bị cùng loại Jev, ngay cả khi thực tế chỉ nhanh hơn "4 lần", vẫn làm thay đổi kế hoạch năng lực. Các kiến ​​trúc lai - một bộ điều khiển nhanh giống CLM cộng với một bộ suy luận mạnh hơn trên các nhánh khó - là một giải pháp khả thi trong dài hạn.

Tôi có nên tin tưởng vào điểm số của DeepSWE và Terminal-Bench cho CLM-8B không?

Những bộ kiểm thử đó trừng phạt các tác nhân dễ bị lỗi, đó là lý do tại sao ~81,6% DeepSWE và ~87,6% Terminal-Bench 2.1 sau khi tinh chỉnh nhẹ lại trông rất khả quan. Các bộ kiểm thử tác nhân cũng đánh giá cao cấu trúc hỗ trợ: chất lượng bộ nhớ, danh sách cho phép công cụ và các lời nhắc phục hồi có thể làm thay đổi thành công đến hai chữ số. Hãy tìm hiểu kỹ về lớp bao bọc xung quanh các trọng số trước khi coi biểu đồ là khoa học đã được chứng minh. Các bộ kiểm thử do tác giả tạo ra chỉ là chiêu trò tiếp thị cho đến khi người khác tái tạo chúng với các công thức được ghi chép đầy đủ.

Tôi cần biết gì về CLM-35B và việc tinh chỉnh mô hình 8B?

Một phiên bản CLM-35B lớn hơn được đề cập như một kế hoạch; liệu nó có giữ nguyên câu chuyện về độ trễ hay đánh đổi tốc độ lấy chiều sâu vẫn chưa được quyết định. Việc tinh chỉnh CLM-8B dựa trên các quy tắc kiểm thử, CLI triển khai và dấu vết monorepo của riêng bạn là con đường thực tế để đạt được hiệu suất cao - chứ không phải là phép màu ngay từ đầu. Các nhóm có thể giữ cả hai kích thước nếu chúng phù hợp: 8B cho các vòng lặp nóng, 35B cho việc lập kế hoạch kỹ lưỡng. Trọng số mở cũng làm cho việc lạm dụng dễ dàng hơn, vì vậy các rào cản và giới hạn tốc độ là sản phẩm, chứ không phải là tùy chọn.

Tôi nên đọc những so sánh về Jev như thế nào mà không bị "mắc kẹt" trong mớ hỗn độn?

So sánh với các hệ thống cùng loại Jev mang lại "tốc độ nhanh hơn tới 9 lần", giúp thuyết phục người dùng hơn. Nguy hiểm nằm ở chỗ gộp kích thước lô, độ chính xác, độ dài ngữ cảnh và việc tuần tự hóa lệnh gọi công cụ vào một hệ số nhân duy nhất. Khi có thông tin cho rằng phản hồi đạt khoảng 32 ms, hãy tự hỏi liệu điều đó có nghĩa là mã thông báo đầu tiên, toàn bộ JSON hành động hay tiền tố được lưu vào bộ nhớ cache. Hãy đo lường sự thành công của tác vụ, chi phí trên mỗi vé được giải quyết và tỷ lệ can thiệp của con người trên hệ thống của bạn. Các câu chuyện cạnh tranh buộc các phòng thí nghiệm phải công bố số liệu; nhưng các chỉ số KPI sản xuất của bạn vẫn là yếu tố quyết định.

Các nhà sản xuất cần làm gì trước khi đưa CLM-8B vào sản xuất?

Hãy tách riêng một phần nhỏ có độ trễ thấp – chẳng hạn như vòng lặp nhỏ ở thiết bị đầu cuối – và thực hiện so sánh A/B để tinh chỉnh so với hệ thống hiện tại của bạn, giữ nguyên cấu hình. Hãy chú ý đến những hành động sai nhưng nhanh; thêm bước xác minh, ưu tiên các công cụ có thể đảo ngược và dành ngân sách cho một bộ suy luận chậm hơn khi độ tin cậy thấp. Theo dõi số hành động mỗi giây trên mỗi GPU, không chỉ số token mỗi giây. Không sao chép các bí mật của hệ thống sản xuất vào các tác nhân thử nghiệm, và hãy dán nhãn "CLAIM" (Yêu cầu) trên mỗi biểu đồ nhấn cho đến khi các lần chạy của bạn thành công.

Làm thế nào để xây dựng một bài kiểm tra vi vòng lặp độ trễ công bằng cho các yêu cầu "Vừa bị loại bỏ" của CLM-8B?

Đóng băng một tập hợp nhỏ các dấu vết kiểm thử thất bại thực tế, giữ nguyên lược đồ công cụ và danh sách cho phép trên các mô hình, đồng thời ghi lại các bước, thời gian thực, thành công và sự can thiệp của con người. Chỉ sử dụng CLM-8B ở bước "chọn hành động có thể đảo ngược tiếp theo" nếu bạn giữ một lối thoát có chủ đích cho các phiếu yêu cầu mới. Gắn nhãn tác giả ~9×, DeepSWE và các số liệu mili giây là CLAIM cho đến khi hệ thống này chứng minh được sự thành công và độ trễ đồng thời. Việc đánh giá tập trung đó tốt hơn việc viết lại toàn bộ quy trình sản xuất trên một bản trình chiếu.

Tài liệu tham khảo

1. Hugging Face — Mô hình Ngôn ngữ Tương phản (CLM-v0.1-8B) — huggingface.co
2. GitHub — Contrastive-LM / CLM — github.com
3. Đại học Stanford - Azalia Mirhoseini - cs.stanford.edu
4. Jacky Kwok — jackyk02.github.io
5. X — Giới thiệu về Jacky Kwok — x.com
6. DeepSWE — deepswe.datacurve.ai
7. Snorkel AI — Terminal-Bench 2.1 — snorkel.ai
8. Jev — jevtypesafeai.com