Mô hình nền tảng trong Trí tuệ nhân tạo tạo sinh là gì?

Mô hình nền tảng trong Trí tuệ nhân tạo tạo sinh là gì?

Câu trả lời ngắn gọn: Mô hình nền tảng là những mô hình AI lớn, đa năng được huấn luyện trên các tập dữ liệu khổng lồ, sau đó được điều chỉnh cho phù hợp với nhiều nhiệm vụ (viết, tìm kiếm, lập trình, xử lý hình ảnh) thông qua gợi ý, tinh chỉnh, công cụ hoặc truy xuất. Nếu bạn cần câu trả lời đáng tin cậy, hãy kết hợp chúng với nền tảng vững chắc (như RAG), các ràng buộc rõ ràng và kiểm tra, thay vì để chúng tự ứng biến.

Những điểm chính cần ghi nhớ:

Định nghĩa : Một mô hình cơ sở được huấn luyện rộng rãi được tái sử dụng cho nhiều tác vụ, chứ không phải mỗi mô hình chỉ thực hiện một tác vụ riêng.

Thích ứng : Sử dụng gợi ý, tinh chỉnh, LoRA/bộ điều chỉnh, RAG và các công cụ để định hướng hành vi.

Khả năng tạo nội dung phù hợp : Chúng hỗ trợ việc tạo ra văn bản, hình ảnh, âm thanh, mã và nội dung đa phương thức.

Các tín hiệu chất lượng : Ưu tiên khả năng kiểm soát, ít ảo giác, khả năng đa phương thức và suy luận hiệu quả.

Kiểm soát rủi ro : Lập kế hoạch đối phó với ảo giác, thiên kiến, rò rỉ thông tin cá nhân và tiêm thuốc kịp thời thông qua quản trị và thử nghiệm.

Các mô hình nền tảng trong Trí tuệ nhân tạo tạo sinh là gì? (Infographic)

Những bài viết bạn có thể muốn đọc sau bài này:

🔗 Công ty AI là gì?
Tìm hiểu cách các công ty AI xây dựng sản phẩm, đội ngũ và mô hình doanh thu.

🔗 Mã AI trông như thế nào?
Xem các ví dụ về mã AI, từ các mô hình Python đến API.

🔗 Thuật toán AI là gì?
Hãy tìm hiểu thuật toán trí tuệ nhân tạo là gì và cách chúng đưa ra quyết định.

🔗 Công nghệ AI là gì?
Khám phá các công nghệ AI cốt lõi hỗ trợ tự động hóa, phân tích và các ứng dụng thông minh.

1) Mẫu kem nền - định hình không bị nhòe 🧠

Mô hình nền tảng là một mô hình AI đa năng, quy mô lớn được huấn luyện trên lượng dữ liệu rộng lớn (thường là rất nhiều dữ liệu) để có thể thích ứng với nhiều nhiệm vụ, chứ không chỉ một nhiệm vụ duy nhất ( NIST , Stanford CRFM ).

Thay vì xây dựng một mô hình riêng biệt cho:

  • viết email

  • trả lời câu hỏi

  • Tóm tắt các tệp PDF

  • tạo hình ảnh

  • phân loại phiếu hỗ trợ

  • dịch ngôn ngữ

  • đưa ra gợi ý mã

…bạn huấn luyện một mô hình cơ bản lớn “học hỏi thế giới” theo cách thống kê mờ, sau đó bạn điều chỉnh nó cho phù hợp với các công việc cụ thể bằng cách sử dụng gợi ý, tinh chỉnh hoặc các công cụ bổ sung ( Bommasani et al., 2021 ).

Nói cách khác: đó là một cỗ máy tổng quát mà bạn có thể điều khiển.

Và đúng vậy, từ khóa là "chung chung". Đó chính là mấu chốt.

2) Mô hình nền tảng trong Trí tuệ nhân tạo tạo sinh là gì? (Chúng phù hợp như thế nào cụ thể) 🎨📝

Vậy, các mô hình nền tảng trong Trí tuệ nhân tạo tạo sinh là gì? Chúng là những mô hình cơ bản cung cấp năng lượng cho các hệ thống có khả năng tạo ra nội dung mới - văn bản, hình ảnh, âm thanh, mã, video, và ngày càng phổ biến hơn… sự kết hợp của tất cả những thứ đó ( NIST , Hồ sơ Trí tuệ nhân tạo tạo sinh của NIST ).

Trí tuệ nhân tạo tạo sinh không chỉ đơn thuần là dự đoán các nhãn như "thư rác / không phải thư rác". Nó còn là việc tạo ra các sản phẩm đầu ra trông giống như được tạo ra bởi con người.

  • đoạn văn

  • thơ

  • mô tả sản phẩm

  • minh họa

  • giai điệu

  • nguyên mẫu ứng dụng

  • giọng nói tổng hợp

  • và đôi khi là những lời nói vô nghĩa đầy tự tin đến khó tin 🙃

Các mẫu cơ bản đặc biệt phù hợp ở đây vì:

  • Họ đã tiếp thu các mô hình tổng quát từ các tập dữ liệu khổng lồ ( Bommasani et al., 2021 ).

  • Chúng có thể khái quát hóa sang các lời nhắc mới (ngay cả những lời nhắc kỳ lạ) ( Brown và cộng sự, 2020 ).

  • Chúng có thể được tái sử dụng cho hàng chục đầu ra khác nhau mà không cần đào tạo lại từ đầu ( Bommasani et al., 2021 ).

Chúng là "lớp nền" - giống như bột làm bánh mì vậy. Bạn có thể nướng nó thành bánh mì baguette, pizza, hoặc bánh cuộn quế… phép so sánh này không hoàn hảo lắm, nhưng bạn hiểu ý tôi chứ 😄

3) Vì sao họ thay đổi mọi thứ (và tại sao mọi người không ngừng bàn tán về họ) 🚀

Trước khi có các mô hình nền tảng, phần lớn trí tuệ nhân tạo (AI) chỉ thực hiện các nhiệm vụ cụ thể:

  • huấn luyện một mô hình để phân tích cảm xúc

  • đào tạo người khác để dịch thuật

  • huấn luyện một cái khác để phân loại hình ảnh

  • huấn luyện một người khác để nhận dạng thực thể được đặt tên

Cách đó hiệu quả, nhưng chậm, tốn kém và hơi… dễ hỏng.

Các mô hình nền tảng đã đảo ngược tình thế:

Việc tái sử dụng đó chính là yếu tố nhân rộng. Các công ty có thể xây dựng 20 tính năng dựa trên một dòng sản phẩm duy nhất, thay vì phải phát minh lại từ đầu đến 20 lần.

Ngoài ra, trải nghiệm người dùng cũng trở nên tự nhiên hơn:

  • Bạn không "sử dụng bộ phân loại"

  • Bạn nói chuyện với mô hình như thể đó là một đồng nghiệp hữu ích không bao giờ ngủ ☕🤝

Đôi khi nó cũng giống như một đồng nghiệp tự tin nhưng lại hiểu sai mọi thứ, nhưng thôi kệ. Đó là sự trưởng thành.

4) Ý tưởng cốt lõi: huấn luyện trước + thích nghi 🧩

Hầu hết các mô hình nền móng đều tuân theo một khuôn mẫu nhất định ( Stanford CRFM , NIST ):

Giai đoạn tiền đào tạo (giai đoạn "tiếp thu thông tin trên internet") 📚

Mô hình được huấn luyện trên các tập dữ liệu khổng lồ, rộng lớn bằng cách sử dụng học tự giám sát ( NIST ). Đối với các mô hình ngôn ngữ, điều đó thường có nghĩa là dự đoán các từ bị thiếu hoặc mã thông báo tiếp theo ( Devlin et al., 2018 , Brown et al., 2020 ).

Mục đích không phải là dạy nó một nhiệm vụ cụ thể. Mục đích là dạy nó những biểu diễn tổng quát :

  • ngữ pháp

  • sự thật (đại khái là vậy)

  • các mô hình suy luận (đôi khi)

  • phong cách viết

  • cấu trúc mã

  • ý định chung của con người

Giai đoạn thích ứng (giai đoạn “biến nó thành hiện thực”) 🛠️

Sau đó, bạn điều chỉnh nó bằng cách sử dụng một hoặc nhiều phương pháp sau:

  • nhắc nhở (hướng dẫn bằng ngôn ngữ đơn giản)

  • điều chỉnh hướng dẫn (huấn luyện nó tuân theo hướng dẫn) ( Wei et al., 2021 )

  • Tinh chỉnh (huấn luyện trên dữ liệu miền của bạn)

  • LoRA / bộ điều hợp (phương pháp điều chỉnh nhẹ) ( Hu et al., 2021 )

  • RAG (tạo ra được tăng cường bằng cách truy xuất - mô hình tham khảo tài liệu của bạn) ( Lewis et al., 2020 )

  • Sử dụng công cụ (gọi hàm, duyệt các hệ thống nội bộ, v.v.)

Đó là lý do tại sao cùng một người có thể viết một cảnh lãng mạn… rồi lại giúp gỡ lỗi truy vấn SQL chỉ năm giây sau đó 😭

5) Điều gì tạo nên một mô hình nền tảng tốt? ✅

Đây là phần mà mọi người thường bỏ qua, và sau này sẽ hối tiếc.

Một mô hình nền móng "tốt" không chỉ đơn thuần là "lớn hơn". Lớn hơn thì có ích, đúng vậy… nhưng đó không phải là tất cả. Một mô hình nền móng tốt thường có những đặc điểm sau:

Khái quát hóa mạnh mẽ 🧠

Nó hoạt động tốt trên nhiều nhiệm vụ mà không cần đào tạo lại cụ thể cho từng nhiệm vụ ( Bommasani et al., 2021 ).

Khả năng lái và điều khiển 🎛️

Nó có thể tuân thủ các chỉ thị một cách đáng tin cậy, ví dụ như:

  • “Hãy nói ngắn gọn”

  • “Sử dụng dấu chấm đầu dòng”

  • “Hãy viết với giọng văn thân thiện”

  • “Đừng tiết lộ thông tin mật”

Một số mẫu sản phẩm thông minh nhưng lại khó sử dụng. Giống như việc cố gắng giữ một thỏi xà phòng trong khi tắm vậy. Hữu ích, nhưng không ổn định 😅

Ít có xu hướng ảo giác (hoặc ít nhất là không chắc chắn lắm) 🧯

Không có người mẫu nào miễn nhiễm với ảo giác, ngoại trừ những người mẫu giỏi:

  • ít ảo giác hơn

  • Thường xuyên thừa nhận sự không chắc chắn hơn

  • Nên bám sát ngữ cảnh được cung cấp khi sử dụng phương pháp truy xuất ( Ji et al., 2023 , Lewis et al., 2020 )

Khả năng sử dụng nhiều phương thức khác nhau tốt (khi cần thiết) 🖼️🎧

Nếu bạn đang xây dựng các trợ lý có khả năng đọc hình ảnh, diễn giải biểu đồ hoặc hiểu âm thanh, thì tính đa phương thức đóng vai trò rất quan trọng ( Radford và cộng sự, 2021 ).

Suy luận hiệu quả ⚡

Độ trễ và chi phí đều quan trọng. Một mô hình mạnh mẽ nhưng chậm chạp giống như một chiếc xe thể thao bị xẹp lốp.

Hành vi an toàn và phù hợp 🧩

Không chỉ đơn thuần là "từ chối mọi thứ", mà còn là:

  • tránh các hướng dẫn có hại

  • giảm thiểu sự thiên vị

  • Xử lý các chủ đề nhạy cảm một cách cẩn trọng

  • Chống lại các nỗ lực bẻ khóa cơ bản (ở một mức độ nào đó…) ( NIST AI RMF 1.0 , Hồ sơ AI tạo sinh của NIST )

Tài liệu + hệ sinh thái 🌱

Nghe có vẻ khô khan, nhưng đây là sự thật:

  • công cụ

  • dây đai đánh giá

  • tùy chọn triển khai

  • kiểm soát doanh nghiệp

  • hỗ trợ tinh chỉnh

Đúng vậy, "hệ sinh thái" là một từ mơ hồ. Tôi cũng ghét nó. Nhưng nó rất quan trọng.

6) Bảng so sánh - các lựa chọn mô hình nền móng phổ biến (và công dụng của chúng) 🧾

Dưới đây là một bảng so sánh thực tế, hơi thiếu sót. Nó không phải là "danh sách duy nhất đúng", mà giống như: những gì mọi người lựa chọn trong thực tế.

loại công cụ / mô hình khán giả giá cả tương đối lý do tại sao nó hiệu quả
LLM độc quyền (kiểu trò chuyện) các đội muốn tốc độ + sự hoàn hảo dựa trên mức sử dụng / đăng ký Hướng dẫn sử dụng rất tốt, hiệu năng tổng thể mạnh mẽ, thường cho kết quả tốt nhất ngay từ khi mở hộp 😌
LLM mở (có thể tự lưu trữ) những người xây dựng muốn kiểm soát chi phí cơ sở hạ tầng (và những rắc rối) Có thể tùy chỉnh, thân thiện với quyền riêng tư, có thể chạy cục bộ… nếu bạn thích mày mò vào lúc nửa đêm
Máy tạo ảnh khuếch tán những người sáng tạo, đội ngũ thiết kế từ miễn phí đến trả phí Tổng hợp hình ảnh xuất sắc, đa dạng phong cách, quy trình làm việc lặp đi lặp lại (cũng có thể: thao tác bằng ngón tay có thể không chính xác) ✋😬 ( Ho et al., 2020 , Rombach et al., 2021 )
Mô hình “thị giác-ngôn ngữ” đa phương thức các ứng dụng đọc hình ảnh + văn bản dựa trên mức sử dụng Cho phép bạn đặt câu hỏi về hình ảnh, ảnh chụp màn hình, sơ đồ - tiện dụng đến bất ngờ ( Radford và cộng sự, 2021 ).
Mô hình nền tảng nhúng tìm kiếm + hệ thống RAG chi phí thấp cho mỗi cuộc gọi Chuyển đổi văn bản thành vectơ cho tìm kiếm ngữ nghĩa, phân cụm, đề xuất - năng lượng MVP thầm lặng ( Karpukhin et al., 2020 , Douze et al., 2024 )
Mô hình nền tảng chuyển đổi giọng nói thành văn bản trung tâm cuộc gọi, người sáng tạo dựa trên cách sử dụng / cục bộ Chuyển đổi giọng nói thành văn bản nhanh, hỗ trợ đa ngôn ngữ, chất lượng đủ tốt cho âm thanh nhiễu (thường là vậy) 🎙️ ( Whisper )
Mô hình nền tảng chuyển văn bản thành giọng nói nhóm sản phẩm, truyền thông dựa trên mức sử dụng Tạo giọng nói tự nhiên, phong cách giọng nói, tường thuật - có thể trở nên chân thực đến rợn người ( Shen và cộng sự, 2017 )
Chương trình Thạc sĩ Luật (LLM) tập trung vào lập trình các nhà phát triển dựa trên mức sử dụng / đăng ký Giỏi hơn về các mẫu lập trình, gỡ lỗi, tái cấu trúc mã… nhưng vẫn chưa phải là người đọc được suy nghĩ của người khác 😅

Hãy lưu ý rằng "mô hình nền tảng" không chỉ có nghĩa là "chatbot". Các mô hình nhúng và mô hình giọng nói cũng có thể mang tính chất nền tảng, bởi vì chúng có phạm vi rộng và có thể tái sử dụng trên nhiều nhiệm vụ ( Bommasani et al., 2021 , NIST ).

7) Nhìn kỹ hơn: cách các mô hình nền tảng ngôn ngữ học hỏi (phiên bản cảm nhận) 🧠🧃

Các mô hình nền tảng ngôn ngữ (thường được gọi là LLM) thường được huấn luyện trên các bộ sưu tập văn bản khổng lồ. Chúng học bằng cách dự đoán các từ ( Brown et al., 2020 ). Chỉ vậy thôi. Không có bí quyết thần kỳ nào cả.

Nhưng điều kỳ diệu là việc dự đoán token buộc mô hình phải học cấu trúc ( CSET ):

  • ngữ pháp và cú pháp

  • mối quan hệ chủ đề

  • các mô hình giống như lập luận (đôi khi)

  • chuỗi suy nghĩ phổ biến

  • Cách mọi người giải thích mọi việc, tranh luận, xin lỗi, đàm phán, giảng dạy

Nó giống như việc học cách bắt chước hàng triệu cuộc hội thoại mà không "hiểu" cách con người hiểu. Nghe có vẻ không khả thi... vậy mà nó vẫn cứ hiệu quả.

Có thể nói hơi phóng đại một chút: về cơ bản nó giống như việc nén chữ viết của con người vào một bộ não xác suất khổng lồ.
Mà nói cho cùng, phép ẩn dụ đó cũng hơi kỳ quặc. Nhưng thôi kệ vậy 😄

8) Tìm hiểu kỹ hơn: Mô hình khuếch tán (tại sao hình ảnh hoạt động khác nhau) 🎨🌀

Các mô hình nền tảng hình ảnh thường sử dụng khuếch tán ( Ho et al., 2020 , Rombach et al., 2021 ).

Ý tưởng sơ lược:

  1. Thêm nhiễu vào hình ảnh cho đến khi chúng gần giống như nhiễu sóng truyền hình

  2. Huấn luyện một mô hình để đảo ngược nhiễu đó từng bước một

  3. Tại thời điểm tạo ảnh, bắt đầu với nhiễu và "khử nhiễu" thành ảnh được hướng dẫn bởi một lời nhắc ( Ho et al., 2020 ).

Đó là lý do tại sao việc tạo ảnh lại có cảm giác như "rửa ảnh", chỉ khác là bức ảnh đó là một con rồng đang đi giày thể thao trong lối đi của siêu thị 🛒🐉

Các mô hình khuếch tán rất tốt vì:

  • Họ tạo ra hình ảnh chất lượng cao

  • Họ có thể bị chi phối mạnh mẽ bởi văn bản

  • Chúng hỗ trợ quá trình tinh chỉnh lặp đi lặp lại (biến thể, tô màu, phóng to) ( Rombach et al., 2021 )

Họ đôi khi cũng gặp khó khăn với:

  • Hiển thị văn bản bên trong hình ảnh

  • chi tiết giải phẫu tinh tế

  • Tính cách nhân vật nhất quán xuyên suốt các cảnh (đang được cải thiện, nhưng vẫn cần cải thiện)

9) Quan sát kỹ hơn: các mô hình nền tảng đa phương thức (văn bản + hình ảnh + âm thanh) 👀🎧📝

Các mô hình nền tảng đa phương thức hướng đến việc hiểu và tạo ra dữ liệu từ nhiều loại dữ liệu khác nhau:

Vì sao điều này lại quan trọng trong cuộc sống thực:

  • Bộ phận hỗ trợ khách hàng có thể hiểu được ảnh chụp màn hình

  • Các công cụ hỗ trợ tiếp cận có thể mô tả hình ảnh

  • Các ứng dụng giáo dục có thể giải thích sơ đồ

  • Người sáng tạo có thể phối lại các định dạng một cách nhanh chóng

  • Các công cụ kinh doanh có thể "đọc" ảnh chụp màn hình bảng điều khiển và tóm tắt nó

Về bản chất, các hệ thống đa phương thức thường điều chỉnh các biểu diễn:

  • chuyển đổi hình ảnh thành các embedding

  • chuyển văn bản thành các embedding

  • học cách tạo không gian chung nơi "mèo" khớp với các pixel hình mèo 😺 ( Radford và cộng sự, 2021 )

Nó không phải lúc nào cũng thanh lịch. Đôi khi nó được ghép lại với nhau như một tấm chăn bông. Nhưng nó hiệu quả.

10) Điều chỉnh chi tiết so với gợi ý so với RAG (cách bạn điều chỉnh mô hình cơ bản) 🧰

Nếu bạn đang cố gắng xây dựng một mô hình nền tảng phù hợp với một lĩnh vực cụ thể (pháp lý, y tế, dịch vụ khách hàng, kiến ​​thức nội bộ), bạn có một vài lựa chọn:

Nhắc nhở 🗣️

Nhanh nhất và đơn giản nhất.

  • Ưu điểm: không cần đào tạo, lặp lại tức thì

  • Nhược điểm: có thể không nhất quán, hạn chế về ngữ cảnh, tính dễ bị lỗi của phản hồi

Tinh chỉnh 🎯

Hãy tiếp tục huấn luyện mô hình với các ví dụ của bạn.

  • Ưu điểm: Hành vi nhất quán hơn, ngôn ngữ miền tốt hơn, có thể giảm độ dài lời nhắc

  • Nhược điểm: chi phí, yêu cầu về chất lượng dữ liệu, rủi ro quá khớp dữ liệu, bảo trì

Điều chỉnh nhẹ nhàng (LoRA / bộ chuyển đổi) 🧩

Một phiên bản tinh chỉnh hiệu quả hơn ( Hu et al., 2021 ).

  • Ưu điểm: giá rẻ hơn, thiết kế dạng mô-đun, dễ dàng thay thế

  • Nhược điểm: vẫn cần có quy trình đào tạo và đánh giá

RAG (thế hệ tăng cường truy xuất) 🔎

Mô hình này lấy các tài liệu liên quan từ cơ sở tri thức của bạn và trả lời bằng cách sử dụng chúng ( Lewis et al., 2020 ).

  • Ưu điểm: kiến ​​thức cập nhật, trích dẫn nội bộ (nếu bạn triển khai), ít phải đào tạo lại

  • Nhược điểm: chất lượng truy xuất có thể quyết định sự thành bại, cần có khả năng phân đoạn và nhúng dữ liệu tốt

Nói thật lòng: rất nhiều hệ thống thành công kết hợp giữa gợi ý và RAG (Reducing and Aggregation - Phương pháp phản hồi nhanh). Tinh chỉnh rất hiệu quả, nhưng không phải lúc nào cũng cần thiết. Mọi người thường vội vàng áp dụng nó vì nghe có vẻ ấn tượng 😅

11) Rủi ro, giới hạn và phần "vui lòng không triển khai một cách mù quáng" 🧯😬

Các mô hình nền tảng rất mạnh mẽ, nhưng chúng không ổn định như phần mềm truyền thống. Chúng giống như… một thực tập sinh tài năng nhưng thiếu tự tin.

Những hạn chế chính cần lưu ý khi lập kế hoạch:

Ảo giác 🌀

Các mô hình có thể phát minh ra:

  • nguồn tin giả mạo

  • thông tin sai sự thật

  • Các bước có vẻ hợp lý nhưng sai lầm ( Ji và cộng sự, 2023 )

Các biện pháp giảm thiểu:

  • RAG với bối cảnh thực tế ( Lewis et al., 2020 )

  • Đầu ra bị giới hạn (lược đồ, lệnh gọi công cụ)

  • hướng dẫn rõ ràng “đừng đoán”

  • các lớp xác minh (quy tắc, kiểm tra chéo, xem xét của con người)

Thiên kiến ​​và những khuôn mẫu có hại ⚠️

Vì dữ liệu huấn luyện phản ánh hành vi của con người, bạn có thể nhận được:

Các biện pháp giảm thiểu:

Bảo mật dữ liệu và rò rỉ thông tin 🔒

Nếu bạn cung cấp dữ liệu bí mật vào điểm cuối của mô hình, bạn cần biết:

  • cách thức lưu trữ

  • cho dù nó được sử dụng để đào tạo

  • Việc ghi nhật ký hiện có là gì?

  • Những gì kiểm soát tổ chức của bạn cần ( NIST AI RMF 1.0 )

Các biện pháp giảm thiểu:

Tiêm nhanh (đặc biệt là với RAG) 🕳️

Nếu mô hình đọc được văn bản không đáng tin cậy, văn bản đó có thể cố gắng thao túng mô hình:

Các biện pháp giảm thiểu:

  • hướng dẫn hệ thống cách ly

  • làm sạch nội dung đã truy xuất

  • Sử dụng các chính sách dựa trên công cụ (không chỉ là các lời nhắc)

  • Kiểm thử với các đầu vào đối nghịch ( Bảng tóm tắt OWASP , Hồ sơ AI tạo sinh của NIST )

Tôi không có ý định hù dọa bạn. Chỉ là… biết được chỗ nào phát ra tiếng kẽo kẹt thì tốt hơn.

12) Cách chọn mô hình nền tảng phù hợp với trường hợp sử dụng của bạn 🎛️

Nếu bạn đang chọn một mô hình nền tảng (hoặc xây dựng dựa trên một mô hình có sẵn), hãy bắt đầu với những gợi ý sau:

Hãy xác định rõ những gì bạn đang tạo ra 🧾

  • chỉ văn bản

  • hình ảnh

  • âm thanh

  • hỗn hợp đa phương thức

Hãy đặt ra tiêu chuẩn về tính xác thực của câu hỏi 📌

Nếu bạn cần độ chính xác cao (tài chính, y tế, pháp luật, an toàn):

  • Bạn sẽ muốn sử dụng RAG ( Lewis và cộng sự, 2020 )

  • Bạn sẽ cần xác thực

  • Bạn sẽ muốn có sự xem xét của con người trong quy trình (ít nhất là đôi khi) ( NIST AI RMF 1.0 )

Hãy xác định mục tiêu độ trễ của bạn ⚡

Trò chuyện trực tuyến diễn ra tức thì. Tóm tắt theo lô có thể chậm hơn.
Nếu bạn cần phản hồi tức thì, kích thước mô hình và máy chủ lưu trữ là những yếu tố quan trọng.

Xác định nhu cầu về quyền riêng tư và tuân thủ quy định 🔐

Một số đội yêu cầu:

Cân bằng ngân sách - và sự kiên nhẫn trong vận hành 😅

Tự lưu trữ cho phép kiểm soát tốt hơn nhưng lại làm tăng độ phức tạp.
API được quản lý thì dễ sử dụng nhưng có thể tốn kém và ít tùy chỉnh hơn.

Một mẹo nhỏ thực tế: hãy thử nghiệm nguyên mẫu với những thứ đơn giản trước, sau đó mới đến những phiên bản hoàn thiện hơn. Bắt đầu với thiết lập "hoàn hảo" thường làm chậm mọi thứ.

13) Mô hình nền tảng trong Trí tuệ nhân tạo tạo sinh là gì? (Mô hình tư duy nhanh) 🧠✨

Hãy cùng quay lại chủ đề này. Mô hình nền tảng trong Trí tuệ nhân tạo tạo sinh là gì?

Đó là:

  • Các mô hình tổng quát quy mô lớn được huấn luyện trên tập dữ liệu rộng ( NIST , Stanford CRFM )

  • Có khả năng tạo ra nội dung (văn bản, hình ảnh, âm thanh, v.v.) ( Hồ sơ Trí tuệ nhân tạo tạo sinh của NIST )

  • có thể thích ứng với nhiều nhiệm vụ thông qua các gợi ý, tinh chỉnh và truy xuất ( Bommasani et al., 2021 )

  • lớp nền tảng cung cấp sức mạnh cho hầu hết các sản phẩm AI tạo sinh hiện đại

Chúng không phải là một kiến ​​trúc hay thương hiệu duy nhất. Chúng là một nhóm các mô hình hoạt động như một nền tảng.

Mô hình cơ bản này ít giống máy tính bỏ túi mà giống nhà bếp hơn. Bạn có thể nấu nhiều món ăn trong đó. Bạn cũng có thể làm cháy bánh mì nướng nếu không để ý… nhưng nhà bếp vẫn khá tiện dụng 🍳🔥

14) Tóm tắt và kết luận ✅🙂

Các mô hình nền tảng là những công cụ có thể tái sử dụng của trí tuệ nhân tạo tạo sinh. Chúng được huấn luyện một cách tổng quát, sau đó được điều chỉnh cho phù hợp với các nhiệm vụ cụ thể thông qua việc gợi ý, tinh chỉnh và truy xuất ( NIST , Stanford CRFM ). Chúng có thể tuyệt vời, lộn xộn, mạnh mẽ, và đôi khi nực cười - tất cả cùng một lúc.

Tóm tắt lại:

Nếu bạn đang xây dựng bất cứ thứ gì bằng trí tuệ nhân tạo tạo sinh, thì việc hiểu các mô hình nền tảng là điều bắt buộc. Nó là toàn bộ nền móng mà tòa nhà đứng trên đó… và vâng, đôi khi nền móng sẽ hơi lung lay một chút 😅

Câu hỏi thường gặp

Mô hình nền tảng, nói một cách đơn giản

Mô hình nền tảng là một mô hình AI đa năng, quy mô lớn được huấn luyện trên tập dữ liệu rộng để có thể tái sử dụng cho nhiều tác vụ. Thay vì xây dựng một mô hình riêng cho mỗi công việc, bạn bắt đầu với một mô hình "cơ sở" mạnh mẽ và điều chỉnh nó khi cần thiết. Việc điều chỉnh đó thường diễn ra thông qua gợi ý, tinh chỉnh, truy xuất (RAG) hoặc các công cụ. Ý tưởng cốt lõi là tính bao quát cộng với khả năng điều khiển.

Sự khác biệt giữa mô hình nền tảng và các mô hình AI truyền thống chuyên biệt cho từng nhiệm vụ là gì?

Trí tuệ nhân tạo truyền thống thường huấn luyện một mô hình riêng biệt cho mỗi tác vụ, chẳng hạn như phân tích cảm xúc hoặc dịch thuật. Các mô hình nền tảng đảo ngược mô hình đó: huấn luyện trước một lần, sau đó tái sử dụng cho nhiều tính năng và sản phẩm. Điều này có thể giảm thiểu sự trùng lặp công sức và tăng tốc độ cung cấp các khả năng mới. Nhược điểm là chúng có thể kém dự đoán hơn phần mềm truyền thống trừ khi bạn thêm các ràng buộc và thử nghiệm.

Các mô hình nền tảng trong trí tuệ nhân tạo tạo sinh

Trong trí tuệ nhân tạo tạo sinh (generative AI), các mô hình nền tảng là hệ thống cơ bản có khả năng tạo ra nội dung mới như văn bản, hình ảnh, âm thanh, mã hoặc đầu ra đa phương thức. Chúng không chỉ giới hạn ở việc gắn nhãn hoặc phân loại; chúng tạo ra các phản hồi giống với tác phẩm do con người tạo ra. Bởi vì chúng học được các mẫu tổng quát trong quá trình huấn luyện trước, chúng có thể xử lý nhiều loại và định dạng lời nhắc khác nhau. Chúng là "lớp nền tảng" đằng sau hầu hết các trải nghiệm tạo sinh hiện đại.

Cách các mô hình nền tảng học hỏi trong giai đoạn huấn luyện trước

Hầu hết các mô hình nền tảng ngôn ngữ học bằng cách dự đoán các từ khóa, chẳng hạn như từ tiếp theo hoặc các từ bị thiếu trong văn bản. Mục tiêu đơn giản đó thúc đẩy chúng tiếp thu cấu trúc như ngữ pháp, phong cách và các mẫu diễn đạt thông thường. Chúng cũng có thể hấp thụ một lượng lớn kiến ​​thức về thế giới, mặc dù không phải lúc nào cũng đáng tin cậy. Kết quả là một mô hình tổng quát mạnh mẽ mà bạn có thể định hướng sau này cho các công việc cụ thể.

Sự khác biệt giữa nhắc nhở, tinh chỉnh, LoRA và RAG

Việc gợi ý là cách nhanh nhất để điều khiển hành vi bằng hướng dẫn, nhưng nó có thể không ổn định. Việc tinh chỉnh giúp huấn luyện mô hình thêm dựa trên các ví dụ của bạn để có hành vi nhất quán hơn, nhưng nó làm tăng chi phí và bảo trì. LoRA/bộ điều hợp là một phương pháp tinh chỉnh nhẹ nhàng hơn, thường rẻ hơn và có tính mô-đun cao hơn. RAG truy xuất các tài liệu liên quan và cho mô hình trả lời bằng cách sử dụng ngữ cảnh đó, giúp duy trì tính cập nhật và độ chính xác.

Khi nào nên sử dụng RAG thay vì tinh chỉnh?

RAG thường là lựa chọn tốt khi bạn cần câu trả lời dựa trên tài liệu hiện có hoặc cơ sở kiến ​​thức nội bộ. Nó có thể giảm thiểu việc "đoán mò" bằng cách cung cấp cho mô hình ngữ cảnh phù hợp tại thời điểm tạo ra câu trả lời. Việc tinh chỉnh phù hợp hơn khi bạn cần phong cách nhất quán, cách diễn đạt chuyên môn hoặc hành vi mà việc gợi ý không thể tạo ra một cách đáng tin cậy. Nhiều hệ thống thực tế kết hợp gợi ý + RAG trước khi tiến hành tinh chỉnh.

Làm thế nào để giảm ảo giác và nhận được câu trả lời đáng tin cậy hơn?

Một cách tiếp cận phổ biến là dựa vào mô hình để truy xuất thông tin (RAG) sao cho nó luôn bám sát ngữ cảnh được cung cấp. Bạn cũng có thể giới hạn đầu ra bằng lược đồ, yêu cầu gọi công cụ cho các bước quan trọng và thêm các hướng dẫn rõ ràng "không được đoán". Các lớp xác minh cũng rất quan trọng, chẳng hạn như kiểm tra quy tắc, đối chiếu chéo và xem xét của con người đối với các trường hợp sử dụng có rủi ro cao hơn. Hãy coi mô hình như một công cụ hỗ trợ xác suất, chứ không phải là nguồn thông tin chính xác tuyệt đối theo mặc định.

Những rủi ro lớn nhất với các mô hình nền móng trong sản xuất

Các rủi ro thường gặp bao gồm ảo giác, các mô hình thiên vị hoặc có hại từ dữ liệu huấn luyện, và rò rỉ thông tin cá nhân nếu dữ liệu nhạy cảm được xử lý không đúng cách. Hệ thống cũng có thể dễ bị tấn công bằng cách chèn lời nhắc, đặc biệt khi mô hình đọc văn bản không đáng tin cậy từ tài liệu hoặc nội dung web. Các biện pháp giảm thiểu thường bao gồm quản trị, tấn công giả lập (red-teaming), kiểm soát truy cập, các mô hình lời nhắc an toàn hơn và đánh giá có cấu trúc. Hãy lập kế hoạch cho những rủi ro này từ sớm thay vì vá lỗi sau này.

Tiêm nhanh và tầm quan trọng của nó trong hệ thống RAG

Lỗi chèn lệnh (prompt injection) xảy ra khi văn bản không đáng tin cậy cố gắng ghi đè lên các chỉ dẫn, chẳng hạn như “bỏ qua các chỉ dẫn trước đó” hoặc “tiết lộ bí mật”. Trong RAG, các tài liệu được truy xuất có thể chứa các chỉ dẫn độc hại đó, và mô hình có thể làm theo nếu bạn không cẩn thận. Một cách tiếp cận phổ biến là cô lập các chỉ dẫn hệ thống, làm sạch nội dung được truy xuất và dựa vào các chính sách dựa trên công cụ thay vì chỉ dựa vào các lệnh nhắc nhở. Thử nghiệm với các đầu vào đối nghịch giúp phát hiện ra các điểm yếu.

Cách chọn mô hình nền móng phù hợp với trường hợp sử dụng của bạn

Hãy bắt đầu bằng cách xác định những gì bạn cần tạo ra: văn bản, hình ảnh, âm thanh, mã hoặc đầu ra đa phương thức. Sau đó, hãy đặt ra tiêu chuẩn về tính xác thực - các lĩnh vực yêu cầu độ chính xác cao thường cần được kiểm chứng (RAG), xác thực và đôi khi cần sự xem xét của con người. Hãy cân nhắc độ trễ và chi phí, vì một mô hình mạnh mẽ nhưng chậm hoặc đắt tiền sẽ khó triển khai. Cuối cùng, hãy liên kết nhu cầu về quyền riêng tư và tuân thủ với các tùy chọn và biện pháp kiểm soát triển khai.

Tài liệu tham khảo

  1. Viện Tiêu chuẩn và Công nghệ Quốc gia (NIST) - Mô hình Nền tảng (Thuật ngữ trong Từ điển) - csrc.nist.gov

  2. Viện Tiêu chuẩn và Công nghệ Quốc gia (NIST) - NIST AI 600-1: Hồ sơ Trí tuệ Nhân tạo Tạo sinh - nvlpubs.nist.gov

  3. Viện Tiêu chuẩn và Công nghệ Quốc gia (NIST) - NIST AI 100-1: Khung quản lý rủi ro trí tuệ nhân tạo (AI RMF 1.0) - nvlpubs.nist.gov

  4. Trung tâm Nghiên cứu Mô hình Nền tảng Stanford (CRFM) - Báo cáo - crfm.stanford.edu

  5. arXiv - Về cơ hội và rủi ro của các mô hình nền tảng (Bommasani và cộng sự, 2021) - arxiv.org

  6. arXiv - Mô hình ngôn ngữ là những người học ít dữ liệu (Brown và cộng sự, 2020) - arxiv.org

  7. arXiv - Tạo nội dung tăng cường bằng truy xuất cho các tác vụ xử lý ngôn ngữ tự nhiên chuyên sâu về kiến ​​thức (Lewis và cộng sự, 2020) - arxiv.org

  8. arXiv - LoRA: Thích ứng bậc thấp của các mô hình ngôn ngữ lớn (Hu và cộng sự, 2021) - arxiv.org

  9. arXiv - BERT: Huấn luyện trước các mô hình Transformer hai chiều sâu cho việc hiểu ngôn ngữ (Devlin và cộng sự, 2018) - arxiv.org

  10. arXiv - Các mô hình ngôn ngữ được tinh chỉnh là các mô hình học không cần huấn luyện (Wei và cộng sự, 2021) - arxiv.org

  11. Thư viện số ACM - Khảo sát về ảo giác trong việc tạo ngôn ngữ tự nhiên (Ji và cộng sự, 2023) - dl.acm.org

  12. arXiv - Học các mô hình hình ảnh có thể chuyển giao từ sự giám sát ngôn ngữ tự nhiên (Radford và cộng sự, 2021) - arxiv.org

  13. arXiv - Khử nhiễu các mô hình xác suất khuếch tán (Ho và cộng sự, 2020) - arxiv.org

  14. arXiv - Tổng hợp hình ảnh độ phân giải cao bằng mô hình khuếch tán tiềm ẩn (Rombach và cộng sự, 2021) - arxiv.org

  15. arXiv - Truy xuất đoạn văn dày đặc cho trả lời câu hỏi miền mở (Karpukhin et al., 2020) - arxiv.org

  16. arXiv - Thư viện Faiss (Douze và cộng sự, 2024) - arxiv.org

  17. OpenAI - Giới thiệu Whisper - openai.com

  18. arXiv - Tổng hợp TTS tự nhiên bằng cách điều chỉnh WaveNet dựa trên dự đoán phổ Mel (Shen và cộng sự, 2017) - arxiv.org

  19. Trung tâm An ninh và Công nghệ Mới nổi (CSET), Đại học Georgetown - Sức mạnh đáng kinh ngạc của dự đoán từ tiếp theo: giải thích các mô hình ngôn ngữ quy mô lớn (phần 1) - cset.georgetown.edu

  20. USENIX - Trích xuất dữ liệu huấn luyện từ các mô hình ngôn ngữ lớn (Carlini và cộng sự, 2021) - usenix.org

  21. OWASP - LLM01: Tấn công chèn nhanh - genai.owasp.org

  22. arXiv - Nhiều hơn những gì bạn yêu cầu: Phân tích toàn diện về các mối đe dọa chèn lời nhắc mới đối với các mô hình ngôn ngữ lớn tích hợp ứng dụng (Greshake và cộng sự, 2023) - arxiv.org

  23. Bộ tài liệu hướng dẫn nhanh OWASP - Tài liệu hướng dẫn nhanh về phòng chống tấn công chèn mã độc LLM - cheatsheetseries.owasp.org

Tìm kiếm những công nghệ AI mới nhất tại Cửa hàng Trợ lý AI chính thức

Về chúng tôi

Quay lại blog