Cách tối ưu hóa mô hình AI

Cách tối ưu hóa mô hình AI

Câu trả lời ngắn gọn: Để tối ưu hóa các mô hình AI, hãy chọn một ràng buộc chính (độ trễ, chi phí, bộ nhớ, chất lượng, độ ổn định hoặc thông lượng), sau đó thu thập một đường cơ sở đáng tin cậy trước khi thay đổi bất cứ điều gì. Loại bỏ các điểm nghẽn trong quy trình trước tiên, sau đó áp dụng các cải tiến rủi ro thấp như độ chính xác hỗn hợp và xử lý theo lô; nếu chất lượng được đảm bảo, hãy chuyển sang công cụ biên dịch/thời gian chạy và chỉ sau đó mới giảm kích thước mô hình thông qua lượng tử hóa hoặc chưng cất khi cần thiết.

Những điểm chính cần ghi nhớ:

Ràng buộc : Chọn một hoặc hai chỉ số mục tiêu; tối ưu hóa là một quá trình cân nhắc giữa các yếu tố, chứ không phải là những chiến thắng dễ dàng.

Đo lường : Phân tích khối lượng công việc thực tế với p50/p95/p99, thông lượng, mức sử dụng và mức sử dụng bộ nhớ cao nhất.

Quy trình : Sửa lỗi mã hóa token, trình tải dữ liệu, tiền xử lý và xử lý theo lô trước khi tác động đến mô hình.

Phục vụ : Sử dụng bộ nhớ đệm, xử lý theo lô có chủ đích, điều chỉnh độ đồng thời và theo dõi sát sao độ trễ cuối.

Các biện pháp bảo vệ : Chạy các lời nhắc vàng, số liệu tác vụ và kiểm tra ngẫu nhiên sau mỗi thay đổi hiệu năng.

Hướng dẫn tối ưu hóa mô hình AI (Infographic)

🔗 Cách đánh giá mô hình AI hiệu quả:
Các tiêu chí và bước quan trọng để đánh giá mô hình một cách công bằng và đáng tin cậy.

🔗 Cách đo lường hiệu năng AI bằng các chỉ số thực tế:
Sử dụng các tiêu chuẩn, độ trễ, chi phí và tín hiệu chất lượng để so sánh.

🔗 Cách kiểm thử mô hình AI trước khi đưa vào sản xuất
Quy trình kiểm thử thực tế: chia dữ liệu, các trường hợp chịu tải và giám sát.

🔗 Cách sử dụng AI để tạo nội dung
Biến ý tưởng thành bản nháp nhanh hơn với các gợi ý có cấu trúc và quy trình lặp lại.

1) “Tối ưu hóa” có nghĩa là gì trong thực tế (Vì mỗi người sử dụng nó theo cách khác nhau) 🧠

Khi người ta nói "tối ưu hóa mô hình AI", họ có thể muốn nói đến những điều sau:

  • Tăng tốc độ (giảm độ trễ)

  • Giảm chi phí (giảm số giờ sử dụng GPU, giảm chi phí điện toán đám mây)

  • Thu nhỏ kích thước (dung lượng bộ nhớ, triển khai tại biên)

  • Hãy làm cho nó chính xác hơn (cải thiện chất lượng, giảm ảo giác)

  • Làm cho nó ổn định hơn (ít biến động hơn, ít lỗi hơn trong quá trình sản xuất)

  • Giúp việc phục vụ dễ dàng hơn (tốc độ xử lý, xử lý theo lô, hiệu suất có thể dự đoán được)

Sự thật hơi khó chịu là: bạn không thể tối ưu hóa tất cả những yếu tố này cùng một lúc. Tối ưu hóa giống như bóp một quả bóng bay - ấn một bên vào thì bên khác lại phồng lên. Không phải lúc nào cũng vậy, nhưng đủ thường xuyên để bạn cần lên kế hoạch cho những sự đánh đổi.

Vì vậy, trước khi động vào bất cứ thứ gì, hãy chọn ràng buộc chính :

  • Nếu bạn đang phục vụ người dùng trực tiếp, bạn sẽ quan tâm đến độ trễ p95 ( phần trăm AWS CloudWatch ) và hiệu suất ở phần đuôi ( thực tiễn tốt nhất về “độ trễ ở phần đuôi” ) 📉

  • Nếu bạn đang trong quá trình đào tạo, bạn sẽ quan tâm đến thời gian đạt chất lượng và hiệu suất sử dụng GPU 🔥

  • Nếu bạn triển khai trên các thiết bị, bạn sẽ quan tâm đến RAM và điện năng 🔋

2) Một phiên bản tối ưu hóa mô hình AI tốt trông như thế nào ✅

Tối ưu hóa tốt không chỉ đơn thuần là "áp dụng lượng tử hóa và cầu nguyện". Đó là một hệ thống. Các thiết lập tốt nhất thường bao gồm:

  • Một tiêu chuẩn cơ bản đáng tin cậy:
    Nếu bạn không thể tái tạo kết quả hiện tại, bạn không thể biết mình đã cải thiện được gì. Đơn giản vậy thôi… nhưng nhiều người lại bỏ qua bước này. Rồi họ rơi vào vòng xoáy tiêu cực.

  • Một chỉ số mục tiêu rõ ràng như
    "Nhanh hơn" thì khá mơ hồ. "Giảm độ trễ p95 từ 900ms xuống 300ms với cùng điểm chất lượng" mới là mục tiêu thực sự.

  • Các rào cản đảm bảo chất lượng:
    Mỗi thành công về hiệu suất đều tiềm ẩn nguy cơ suy giảm chất lượng âm thầm. Bạn cần các bài kiểm tra, đánh giá, hoặc ít nhất là một bộ công cụ kiểm tra tính hợp lệ.

  • Hiểu biết về phần cứng:
    Một mô hình "nhanh" trên GPU này có thể chạy rất chậm trên GPU khác. CPU lại là một dạng hỗn loạn riêng biệt.

  • Thay đổi từng bước nhỏ, không phải là viết lại toàn bộ một lúc.
    Khi bạn thay đổi năm thứ cùng một lúc và hiệu suất được cải thiện, bạn không biết tại sao. Điều đó… thật đáng lo ngại.

Việc tối ưu hóa nên giống như việc chỉnh dây đàn guitar - điều chỉnh nhỏ, lắng nghe kỹ, và lặp lại 🎸. Nếu cảm giác như đang tung hứng dao, thì có điều gì đó không ổn.

3) Bảng so sánh: Các lựa chọn phổ biến để tối ưu hóa mô hình AI 📊

Dưới đây là bảng so sánh nhanh và hơi sơ sài về các công cụ/phương pháp tối ưu hóa phổ biến. Không, nó không hoàn toàn "công bằng" - thực tế cũng không phải vậy.

Công cụ / Tùy chọn Khán giả Giá Lý do nó hiệu quả
PyTorch torch.compile ( Tài liệu PyTorch ) Những người dùng PyTorch Miễn phí Việc sử dụng kỹ thuật ghi lại đồ thị kết hợp với các thủ thuật biên dịch có thể giảm thiểu chi phí… đôi khi nó thật kỳ diệu ✨
ONNX Runtime ( Tài liệu ONNX Runtime ) Đội triển khai Miễn phí gần như Khả năng tối ưu hóa suy luận mạnh mẽ, hỗ trợ rộng rãi, phù hợp cho việc phục vụ theo tiêu chuẩn
TensorRT ( Tài liệu NVIDIA TensorRT ) Triển khai NVIDIA Các trải nghiệm trả phí (thường được bán theo gói) Sự kết hợp nhân mạnh mẽ + xử lý chính xác, cực kỳ nhanh khi hoạt động trơn tru
DeepSpeed ​​( Tài liệu ZeRO ) Đội ngũ huấn luyện Miễn phí Tối ưu hóa bộ nhớ và thông lượng (ZeRO, v.v.). Có thể mang lại cảm giác như động cơ phản lực
FSDP (PyTorch) ( Tài liệu FSDP của PyTorch ) Đội ngũ huấn luyện Miễn phí Phân mảnh các tham số/độ dốc, giúp các mô hình lớn bớt đáng sợ hơn
lượng tử hóa bitsandbytes ( bitsandbytes ) Những người thích mày mò của LLM Miễn phí Trọng lượng bit thấp, tiết kiệm bộ nhớ đáng kể - chất lượng tùy thuộc vào từng trường hợp, nhưng mà tuyệt vời thật 😬
Chưng cất ( Hinton và cộng sự, 2015 ) Nhóm sản phẩm “Chi phí thời gian” Mô hình học sinh nhỏ tuổi kế thừa hành vi, thường mang lại lợi tức đầu tư tốt nhất về lâu dài
Cắt tỉa ( Hướng dẫn cắt tỉa trong PyTorch ) Nghiên cứu + sản ​​xuất Miễn phí Loại bỏ trọng lượng thừa. Hiệu quả hơn khi kết hợp với huấn luyện lại
Sự chú ý tức thời / các hạt nhân kết hợp ( Bài tập FlashAttention ) Những người đam mê hiệu năng Miễn phí Khả năng tập trung nhanh hơn, khả năng ghi nhớ tốt hơn. Một chiến thắng thực sự cho dòng máy biến áp
Máy chủ suy luận Triton ( Xử lý theo lô động ) Vận hành/cơ sở hạ tầng Miễn phí Phục vụ sản xuất, xử lý theo lô, đường dẫn đa mô hình - cảm giác như cấp doanh nghiệp

Lời thú nhận về lỗi định dạng: Từ "Giá" nghe không được gọn gàng vì phần mềm mã nguồn mở vẫn có thể khiến bạn mất cả cuối tuần để gỡ lỗi, mà đó thì... cũng là một cái giá phải trả. 😵💫

4) Bắt đầu bằng việc đo lường: Lập hồ sơ một cách nghiêm túc 🔍

Nếu bạn chỉ làm một điều duy nhất trong toàn bộ hướng dẫn này, thì đó là: đo đạc chính xác.

Trong quá trình thử nghiệm của riêng tôi, những "bước đột phá tối ưu hóa" lớn nhất đến từ việc khám phá ra những điều đơn giản đến mức đáng ngạc nhiên, chẳng hạn như:

  • Trình tải dữ liệu làm thiếu hụt tài nguyên GPU

  • nút thắt cổ chai xử lý trước CPU

  • Kích thước lô nhỏ gây ra chi phí khởi chạy nhân hệ điều hành

  • quá trình mã hóa chậm (các công cụ mã hóa có thể là những kẻ phản diện thầm lặng)

  • Phân mảnh bộ nhớ ( Ghi chú về trình cấp phát bộ nhớ CUDA của PyTorch )

  • một lớp duy nhất chi phối khả năng tính toán

Những gì cần đo (bộ tối thiểu)

  • Độ trễ (p50, p95, p99) ( SRE trên phân vị độ trễ )

  • Thông lượng (số token/giây, số yêu cầu/giây)

  • Mức độ sử dụng GPU (tính toán + bộ nhớ)

  • Đỉnh VRAM / RAM

  • Chi phí cho mỗi 1000 token (hoặc mỗi lần suy luận)

Tư duy lập hồ sơ thực tế

  • Hãy nêu ra một tình huống mà bạn quan tâm (không phải là một gợi ý đơn giản).

  • Hãy ghi chép mọi thứ vào một cuốn sổ nhỏ ghi nhật ký thực hiện.
    Đúng là hơi tốn thời gian… nhưng nó sẽ giúp bạn tránh tự lừa dối bản thân sau này.

(Nếu bạn muốn một công cụ cụ thể để bắt đầu: PyTorch Profiler ( tài liệu torch.profiler ) và Nsight Systems ( NVIDIA Nsight Systems ) là những lựa chọn thường được nhắc đến.)

5) Tối ưu hóa dữ liệu + huấn luyện: Sức mạnh tiềm ẩn 📦🚀

Mọi người quá chú trọng vào kiến ​​trúc mô hình mà quên mất quy trình xử lý. Trong khi đó, quy trình xử lý lại âm thầm tiêu tốn một nửa GPU.

Những chiến thắng dễ dàng và nhanh chóng đạt được

  • Sử dụng độ chính xác hỗn hợp (FP16/BF16 nếu ổn định) ( PyTorch AMP / torch.amp ).
    Thường thì nhanh hơn, và kết quả cũng khá tốt - nhưng cần chú ý đến các lỗi nhỏ về số học.

  • Tích lũy gradient khi kích thước lô bị giới hạn ( 🤗 Hướng dẫn tăng tốc )
    Giữ cho quá trình tối ưu hóa ổn định mà không làm tràn bộ nhớ.

  • Kiểm tra điểm dừng gradient ( torch.utils.checkpoint )
    Đánh đổi khả năng tính toán lấy bộ nhớ - giúp cho các ngữ cảnh lớn hơn trở nên khả thi.

  • Mã hóa token hiệu quả ( 🤗 Các công cụ mã hóa token )
    Mã hóa token có thể trở thành nút thắt cổ chai khi mở rộng quy mô. Nó không hào nhoáng; nhưng nó rất quan trọng.

  • Tối ưu hóa Dataloader:
    Thêm nhiều worker, bộ nhớ được ghim, tải trước dữ liệu - không phô trương nhưng hiệu quả 😴➡️💪 ( Hướng dẫn tối ưu hiệu năng PyTorch )

Điều chỉnh tinh tế hiệu quả tham số

Nếu bạn đang tinh chỉnh các mô hình lớn, các phương pháp PEFT (như bộ điều hợp kiểu LoRA) có thể giảm đáng kể chi phí huấn luyện trong khi vẫn duy trì hiệu năng mạnh mẽ đáng ngạc nhiên ( 🤗 Hướng dẫn PEFT cho Transformers , bài báo LoRA ). Đây là một trong những trường hợp kiểu "tại sao chúng ta không làm điều này sớm hơn?".

6) Tối ưu hóa ở cấp độ kiến ​​trúc: Điều chỉnh kích thước mô hình cho phù hợp 🧩

Đôi khi cách tốt nhất để tối ưu hóa là… ngừng sử dụng một mô hình quá lớn so với yêu cầu công việc. Tôi biết, nghe có vẻ hơi bất kính 😄.

Hãy đưa ra quyết định dựa trên một vài yếu tố cơ bản:

  • Hãy quyết định xem bạn cần trí thông minh tổng quát hay trí thông minh chuyên biệt.

  • Hãy giữ kích thước cửa sổ ngữ cảnh ở mức cần thiết, không nên lớn hơn.

  • Hãy sử dụng mô hình đã được huấn luyện cho công việc cụ thể (mô hình phân loại cho công việc phân loại, v.v.).

Các chiến lược tối ưu hóa quy mô thực tiễn

  • Chuyển sang kiến ​​trúc máy chủ nhỏ hơn cho hầu hết các yêu cầu.
    Sau đó, định tuyến các "truy vấn phức tạp" đến mô hình lớn hơn.

  • Sử dụng quy trình hai giai đoạn:
    Bản nháp nhanh, bản cuối cùng được kiểm chứng hoặc chỉnh sửa.
    Giống như việc viết cùng một người bạn khó tính - có thể gây khó chịu, nhưng hiệu quả.

  • Giảm độ dài đầu ra.
    Việc tạo token đầu ra tốn tiền và thời gian. Nếu mô hình của bạn lan man, bạn sẽ phải trả tiền cho sự lan man đó.

Tôi từng thấy nhiều nhóm cắt giảm chi phí đáng kể bằng cách yêu cầu sản phẩm đầu ra ngắn hơn. Nghe có vẻ nhỏ nhặt, nhưng nó hiệu quả.

7) Tối ưu hóa trình biên dịch và đồ thị: Nguồn gốc của tốc độ 🏎️

Đây là lớp "giúp máy tính thực hiện những công việc thông minh hơn".

Các kỹ thuật phổ biến:

Nói một cách đơn giản: mô hình của bạn có thể nhanh về mặt toán học, nhưng chậm về mặt vận hành. Trình biên dịch giúp khắc phục một phần vấn đề đó.

Những ghi chú thực tế (hay còn gọi là những vết sẹo)

  • Các tối ưu hóa này có thể nhạy cảm với sự thay đổi hình dạng của mô hình.

  • Một số mẫu xe tăng tốc rất nhiều, một số khác hầu như không nhúc nhích.

  • Đôi khi bạn gặp phải tình trạng tăng tốc đột ngột và một lỗi khó hiểu - giống như có một con yêu tinh đột nhập vào nhà vậy 🧌

Tuy nhiên, khi thành công, đó là một trong những chiến thắng trọn vẹn nhất.

8) Lượng tử hóa, Cắt tỉa, Chắt lọc: Nhỏ gọn hơn mà không cần phải khóc (quá nhiều) 🪓📉

Đây là phần mà mọi người muốn… bởi vì nó nghe giống như một màn trình diễn tự do. Nó có thể là như vậy, nhưng bạn phải coi nó như một ca phẫu thuật.

Lượng tử hóa (trọng số/kích hoạt có độ chính xác thấp hơn)

  • Tuyệt vời cho tốc độ suy luận và bộ nhớ

  • Rủi ro: chất lượng giảm sút, đặc biệt là ở các trường hợp ngoại lệ

  • Cách làm tốt nhất: đánh giá trên bộ dữ liệu kiểm thử thực tế, chứ không phải dựa trên cảm nhận chủ quan

Những hương vị phổ biến mà bạn sẽ thường nghe đến:

Cắt tỉa (loại bỏ các tham số)

  • Loại bỏ các trọng số hoặc cấu trúc "không quan trọng" ( Hướng dẫn cắt tỉa PyTorch )

  • Thường cần phải đào tạo lại để khôi phục chất lượng

  • Hiệu quả hơn mọi người nghĩ… nếu thực hiện cẩn thận

Quá trình chắt lọc kiến ​​thức (học trò học hỏi từ thầy)

Đây là đòn bẩy dài hạn ưa thích cá nhân của tôi. Quá trình chưng cất có thể tạo ra một mô hình nhỏ hơn hoạt động tương tự, và thường ổn định hơn so với lượng tử hóa cực đoan ( Chưng cất tri thức trong mạng nơ-ron ).

Một phép ẩn dụ không hoàn hảo: quá trình chưng cất giống như việc đổ một món súp phức tạp qua một bộ lọc và thu được… một món súp nhỏ hơn. Súp không hoạt động theo cách đó, nhưng bạn hiểu ý tôi chứ 🍲.

9) Phát bóng và suy luận: Chiến trường thực sự 🧯

Bạn có thể "tối ưu hóa" một mô hình nhưng vẫn có thể phục vụ nó một cách kém hiệu quả. Việc phục vụ chính là lúc độ trễ và chi phí trở nên thực sự quan trọng.

Những pha giao bóng mang lại chiến thắng quan trọng

  • Xử lý theo lô
    giúp cải thiện thông lượng. Nhưng sẽ làm tăng độ trễ nếu lạm dụng. Cần phải cân bằng. ( Xử lý theo lô động trong Triton )

  • vào
    bộ nhớ đệm lời nhắc và tái sử dụng bộ nhớ đệm KV có thể rất hiệu quả đối với các ngữ cảnh lặp lại. ( Giải thích về bộ nhớ đệm KV )

  • Khi xem trực tuyến,
    người dùng cảm thấy tốc độ nhanh hơn ngay cả khi tổng thời gian tương tự. Cảm nhận rất quan trọng 🙂.

  • Giảm chi phí xử lý từng token
    Một số ngăn xếp thực hiện thêm công việc cho mỗi token. Giảm chi phí xử lý đó sẽ mang lại lợi ích lớn.

Hãy cẩn thận với độ trễ đuôi

Điểm trung bình của bạn có thể trông rất tốt trong khi điểm p99 lại là một thảm họa. Thật không may, người dùng thường nằm ở phần đuôi của biểu đồ. ( "Độ trễ ở phần đuôi" và lý do tại sao số liệu trung bình không phản ánh đúng thực tế )

10) Tối ưu hóa dựa trên phần cứng: Chọn mô hình phù hợp với máy 🧰🖥️

Việc tối ưu hóa mà không hiểu rõ phần cứng cũng giống như việc điều chỉnh xe đua mà không kiểm tra lốp xe. Chắc chắn bạn có thể làm được, nhưng điều đó hơi ngớ ngẩn.

Các yếu tố cần xem xét về GPU

  • Băng thông bộ nhớ thường là yếu tố hạn chế, chứ không phải sức mạnh tính toán thô

  • Việc sản xuất theo lô lớn hơn có thể hữu ích, cho đến khi chúng không còn hiệu quả nữa

  • Việc kết hợp nhân và tối ưu hóa cơ chế chú ý là vô cùng quan trọng đối với các mô hình Transformer ( FlashAttention: cơ chế chú ý chính xác dựa trên I/O ).

Các yếu tố cần xem xét về CPU

  • Luồng xử lý, vector hóa và tính cục bộ của bộ nhớ rất quan trọng

  • Chi phí mã hóa token có thể chiếm ưu thế ( 🤗 Các bộ mã hóa token “nhanh” )

  • Bạn có thể cần các chiến lược lượng tử hóa khác so với khi sử dụng GPU

Các yếu tố cần xem xét khi thiết bị biên/thiết bị di động

  • Dung lượng bộ nhớ trở thành ưu tiên hàng đầu

  • Sự biến thiên độ trễ rất quan trọng vì các thiết bị… hay thay đổi thất thường

  • Các mô hình nhỏ hơn, chuyên dụng thường vượt trội hơn các mô hình lớn, đa năng

11) Rào chắn chất lượng: Đừng "tối ưu hóa" bản thân thành lỗi phần mềm 🧪

Mỗi chiến thắng về tốc độ đều cần đi kèm với kiểm tra chất lượng. Nếu không, bạn sẽ ăn mừng, gửi hàng xong, rồi nhận được thông báo kiểu như “Tại sao trợ lý ảo tự nhiên lại nói chuyện như cướp biển vậy?” 🏴☠️

Các biện pháp bảo vệ thiết thực:

  • Các gợi ý vàng (bộ gợi ý cố định mà bạn luôn kiểm tra)

  • Các chỉ số đánh giá hiệu năng (độ chính xác, F1, BLEU, hoặc bất kỳ chỉ số nào phù hợp)

  • Kiểm tra ngẫu nhiên do con người thực hiện (vâng, tôi nói thật đấy)

  • Ngưỡng hồi quy (“không cho phép giảm quá X%”)

Theo dõi cả các chế độ hỏng hóc:

  • sự thay đổi định dạng

  • thay đổi hành vi từ chối

  • tần suất ảo giác

  • sự gia tăng độ dài phản hồi

Việc tối ưu hóa có thể thay đổi hành vi theo những cách đáng ngạc nhiên. Kỳ lạ. Gây khó chịu. Và có thể dự đoán được, khi nhìn lại.

12) Danh sách kiểm tra: Hướng dẫn tối ưu hóa mô hình AI từng bước ✅🤖

Nếu bạn muốn có một trình tự các bước rõ ràng để tối ưu hóa mô hình AI , đây là quy trình làm việc thường giúp mọi người không bị căng thẳng:

  1. Định nghĩa thành công.
    Chọn 1-2 chỉ số chính (độ trễ, chi phí, thông lượng, chất lượng).

  2. Đo lường hiệu năng cơ bản
    hồ sơ khối lượng công việc thực tế, ghi lại p50/p95, bộ nhớ và chi phí. ( PyTorch Profiler )

  3. Khắc phục các điểm nghẽn trong quy trình xử lý
    : Tải dữ liệu, phân tách từ, tiền xử lý, xử lý theo lô.

  4. Áp dụng các phương pháp tính toán rủi ro thấp mang lại hiệu quả cao:
    Độ chính xác hỗn hợp, tối ưu hóa nhân, xử lý theo lô tốt hơn.

  5. Hãy thử các tối ưu hóa trình biên dịch/thời gian chạy:
    Thu thập đồ thị, thời gian chạy suy luận, hợp nhất toán tử. ( Hướng dẫn torch.compile , tài liệu ONNX Runtime )

  6. Giảm chi phí mô hình.
    Định lượng cẩn thận, chắt lọc nếu có thể, cắt tỉa nếu cần thiết.

  7. Tối ưu hóa việc phân bổ
    bộ nhớ đệm, xử lý đồng thời, kiểm tra tải và khắc phục độ trễ cuối.

  8. Kiểm tra chất lượng
    bằng cách chạy các bài kiểm tra hồi quy và so sánh kết quả song song.

  9. Lặp đi
    lặp lại. Thay đổi nhỏ, ghi chú rõ ràng, rồi lặp lại. Không phô trương - hiệu quả.

Và đúng vậy, đây vẫn là "Cách tối ưu hóa mô hình AI " dù cảm giác nó giống "Cách tránh giẫm phải cào" hơn. Cũng tương tự thôi.

13) Những lỗi thường gặp (Để bạn không lặp lại như bao người khác) 🙃

  • Tối ưu hóa trước khi đo lường
    sẽ làm bạn lãng phí thời gian. Và rồi bạn sẽ tự tin tối ưu hóa những thứ sai lầm…

  • Theo đuổi một chỉ số chuẩn duy nhất.
    Các chỉ số chuẩn thường đánh lừa người dùng bằng cách che giấu thông tin. Khối lượng công việc thực tế của bạn mới là sự thật.

  • Bỏ qua vấn đề bộ nhớ:
    Các vấn đề về bộ nhớ gây ra hiện tượng chậm, treo máy và giật lag. ( Tìm hiểu về việc sử dụng bộ nhớ CUDA trong PyTorch )

  • Lượng tử hóa quá mức quá sớm.
    Lượng tử hóa bit thấp có thể rất tuyệt vời, nhưng hãy bắt đầu với những bước an toàn hơn trước.

  • Không có kế hoạch hoàn tác.
    Nếu bạn không thể hoàn tác nhanh chóng, mỗi lần triển khai sẽ trở nên căng thẳng. Căng thẳng dẫn đến lỗi.

Lời kết: Cách thức tối ưu hóa theo hướng nhân văn 😌⚡

Tối ưu hóa mô hình AI không phải là một thủ thuật đơn giản. Đó là một quy trình nhiều bước: đo lường, sửa lỗi pipeline, sử dụng trình biên dịch và runtime, tinh chỉnh quá trình phân phối, sau đó thu nhỏ mô hình bằng lượng tử hóa hoặc chưng cất nếu cần. Hãy thực hiện từng bước, duy trì các tiêu chuẩn chất lượng và đừng tin tưởng vào cảm giác "nhanh hơn" (cảm giác của bạn rất tốt, nhưng cảm giác không phải là công cụ phân tích hiệu năng).

Nếu bạn muốn tóm tắt ngắn gọn nhất:

  • Đo trước nhé 🔍

  • Tối ưu hóa quy trình tiếp theo 🧵

  • Sau đó tối ưu hóa mô hình 🧠

  • Sau đó tối ưu hóa việc phục vụ 🏗️

  • Luôn luôn kiểm tra chất lượng ✅

Và nếu điều đó giúp ích, hãy tự nhắc nhở bản thân: mục tiêu không phải là một “mẫu xe hoàn hảo”. Mục tiêu là một mẫu xe nhanh, giá cả phải chăng và đủ tin cậy để bạn có thể ngủ ngon giấc… hầu hết các đêm 😴.

Câu hỏi thường gặp

Việc tối ưu hóa mô hình AI có nghĩa là gì trong thực tế?

"Tối ưu hóa" thường có nghĩa là cải thiện một trong những ràng buộc chính: độ trễ, chi phí, dung lượng bộ nhớ, độ chính xác, độ ổn định hoặc thông lượng phục vụ. Điều khó khăn nằm ở sự đánh đổi - việc đẩy mạnh một lĩnh vực có thể ảnh hưởng tiêu cực đến lĩnh vực khác. Một cách tiếp cận thực tế là chọn một mục tiêu rõ ràng (như độ trễ p95 hoặc thời gian đạt chất lượng) và tối ưu hóa hướng tới mục tiêu đó. Nếu không có mục tiêu, rất dễ "cải thiện" mà vẫn không đạt được kết quả như mong muốn.

Làm thế nào để tối ưu hóa các mô hình AI mà không làm giảm chất lượng một cách âm thầm?

Hãy coi mọi thay đổi về tốc độ hoặc chi phí như một sự suy giảm hiệu suất tiềm ẩn không được báo trước. Sử dụng các biện pháp bảo vệ như gợi ý vàng, số liệu hiệu suất công việc và kiểm tra nhanh chóng bởi con người. Đặt ra ngưỡng rõ ràng cho sự sai lệch chất lượng chấp nhận được và so sánh kết quả đầu ra cạnh nhau. Điều này giúp tránh việc "nó nhanh hơn" biến thành "tại sao nó đột nhiên trở nên kỳ lạ trong môi trường sản xuất?" sau khi bạn đã triển khai sản phẩm.

Cần đo lường những gì trước khi bắt đầu tối ưu hóa

Hãy bắt đầu bằng cách đo độ trễ theo phần trăm (p50, p95, p99), thông lượng (token/giây hoặc yêu cầu/giây), mức sử dụng GPU và VRAM/RAM tối đa. Theo dõi chi phí cho mỗi lần suy luận hoặc cho mỗi 1000 token nếu chi phí là một yếu tố hạn chế. Phân tích hiệu năng trên một kịch bản thực tế mà bạn đang phục vụ, chứ không phải một lời nhắc giả lập. Việc ghi chép hiệu năng ngắn gọn sẽ giúp bạn tránh phỏng đoán và lặp lại những sai lầm.

Những cách nhanh chóng, ít rủi ro để nâng cao hiệu quả huấn luyện

Độ chính xác hỗn hợp (FP16/BF16) thường là lựa chọn nhanh nhất ban đầu, nhưng hãy chú ý đến những điểm bất thường về số học. Nếu kích thước batch bị giới hạn, tích lũy gradient có thể ổn định quá trình tối ưu hóa mà không làm hao phí bộ nhớ. Kiểm tra điểm gradient (gradient checkpointing) đánh đổi khả năng tính toán bổ sung để giảm bộ nhớ, cho phép sử dụng ngữ cảnh lớn hơn. Đừng bỏ qua việc phân tách từ (tokenization) và tinh chỉnh trình tải dữ liệu (dataloader tuning) - chúng có thể âm thầm làm cạn kiệt tài nguyên GPU.

Khi nào nên sử dụng torch.compile, ONNX Runtime hoặc TensorRT?

Các công cụ này nhắm vào việc giảm chi phí vận hành: thu thập đồ thị, hợp nhất nhân và tối ưu hóa đồ thị trong thời gian chạy. Chúng có thể mang lại tốc độ suy luận nhanh hơn đáng kể, nhưng kết quả khác nhau tùy thuộc vào hình dạng mô hình và phần cứng. Một số thiết lập cho kết quả như phép thuật; những thiết lập khác hầu như không có sự thay đổi. Hãy lưu ý rằng chúng nhạy cảm với sự thay đổi hình dạng và có thể gặp phải các lỗi "bất thường" - hãy đo lường trước và sau khi sử dụng trên khối lượng công việc thực tế của bạn.

Liệu lượng tử hóa có đáng giá hay không, và làm thế nào để tránh đi quá xa?

Lượng tử hóa có thể giảm đáng kể bộ nhớ và tăng tốc độ suy luận, đặc biệt là với INT8, nhưng chất lượng có thể giảm sút trong các trường hợp ngoại lệ. Các tùy chọn độ chính xác thấp hơn (như INT4/k-bit) mang lại hiệu quả tiết kiệm lớn hơn nhưng rủi ro cao hơn. Thói quen an toàn nhất là đánh giá trên tập dữ liệu thử nghiệm thực tế và so sánh kết quả đầu ra, chứ không phải dựa vào cảm tính. Hãy bắt đầu với các bước an toàn hơn trước, sau đó chỉ giảm độ chính xác nếu cần thiết.

Sự khác biệt giữa việc cắt tỉa và chưng cất để giảm kích thước mô hình

Việc cắt tỉa loại bỏ các tham số "gánh nặng" và thường cần huấn luyện lại để khôi phục chất lượng, đặc biệt là khi thực hiện quá mạnh tay. Phương pháp chưng cất huấn luyện một mô hình học sinh nhỏ hơn để bắt chước hành vi của một mô hình giáo viên lớn hơn, và nó có thể mang lại lợi tức đầu tư dài hạn mạnh mẽ hơn so với lượng tử hóa cực đoan. Nếu bạn muốn một mô hình nhỏ hơn hoạt động tương tự và duy trì ổn định, phương pháp chưng cất thường là con đường tối ưu hơn.

Làm thế nào để giảm chi phí suy luận và độ trễ thông qua việc cải thiện khả năng phục vụ?

Việc tối ưu hóa trở nên rõ ràng hơn khi phục vụ: xử lý theo lô giúp tăng thông lượng nhưng có thể làm tăng độ trễ nếu lạm dụng, vì vậy hãy điều chỉnh cẩn thận. Bộ nhớ đệm (bộ nhớ đệm nhắc nhở và tái sử dụng bộ nhớ đệm KV) có thể rất lớn khi các ngữ cảnh lặp lại. Xử lý dữ liệu theo luồng giúp cải thiện tốc độ cảm nhận ngay cả khi tổng thời gian tương tự. Ngoài ra, hãy tìm kiếm chi phí xử lý từng token trong hệ thống của bạn - công việc nhỏ trên mỗi token sẽ cộng dồn nhanh chóng.

Tại sao độ trễ đuôi lại quan trọng đến vậy khi tối ưu hóa các mô hình AI?

Mức trung bình có thể trông rất tốt trong khi p99 lại là một thảm họa, và người dùng thường trải nghiệm ở phần đuôi. Độ trễ ở phần đuôi thường đến từ sự dao động: phân mảnh bộ nhớ, đột biến xử lý trước của CPU, chậm quá trình mã hóa token hoặc hành vi xử lý theo lô kém. Đó là lý do tại sao hướng dẫn nhấn mạnh vào phần trăm và khối lượng công việc thực tế. Nếu bạn chỉ tối ưu hóa p50, bạn vẫn có thể mang đến trải nghiệm "thỉnh thoảng cảm thấy chậm"

Tài liệu tham khảo

  1. Amazon Web Services (AWS) - Tỷ lệ phần trăm AWS CloudWatch (định nghĩa thống kê) - docs.aws.amazon.com

  2. Google - Quản lý độ trễ đuôi ở quy mô lớn (thực tiễn tốt nhất về độ trễ đuôi) - sre.google

  3. Google - Mục tiêu mức độ dịch vụ (Sách SRE) - phân vị độ trễ - sre.google

  4. PyTorch - torch.compile - docs.pytorch.org

  5. PyTorch - FullyShardedDataParallel (FSDP) - docs.pytorch.org

  6. PyTorch - Trình hồ sơ PyTorch - docs.pytorch.org

  7. PyTorch - Ngữ nghĩa CUDA: quản lý bộ nhớ (ghi chú về bộ cấp phát bộ nhớ CUDA) - docs.pytorch.org

  8. PyTorch - Độ chính xác hỗn hợp tự động (torch.amp / AMP) - docs.pytorch.org

  9. PyTorch - torch.utils.checkpoint - docs.pytorch.org

  10. PyTorch - Hướng dẫn tối ưu hiệu năng - docs.pytorch.org

  11. Hướng dẫn về kỹ thuật cắt tỉa cây trong PyTorch - docs.pytorch.org

  12. PyTorch - Tìm hiểu về việc sử dụng bộ nhớ CUDA trong PyTorch - docs.pytorch.org

  13. PyTorch - Hướng dẫn/Tổng quan về torch.compile - docs.pytorch.org

  14. ONNX Runtime - Tài liệu hướng dẫn sử dụng ONNX Runtime - onnxruntime.ai

  15. NVIDIA - Tài liệu TensorRT - docs.nvidia.com

  16. NVIDIA - Các kiểu dữ liệu lượng tử hóa TensorRT - docs.nvidia.com

  17. NVIDIA - Nsight Systems - developer.nvidia.com

  18. NVIDIA - Máy chủ suy luận Triton - xử lý theo lô động - docs.nvidia.com

  19. Tài liệu DeepSpeed ​​- ZeRO Stage 3 - deepspeed.readthedocs.io

  20. bitsandbytes (bitsandbytes-foundation) - bitsandbytes - github.com

  21. Hugging Face - Tăng tốc: Hướng dẫn tích lũy độ dốc - huggingface.co

  22. Hugging Face - Tài liệu về Tokenizers - huggingface.co

  23. Hugging Face - Transformers: Hướng dẫn PEFT - huggingface.co

  24. Hugging Face - Transformers: Giải thích về bộ nhớ cache KV - huggingface.co

  25. Hugging Face - Transformers: Bộ mã hóa từ nhanh (lớp mã hóa từ) - huggingface.co

  26. arXiv - Chắt lọc tri thức trong mạng nơ-ron (Hinton và cộng sự, 2015) - arxiv.org

  27. arXiv - LoRA: Thích ứng bậc thấp của các mô hình ngôn ngữ lớn - arxiv.org

  28. arXiv - FlashAttention: Cơ chế chú ý chính xác nhanh và tiết kiệm bộ nhớ với khả năng nhận biết đầu vào/đầu ra - arxiv.org

Tìm kiếm những công nghệ AI mới nhất tại Cửa hàng Trợ lý AI chính thức

Về chúng tôi

Quay lại blog