Trung tâm dữ liệu AI là gì? [Video và câu hỏi trắc nghiệm]

Tóm lại: Trung tâm dữ liệu AI là một có mật độ cao, nơi điện năng, hệ thống làm mát, cơ sở hạ tầng và lưu trữ được thiết kế để phục vụ việc huấn luyện và phân phối mô hình, chứ không phải là một phòng máy chủ với nhiều GPU bổ sung. Các chip mới là yếu tố quan trọng; còn chính tòa nhà mới quyết định liệu chúng có hoạt động hiệu quả hay không. Nếu không thể truyền tải hình ảnh ra ngoài, hãy cải tạo lại một phòng thu nhỏ; hầu hết các nhóm nên thuê.

Những điểm chính cần ghi nhớ:

Chip so với cấu trúc máy tính: Nguồn điện, hệ thống làm mát, thiết kế và bộ nhớ quyết định liệu các bộ tăng tốc có hoạt động hay không.

Những nơi làm việc chứ không phải cung điện: Chỉ cần trang bị hai giá đỡ khi dữ liệu không thể truyền đi; đừng mua cả một khuôn viên.

Trung bình so với trung vị: Trong tám lần chạy, trung vị được đặt lại; hãy sử dụng giá trị trung bình 18 giờ.

Khả năng chống lạm dụng: Không nên đưa ra chỉ số PUE cho hai giá đỡ trong một hội trường hỗn hợp.

Kết quả minh họa: Tám lần chạy tạo ra một bản đồ nhỏ, không giúp tiết kiệm 50% năng suất.

Những bài viết bạn có thể muốn đọc sau bài này:

🔗 Trí tuệ nhân tạo (AI) có đáng tin cậy không? Video và bài kiểm tra
Khám phá độ tin cậy của AI thông qua một video hấp dẫn và bài kiểm tra tương tác.

🔗 Cách sử dụng AI trong cuộc sống hàng ngày
Khám phá những cách thiết thực mà AI có thể đơn giản hóa các công việc và thói quen hàng ngày.

🔗 Cách sử dụng AI trong công việc
Tìm hiểu những cách thiết thực để sử dụng AI nhằm nâng cao năng suất làm việc.

🔗 Trí tuệ nhân tạo có thể tự suy nghĩ không?
Tìm hiểu xem trí tuệ nhân tạo có thực sự có khả năng suy nghĩ độc lập hoặc lập luận hay không.

Nó khác biệt như thế nào so với một trung tâm dữ liệu "bình thường"?

Các hội trường truyền thống được tối ưu hóa cho khối lượng công việc hỗn hợp và thời gian hoạt động liên tục trên nhiều dịch vụ nhỏ. Chắc chắn rồi, bạn quan tâm đến tính dự phòng và khái niệm PUE - lượng năng lượng dư thừa mà tòa nhà tiêu thụ để cung cấp một watt điện toán. Nhưng thông thường, bạn không thiết kế mọi hành lang xung quanh một giá đỡ hoạt động như một trang trại máy sưởi di động.

Các trang web AI đảo ngược tỷ lệ. Mật độ tăng lên. Mạng lưới trở thành một cấu trúc mà công việc huấn luyện không thể hoạt động trơn tru nếu thiếu nó. Bộ nhớ phải duy trì hoạt động của các điểm kiểm tra, nếu không các bộ tăng tốc sẽ đứng yên, giống như những con ngựa đua trong tắc đường.

Ngoài ra còn có sự khác biệt về văn hóa. Bộ phận vận hành doanh nghiệp nghĩ theo kiểu phiếu yêu cầu và khung thời gian thay đổi. Bộ phận vận hành AI thì nghĩ theo kiểu hàng đợi công việc và cảm giác khó chịu khi một nút bị lỗi vào giai đoạn cuối của quá trình vận hành dài. Tôi đoán bạn vẫn có thể gọi cả hai là "trung tâm dữ liệu" vì chúng thực chất là như vậy. Cái nhãn chỉ che giấu hệ thống cơ sở hạ tầng bên trong mà thôi.

Đây không phải là bảng xếp hạng đạo đức. Các loại máy khác nhau, nhưng cùng một tên gọi.

GPU, bộ tăng tốc và giá đỡ tiêu thụ điện năng

Đi dọc theo một dãy giá để đồ truyền thống, bạn sẽ thấy chúng trông khá lịch sự. Nhưng đi dọc theo dãy giá để đồ của AI, chúng trông như muốn nuốt chửng cả tòa nhà.

Điểm nổi bật của phần cứng không phải là một CPU thông minh. Đó chính là khay tăng tốc: GPU hoặc các chip AI khác, được đóng gói vào máy chủ, sau đó là giá đỡ, rồi đến các hàng chia sẻ một mạng lưới băng thông cao. Các kết nối GPU ghép nối các chip thành một thứ có thể giả vờ như một bộ tăng tốc khổng lồ; mạng lưới cụm thực hiện thủ thuật tương tự ở quy mô hàng. Huấn luyện song song chỉ hoạt động nếu các liên kết đó vẫn mạnh mẽ và có thể dự đoán được. Nếu mất đi điều đó, "cụm" của bạn chỉ là một đống máy trạm đắt tiền chia sẻ cùng một địa chỉ bưu điện.

Nguồn điện đi theo từng con chip. Không phải là một bộ phân phối điện (PDU) văn phòng cồng kềnh. Công suất tải CNTT lên đến hàng megawatt khi một hội trường được lấp đầy - tôi sẽ không bịa ra một con số cụ thể. Mật độ trên mỗi giá đỡ mới là điểm mấu chốt. Ít giá đỡ hơn. Mỗi giá đỡ giống như một lò nung nhỏ. Yếu tố giới hạn thường là trạm biến áp, chứ không phải danh sách GPU mong muốn. Bạn biết đấy: bộ phận mua sắm muốn nhiều bộ tăng tốc hơn; công ty điện lực muốn một cuộc thảo luận dài và một tấm séc rất lớn.

Một phép ẩn dụ hơi ngớ ngẩn mà tôi không thể nào quên: giá treo đồ là một con vật đói. Bạn có thể nuôi một con nhanh hơn. Nhưng bạn vẫn phải cho nó ăn, và vẫn phải dọn dẹp để giải tỏa nhiệt. Bỏ qua một trong hai việc đó, nó sẽ trở thành một vật chặn giấy rất tốn kém.

Điện năng, nhiệt lượng và vấn đề làm mát

Điện vào. Nhiệt ra. Đó là toàn bộ triết lý.

Các giá kệ mật độ cao thải nhiệt theo cách mà không khí chưa bao giờ thực sự được yêu cầu xử lý. Bạn có thể đẩy không khí mạnh hơn - bộ trao đổi nhiệt cửa sau, lối đi nóng hơn, hệ thống chứa thông minh - và điều đó hiệu quả đến một mức độ nhất định. Sau đó, chất lỏng sẽ xuất hiện:

• Làm mát trực tiếp cho chip

• Hệ thống làm mát tuần hoàn khiến phòng máy trông giống như một nhà máy hóa chất

• Sự đắm chìm trong một vài thiết kế, điều vẫn khiến những người cho rằng nước và máy chủ không nên xuất hiện cùng nhau trong một câu cảm thấy ngạc nhiên

Tất cả những điều này đều không hào nhoáng. Tất cả đều là do sản phẩm, bởi vì một bộ tăng tốc bị giới hạn công suất là thứ bạn đã trả tiền nhưng không thể sử dụng hết công năng.

PUE vẫn rất quan trọng. Nó là một tỷ lệ, không phải là một đặc tính. Các nhà vận hành theo đuổi nó bởi vì mỗi watt tiêu thụ cho quạt và máy bơm là một watt không được dành cho GPU. Tôi sẽ không đưa ra một con số "điển hình"; khí hậu và cách bạn vạch ranh giới sẽ làm thay đổi nó, và sự chính xác giả tạo còn tệ hơn là không có gì. Nước cũng đóng một vai trò trong câu chuyện này. Một số nhà máy chỉ cần hút nước, một số lại cần rất nhiều. Làm mát bằng bay hơi hiệu quả cho đến khi mực nước sông hoặc hạn hán khiến nó trở nên khó khăn về mặt chính trị.

Mạng lưới: tại sao cấu trúc mạng lại quan trọng không kém gì các con chip

Mọi người chụp ảnh GPU. Họ cũng nên chụp ảnh các thiết bị chuyển mạch.

Huấn luyện là một cuộc hội thoại. Hàng ngàn bộ tăng tốc trao đổi độ dốc, tham số, các phần của mô hình, đồng bộ chặt chẽ. Nếu hệ thống bị gián đoạn, toàn bộ quá trình sẽ phải chờ ở bước truyền tải chậm nhất. Đó là lý do tại sao các trung tâm AI rất chú trọng đến mạng lưới băng thông cao, độ trễ thấp và cấu trúc liên kết không bị sụp đổ khi một liên kết bị lỗi. Các mạng lưới kiểu InfiniBand, Ethernet đóng vai trò tương tự, các kết nối GPU bên trong thiết bị, hệ thống cáp phải được thiết lập chính xác ngay từ đầu.

Suy luận là một câu chuyện khác. Việc phục vụ mô hình quan tâm đến độ trễ đuôi - phản hồi chậm, chứ không phải phản hồi trung bình. Xử lý theo lô so với xử lý thời gian thực tạo nên sự khác biệt. Một cụm máy chủ huấn luyện cần sự di chuyển đồng loạt, mạnh mẽ, gần như toàn diện. Một hệ thống máy chủ phục vụ cần nhiều yêu cầu nhỏ hơn và sự cô lập, tránh tắc nghẽn tại bộ cân bằng tải.

Nhân tiện tôi đang ở đây, điều tôi chưa hiểu là: mọi người coi mạng internet như hệ thống đường ống nước và khoai tây chiên như nhà hàng. Trong tòa nhà này, hệ thống đường ống nước chính là nhà hàng. Nếu không hiểu điều đó, bạn sẽ mua một căn bếp không thể nhận hàng giao tận nơi.

Huấn luyện so với suy luận: hai tòa nhà, đôi khi theo nghĩa đen

Huấn luyện là một chiến dịch. Bạn tập hợp một cụm máy chủ, cung cấp dữ liệu, kiểm tra trạng thái thường xuyên, chạy trong nhiều giờ hoặc nhiều tuần, và cầu nguyện rằng hệ thống hoạt động trơn tru. Xử lý theo lô, ngốn băng thông, âm thầm kiên nhẫn - cho đến khi một nút bị lỗi làm gián đoạn quá trình. Một bộ tăng tốc bị hỏng trong một tác vụ liên kết chặt chẽ có thể làm đình trệ toàn bộ hệ thống.

Suy luận là một mặt tiền cửa hàng. Các mô hình đã được huấn luyện, giờ đây đang trả lời câu hỏi, phân loại hình ảnh, tạo văn bản. Độ trễ rất quan trọng. Một bộ tăng tốc cũ hơn một chút gần khách hàng có thể đánh bại một bộ tăng tốc hào nhoáng ở tận bên kia lục địa.

Vậy là bạn sẽ thấy sự phân chia. Các trung tâm đào tạo theo đuổi quyền lực, đất đai và mật độ dân cư. Các trung tâm suy luận theo đuổi độ trễ và khả năng thu thập dữ liệu. Các hội trường lai cũng tồn tại, bởi vì vốn không phải là vô hạn. À, không phải lúc nào cũng là hai tòa nhà. Đôi khi chỉ cần một hội trường với dây nhung ngăn cách và hai hệ thống làm mát.

Đây cũng là nơi mà các mô hình như colocation, hyperscale campuses và on-prem phân nhánh. Các nhà cung cấp hyperscale xây dựng hệ thống với quy mô khổng lồ, khiến những người còn lại trông như đang sắp xếp đồ đạc. Các trung tâm colocation bán mật độ lưu trữ theo từng rack. Còn on-prem vẫn được sử dụng khi dữ liệu không thể di chuyển ra ngoài.

Thông lượng lưu trữ, điểm kiểm tra và chip "đói"

Không ai đưa hệ thống tập tin song song lên trang bìa của cuốn brochure cả.

Dữ liệu huấn luyện phải được truyền đến đủ nhanh để GPU không bị quá tải. Các điểm kiểm tra phải được lưu thành công để sự cố không làm mất trắng cả tuần làm việc. Trọng số mô hình phải được tải trước khi bản sao phục vụ hoạt động. Tốc độ truyền tải lưu trữ - chứ không chỉ dung lượng - mới là nút thắt cổ chai thầm lặng. Bạn có thể chi một khoản tiền khổng lồ cho bộ tăng tốc nhưng lại làm chúng thiếu tài nguyên với một hệ thống lưu trữ được thiết kế cho máy ảo.

Mô hình này khá quen thuộc: một cụm máy tính sáng bóng, một hàng đợi công việc và thời gian chờ I/O hiện ra như một hóa đơn khó chịu. Việc gom nhóm tính toán mà không gom nhóm đường dẫn dữ liệu là cách bạn tạo ra thời gian chờ rất tốn kém. Hãy đảm bảo các chip hoạt động ổn định hoặc thừa nhận rằng bạn đã mua một tác phẩm điêu khắc.

Phần mềm, điều phối và lớp vận hành không mấy hào nhoáng

Phần cứng là ngôi sao. Bộ lập lịch mới là bộ phận thực hiện công việc.

Trung tâm dữ liệu AI sẽ vô dụng nếu các tác vụ không tìm thấy GPU, nếu hai nhóm không thể chia sẻ một cụm máy chủ mà không xảy ra tranh chấp, nếu một máy chủ bị lỗi không thể được thay thế, nếu phần mềm nhúng thay đổi liên tục cho đến khi toàn bộ hệ thống sụp đổ dần dần. Điều phối, khả năng quan sát, giới hạn công suất - lớp vận hành không hào nhoáng, nhưng chính điều đó mới cho thấy tầm quan trọng của nó.

Tôi rất thích lớp này. Và cả những trường hợp card mạng bị cấu hình sai gây ra sự cố làm mát suốt cả buổi chiều... bạn sẽ nhận ra điều đó một cách khó khăn.

Khi một nút bị lỗi giữa chừng

Một nút bị lỗi. Các khung thời gian thay đổi vẫn xung đột với các lần chạy huấn luyện không quan tâm đến lịch trình của bạn. Bạn lên lịch cho các công việc lớn, khoanh vùng các nhóm suy luận, viết sổ tay hướng dẫn xử lý lỗi cho những lỗi trông giống như "công việc chậm" cho đến khi chúng trông giống như "công việc bị chết". Tính dự phòng vẫn quan trọng - nguồn điện, làm mát, đường dẫn, lưu trữ - nhưng chế độ lỗi không gọn gàng như slide về độ ổn định 9/9 trước đây. Suy luận: sao chép, xử lý nút bị lỗi, tiếp tục trả lời. Huấn luyện cần các điểm kiểm tra, chứ không phải sự lạc quan.

Vị trí, nguồn nước, lưới điện và hàng xóm

Bạn không đặt một trong những thứ này cạnh một ngôi nhà nhỏ để ngắm cảnh.

Việc kết nối lưới điện thường là yếu tố quyết định trong quá trình lựa chọn địa điểm. So với việc xây dựng trạm biến áp và hệ thống điện có nhiều khách hàng khác, việc tìm đất dễ hơn nhiều. Nước dùng cho hệ thống làm mát, nếu có sử dụng, sẽ trở thành vấn đề với hàng xóm ngay khi trời mưa to. Tiếng ồn. Cảnh quan cồng kềnh. Nhiệt độ cao ở hàng rào ranh giới. Các ủy ban quy hoạch thường nảy sinh ý kiến ​​về "đám mây" ngay khi nó cần một cánh đồng và một con sông.

Độ trễ lại là yếu tố ngược lại. Quá trình suy luận hoạt động tốt hơn khi ở gần người dùng và các kết nối liên mạng. Quá trình huấn luyện có thể được thực hiện ở những thị trường điện năng rẻ hơn và khí hậu mát mẻ hơn. Ngành công nghiệp này nói như thể có một địa điểm hoàn hảo duy nhất. Thực tế không phải vậy. Chỉ có một sự thỏa hiệp được nêu trong thông cáo báo chí.

Nhiệt dư thừa và lò sưởi không mời mà đến

Các tờ rơi quảng cáo rất thích đoạn này. Dẫn nhiệt thải vào nhà cửa, bể bơi, nhà kính; đó là một câu văn hay. Đôi khi hệ thống thu gom nhiệt thải là có thật. Đôi khi khuôn viên trường nằm ở vị trí không phù hợp và nhiệt vẫn bị thất thoát ra không khí. Tôi hoài nghi về phiên bản trong tờ rơi; nhưng tôi không hoài nghi về mặt vật lý.

Ai cần sở hữu một chiếc (và ai nên thuê thay vì mua)?

Đa số mọi người không cần phải sở hữu một trong những hội trường này.

Danh sách thẳng thắn:

• Các nhà cung cấp dịch vụ điện toán đám mây quy mô lớn, bởi vì sản phẩm chính là đội ngũ nhân viên

• Trong các phòng thí nghiệm, khi thời gian chờ đợi là điểm nghẽn hoặc dữ liệu không thể được chuyển đi, dữ liệu sẽ bị mất

• Một ngân hàng, tập đoàn bệnh viện, chính phủ hoặc nhà sản xuất sở hữu bộ dữ liệu bí mật - dù lưu trữ tại chỗ hay trong trung tâm dữ liệu riêng - đều có thể hành động một cách hợp lý, ngay cả khi điều đó hơi rắc rối

Những người khác nên thuê. Trung tâm dữ liệu với mật độ sẵn sàng cho AI. Đặt chỗ đám mây. Cụm máy chủ được quản lý. Bạn nhận được các bộ tăng tốc mà không cần phải trở thành người vận hành nhà máy điện. Sự lãng mạn sẽ phai nhạt ngay lần đầu tiên ai đó hỏi ai trực ca bảo trì hệ thống làm mát lúc 3 giờ sáng.

Tôi phải thừa nhận là có một chút tự hào. Sở hữu cụm máy chủ mang lại cảm giác như sở hữu phương tiện dự đoán. Rồi hóa đơn tiền điện đến, và lòng tự hào tan biến.

Công trình này dùng để làm gì?

Vậy, Trung tâm Dữ liệu AI là gì? Đó là một khu phức hợp chuyên dụng, mật độ cao, nơi các bộ tăng tốc, nguồn điện, hệ thống làm mát, cơ sở hạ tầng và lưu trữ được tổ chức xoay quanh việc huấn luyện và phục vụ các mô hình - chứ không phải là một trung tâm CNTT đa năng với một GPU đặt ở góc phòng. Nó trông giống như một nhà kho. Nó hoạt động như một nhà máy điện thực hiện các phép toán.

Nếu bạn không nhớ gì khác: những con chip mới tạo nên danh tiếng; còn trạm biến áp, chất làm mát và mạng lưới mới quyết định xem việc sử dụng những con chip đó có phải là một ý tưởng hay hay không. Đào tạo và suy luận có thể cùng chung một mái nhà; nhưng chúng vẫn cần những cách thức khác nhau. Hầu hết các tổ chức nên thuê. Một số ít nên xây dựng. Hàng xóm sẽ nhận thấy điều đó dù thế nào đi nữa.

Từ xưa, mây luôn có một tòa nhà bao quanh. Ngày nay, tòa nhà ấy lại có chính kiến ​​riêng.

Ví dụ thực tế: Một buồng huấn luyện hai giá đỡ khi hình ảnh không được phép rời khỏi đó

Kịch bản

Tomos là trưởng bộ phận cơ sở hạ tầng tại Kestrel Precision, một nhà sản xuất với 400 nhân viên ở West Midlands. Họ đã có sẵn một phòng máy chủ nhỏ tại chỗ: hệ thống ERP, chia sẻ tập tin, máy ảo, và nhiều thiết bị khác nữa, giống như phần mở đầu bài viết này. Hệ thống làm mát bằng không khí. Mạng Ethernet thông thường. Một hệ thống lưu trữ SAN hoạt động rất tốt với ổ đĩa văn phòng.

Nhóm thị giác máy tính cần huấn luyện một mô hình kiểm tra trên các thiết bị chưng cất của nhà máy. Các thiết bị này không được phép rời khỏi địa điểm. Chúng thể hiện một quy trình mà công ty sẽ không đưa lên ổ đĩa đám mây, ngay cả ổ đĩa riêng. Giải pháp của bộ phận mua sắm là bốn máy chủ tăng tốc kép và một slide có tiêu đề "trung tâm dữ liệu AI của chúng tôi". Các máy chủ được đặt vào hai giá đỡ hiện có, vì có đủ không gian, và không gian dường như là yếu tố hạn chế.

Không phải vậy. Trong vòng hai tuần, GPU phát ra tiếng ồn lớn rồi đột nhiên giảm tốc độ. Các tác vụ chạy chậm khi đến điểm kiểm tra trên SAN. Một nút bị lỗi ở giờ thứ 11 và toàn bộ quá trình... dừng lại. Tomos không phải là không mua chip. Anh ta đã mua một đống máy trạm đắt tiền cùng chung một mã bưu điện. Tòa nhà vẫn là một hội trường doanh nghiệp.

Họ không cần một khuôn viên trường đại học, một trạm biến áp mới, hay một con sông. Họ cần một trạm nhỏ hoạt động như một trung tâm dữ liệu AI thu nhỏ: nguồn điện mà các giá đỡ thực sự có thể chịu được, nhiệt lượng thoát ra mà không làm hỏng chip, một lớp mạng cho phép quá trình huấn luyện diễn ra, bộ nhớ có thể lưu trữ điểm kiểm tra, và một sổ tay hướng dẫn khi một nút bị lỗi. Vì các hình ảnh không thể di chuyển ra ngoài, việc thuê một kho chứa máy chủ cách đó bốn mươi phút không phải là giải pháp. Việc nâng cấp hai giá đỡ mới là giải pháp.

Những gì tế bào cần

• Ngân sách điện năng được tính toán kỹ lưỡng cho hàng máy chủ đó, dựa trên các bộ phân phối điện (PDU), chứ không phải dựa trên danh sách tùy chọn GPU. Nếu công suất dự phòng không đủ đáp ứng nhu cầu của bốn máy chủ ở mức tải huấn luyện, cuộc thảo luận sẽ dừng lại ở đó và họ sẽ xem xét việc xây dựng một trung tâm dữ liệu lớn hơn, chứ không phải một giải pháp thần kỳ

• Việc làm mát không khí ở mật độ này chưa bao giờ được yêu cầu: sử dụng bộ trao đổi nhiệt cửa sau nếu hội trường cho phép, hoặc một vòng tuần hoàn chất lỏng nhỏ nếu có thể. Nếu không, các máy chủ sẽ không được đặt ở đó

• Một đường truyền băng thông cao chuyên dụng giữa bốn nút, chứ không phải mạng Ethernet văn phòng. Nếu nhà cung cấp chỉ có bộ chuyển mạch 10 Gb trong danh mục sản phẩm, thì đó không phải là một cụm máy chủ

• Bộ nhớ cục bộ tốc độ cao dành cho các điểm kiểm tra và phân vùng huấn luyện, không phải VM SAN

• Bộ lập lịch, khoảng thời gian kiểm tra và đường dẫn khởi động lại được ghi sẵn. Phần cứng là ngôi sao. Lớp này mới là nhiệm vụ chính

• Một hộp suy luận được rào chắn dành riêng cho dây chuyền sản xuất, tách biệt khỏi những cuộc trò chuyện huấn luyện, bởi vì việc phục vụ đòi hỏi độ trễ và sự cô lập, chứ không phải là một sự tập thể

• Cần có sự cho phép để ghi lại thông tin về công suất, xung nhịp GPU, các sự kiện điều tiết và thời gian thực thi tác vụ. Nếu không thể kiểm tra những thông tin đó, họ sẽ chụp ảnh GPU và bỏ sót các công tắc

Ví dụ hướng dẫn

Tomos đã trình bày điều này trong bản tóm tắt về cơ sở vật chất, bằng ngôn ngữ thông thường:

Đừng gọi đây là khu phức hợp AI. Hãy xây dựng một phòng huấn luyện hai giá đỡ trong hội trường hiện có cho bốn máy chủ tăng tốc kép. Các ảnh hệ thống gốc vẫn được giữ nguyên tại chỗ. Thành công là: bốn nút hoàn thành một quy trình huấn luyện kiểm tra 12 epoch mà không bị giảm hiệu năng do quá nhiệt, ghi điểm kiểm tra trong vài phút chứ không phải hàng chục phút, và tiếp tục từ điểm kiểm tra đó khi chúng ta cố tình tắt một rank. Hệ thống làm mát phải giữ cho GPU hoạt động ở tốc độ xung nhịp huấn luyện. Mạng phải là một mạng lưới mà bốn máy chủ này chia sẻ, chứ không phải là một đường dẫn xuyên qua hệ thống máy chủ văn phòng. Bộ nhớ lưu trữ phải cung cấp dữ liệu cho các chip. Nếu bộ trao đổi nhiệt gắn phía sau không vừa, hãy nói rõ và dừng lại. Đừng đưa ra chỉ số PUE cho hai giá đỡ trong một hội trường hỗn hợp. Con số đó chỉ là trò hề.

Sau đó, anh ấy đưa điều này vào chính công việc đào tạo:

Cập nhật điểm kiểm tra mỗi 30 phút tại bể bơi nhanh cục bộ. Nếu một người chơi chết, hãy khởi động lại từ điểm kiểm tra hoàn chỉnh cuối cùng. Không chờ đợi trên SAN. Không tiếp tục luyện tập khi đồng hồ đếm ngược đã giảm do quá nhiệt. Ghi lại nhật ký và dừng lại để chúng tôi có thể thấy sự chậm lại.

Một giờ hoạt động tốt sẽ như thế này: cả tám GPU đều hoạt động ở tốc độ huấn luyện, tệp checkpoint đã được ghi nhận, công việc vẫn đang chạy đồng bộ. Một giờ hoạt động tệ sẽ như thế này: quạt chạy hết công suất, tốc độ xung nhịp giảm, checkpoint chỉ được ghi 2% sau mười phút, và ai đó trong văn phòng nói "cụm máy chủ đã hoạt động". "Hoạt động" không có nghĩa là đang huấn luyện.

Cách kiểm tra nó

Họ viết bài kiểm tra trước khi tiến hành nâng cấp, đó chính là lý do tại sao không nên tin tưởng vào bản demo.

• Cùng một công thức 12 giai đoạn, cùng 120.000 thiết bị kiểm tra, tám lần chạy

• Thời gian được tính từ lúc bắt đầu đến khi hoàn thành công thức, bao gồm cả bất kỳ lần khởi động lại nào, từ lúc gửi lệnh đến điểm kiểm tra cuối cùng của kỷ nguyên 12

• Vượt qua bài kiểm tra nhiệt độ: Tốc độ xung nhịp GPU duy trì ở mức mục tiêu trong suốt quá trình huấn luyện. Sự kiện giảm tốc độ xung nhịp được coi là thất bại ngay cả khi công việc cuối cùng cũng hoàn thành

• Thông tin về bộ nhớ lưu trữ: thời gian ghi điểm kiểm tra, trung bình và tệ nhất, từ nhật ký công việc

• Một sự chuyển giao công việc: công việc không thể trì hoãn trong khi một đội ngũ vẫn khỏe mạnh. Nếu họ không nhận ra sự chờ đợi đó, thì việc lắp đặt thiết bị sẽ không được thực hiện

• Hai trong số tám lần chạy có người chơi bị loại ở một bước cố định, nhằm mục đích kiểm tra đường dẫn khởi động lại

• Quá trình suy luận là một bài kiểm tra riêng biệt gồm 200 hình ảnh, được thực hiện từ dây chuyền sản xuất đến hộp đựng thức ăn được rào chắn. Thành công trong quá trình huấn luyện không được tính là thành công trong việc phục vụ

• Họ ghi lại công suất tiêu thụ của tủ rack từ các bộ phân phối điện (PDU) theo từng mẫu 15 phút, vì vậy không ai phải tự nghĩ ra đơn vị megawatt nữa

Chấp nhận việc gọi ô đó là "sẵn sàng cho AI": 8/8 công thức hoàn thành; 0/8 hiển thị hiện tượng giảm hiệu năng do quá nhiệt; cả hai lần chạy bị dừng đều được tiếp tục; điểm kiểm tra vẫn giữ nguyên tính bằng phút. Nếu họ bỏ lỡ điều đó, họ vẫn có một phòng máy chủ với card đồ họa cao cấp.

Kết quả

Đây chỉ là kết quả minh họa, được rút ra từ một thử nghiệm giả định gồm tám lần chạy, không phải là số liệu Kestrel đã được công bố.

Các giả định: bốn máy chủ tăng tốc kép trong hai giá đỡ; một mô hình kiểm tra; 120.000 ảnh tĩnh; tám lần chạy của một công thức cố định gồm 12 giai đoạn; đồng hồ thời gian thực bao gồm cả các lần khởi động lại cho đến khi công thức hoàn thành; điều tiết có nghĩa là sự giảm được ghi lại từ đồng hồ huấn luyện; thời gian điểm kiểm tra là thời gian ghi, không phải thời gian mong muốn; công suất của giá đỡ là các mẫu PDU, không phải PUE của toàn khuôn viên.

Trước khi nâng cấp, các GPU được đặt trong các giá đỡ tản nhiệt khí thông thường trên mạng Ethernet văn phòng và VM SAN:

• 5 trong số 8 lượt chơi hoàn thành ngay lần thử đầu tiên. Thời gian thực tế trung bình của năm lượt chơi đó là 14 giờ

• 3 trong số 8 máy phải khởi động lại sau khi bị kẹt ở khoảng giờ thứ 11 (hai máy do một nút bị lỗi với điểm kiểm tra cũ, một máy do điểm kiểm tra làm đầy SAN). Thử lại ngay lập tức, không chờ qua đêm: 11 giờ bị lãng phí cộng với 14 giờ cho lần thử thứ hai, tổng cộng 25 giờ để hoàn thành công thức trên ba máy đó

• Thời gian trung bình để hoàn thành một công thức nấu ăn trên cả tám công thức, bao gồm cả các lần làm lại: 18 giờ. (Năm công thức mất 14 giờ, ba công thức mất 25 giờ. Giá trị trung vị của cả tám công thức vẫn là 14 giờ, điều này sẽ che giấu các lần làm lại. Đó là lý do tại sao giá trị trung bình được sử dụng làm cơ sở ở đây.)

• Hiện tượng giảm hiệu năng do quá nhiệt được ghi nhận trong 7 trên 8 lần chạy. Thời gian trung bình ở tốc độ xung nhịp giảm: 3 giờ trong một lần thử 14 giờ

• Ghi điểm kiểm tra: trung bình 22 phút

• Việc tiêu diệt đối thủ trong trận chiến không phải là bài kiểm tra mà họ có thể vượt qua. Họ không có sổ tay hướng dẫn. Hai cái chết ngoài ý muốn là bằng chứng cho thấy điều đó

• Tải trọng CNTT cao nhất trên hai giá đỡ trong quá trình đào tạo: khoảng 18 kW. Giá đỡ có công suất đó. Nó không có hệ thống làm mát hoặc lớp phủ bảo vệ

Sau các bộ trao đổi nhiệt phía sau trên hai giá đỡ đó, một mạng chuyên dụng giữa bốn nút, một nhóm NVMe nhỏ để lưu điểm kiểm tra, thiết lập điểm kiểm tra sau mỗi 30 phút và một sổ tay hướng dẫn khởi động lại:

• 8/8 bài hoàn thành ngay lần đầu tiên. Thời gian trung bình: 9 giờ

• Giảm hiệu năng do quá nhiệt: 0/8

• Thời gian ghi điểm kiểm tra: trung bình 90 giây. Thời gian lâu nhất trong nhóm: 3 phút

• Hai lần tiêu diệt đối thủ có chủ đích đều bắt đầu từ mốc thời gian 30 phút cuối cùng. Thời gian chơi thêm cho hai lần này là khoảng 40 phút mỗi lần, bao gồm cả thời gian chẩn đoán, nên tổng thời gian của hai lần này là gần 9 giờ 40 phút. Trung bình trên tám vòng chơi là 9 giờ

• Mức tiêu thụ điện năng cao nhất của hệ thống CNTT vẫn khoảng 18 kW. Cùng một loại chip. Nhưng cấu trúc tòa nhà thì khác nhau

Trong mẫu này, thời gian trung bình để hoàn thành một công thức giảm từ 18 giờ xuống còn 9 giờ, tức là giảm 9 giờ mỗi lần, tổng cộng 72 giờ cho tám lần chạy. Tỷ lệ hoàn thành ngay lần đầu tiên tăng từ 5/8 lên 8/8. Tỷ lệ sử dụng bộ điều tiết giảm từ 7/8 xuống 0/8. Con số cuối cùng cho biết liệu họ đã mua chất tăng tốc hay chỉ là vật chặn giấy. Họ sẽ không gọi sự thay đổi về thời gian này là tiết kiệm được 50% năng suất. Tám lần chạy là một nhóm nhỏ và dễ phân tích.

Những con số này là ước tính ví dụ dựa trên thử nghiệm đã nêu, một mẫu nhỏ, một mô hình và một hội trường hỗn hợp. Chúng không phải là PUE, không phải là megawatt của khuôn viên, và không phải là bằng chứng cho thấy Kestrel nên xây dựng một địa điểm đào tạo ở ngoài trời. Việc xem xét nhật ký nằm trong vòng 9 giờ; họ không che giấu điều đó. Con số 18 kW là chỉ số PDU được làm tròn, không phải là hóa đơn điện. Họ không chuyển đổi 72 giờ thành chi phí, bởi vì mức giá điện hỗn hợp của nhà máy sẽ tạo ra một luận cứ kinh doanh giả tạo.

Phiếu phục vụ được tách riêng và nhỏ hơn: 200 hình ảnh dòng được đặt trong hộp có rào chắn, tất cả đều tại chỗ. Đó là suy luận, không phải đào tạo. Việc trộn lẫn hai thứ đó sẽ là sai lầm của mô hình hội trường lai thu nhỏ.

Điều gì có thể xảy ra sai sót?

• Bộ phận mua sắm cứ gọi bốn máy chủ đó là "trung tâm dữ liệu AI". Cái nhãn đó che giấu hệ thống đường ống bên trong, và lần mua sắm tiếp theo sẽ là thêm GPU cho cùng một hệ thống phức tạp đó

• Các bộ trao đổi nhiệt cửa sau được lắp đặt nhưng không ai vận hành hệ thống cấp nước. Quạt vẫn hò hét. Đồng hồ vẫn rơi

• Mạng này chỉ có một bộ chuyển mạch duy nhất, không có đường dẫn dự phòng. Chỉ cần một liên kết bị lỗi, "cụm" mạng sẽ lại chỉ còn bốn máy trạm

• Các điểm kiểm tra vẫn nằm trên SAN vì nhóm NVMe đang ở "giai đoạn hai". Giai đoạn hai sẽ không xuất hiện trước khi nút tiếp theo bị lỗi

• Họ đưa ra chỉ số PUE cho hai giá đỡ trong một hội trường hỗn hợp. Khí hậu, ranh giới và các yếu tố khác trong dãy ERP khiến tỷ lệ đó trở nên không chính xác

• Đào tạo và phục vụ có chung một cấu trúc. Việc quá tải điểm kiểm tra khiến dây chuyền sản xuất phải chờ đợi. Độ trễ ở phần đuôi mới là sản phẩm ở đó, chứ không phải mật độ

• Một nút bị lỗi và ai đó lại coi đó là một sự cố về thời gian hoạt động thay vì khởi động lại điểm kiểm tra. Nhóm vận hành doanh nghiệp và nhóm vận hành AI cứ mãi không hiểu nhau suốt cả buổi chiều

• Họ có thể thuê một cái lồng, nhưng những hình ảnh không thể rời đi. Quên đi ràng buộc đó đã đẩy họ vào một cuộc trò chuyện trên đám mây mà họ sẽ phải gỡ rối để giải mã

Bài học thực tiễn

Trung tâm dữ liệu AI, với hình dạng này, không phải là một nhà kho và cũng không phải là một hóa đơn GPU. Nó là một không gian cho phép các bộ tăng tốc hoàn thành quá trình hoạt động: nguồn điện chúng có thể chứa, nhiệt lượng tỏa ra, một mạng lưới, một điểm kiểm tra và một người chịu trách nhiệm khi một thành phần bị lỗi. Kestrel không cần một khuôn viên rộng lớn. Họ chỉ cần hai giá đỡ để ngừng giả vờ. Hầu hết các nhóm nên thuê không gian đó. Một số ít, với bộ dữ liệu bí mật và một hội trường có thể chịu được nhiệt, nên xây dựng một không gian riêng và từ chối việc sử dụng không gian có sẵn.

Câu hỏi thường gặp

Trung tâm dữ liệu AI là gì?

Một trung tâm tính toán mật độ cao, nơi điện năng, hệ thống làm mát, mạng lưới và lưu trữ được thiết kế để phục vụ việc huấn luyện song song và phân phối mô hình, chứ không phải là những dãy máy chủ đa năng được sắp xếp gọn gàng. Nó được thiết kế để một số lượng lớn bộ tăng tốc có thể huấn luyện và phân phối mô hình mà không bị quá tải, tắc nghẽn mạng hoặc chờ đợi trên ổ đĩa. Một trung tâm tính toán doanh nghiệp thông thường là một khu vực hỗn hợp. Một trung tâm tính toán AI là một môi trường độc canh mà đơn vị giá trị là bộ tăng tốc, chẳng hạn như GPU hoặc chip kiểu TPU. Nó trông giống như một nhà kho và hoạt động như một nhà máy điện thực hiện các phép toán.

Trung tâm dữ liệu AI khác với trung tâm dữ liệu thông thường như thế nào?

Các trung tâm dữ liệu truyền thống tối ưu hóa cho khối lượng công việc hỗn hợp và thời gian hoạt động liên tục trên nhiều dịch vụ nhỏ. Các trung tâm AI đảo ngược tỷ lệ: mật độ tăng lên, mạng lưới trở thành một cấu trúc mà công việc huấn luyện không thể thiếu, và bộ nhớ phải duy trì hoạt động của các điểm kiểm tra hoặc bộ tăng tốc sẽ ở trạng thái chờ. Hoạt động doanh nghiệp suy nghĩ theo hệ thống phiếu yêu cầu và cửa sổ thay đổi. Hoạt động AI suy nghĩ theo hàng đợi công việc và cảm giác khó chịu khi một nút bị lỗi vào giai đoạn cuối của một chu kỳ dài. Bạn vẫn có thể gọi cả hai là trung tâm dữ liệu. Cái tên chỉ che giấu hệ thống cơ sở hạ tầng bên trong.

Tại sao các trung tâm dữ liệu AI lại tiêu thụ nhiều điện năng đến vậy?

Điểm nổi bật của phần cứng không phải là một CPU thông minh. Đó là khay tăng tốc: GPU hoặc các chip AI khác, được đóng gói vào máy chủ, rồi đến giá đỡ, rồi đến các dãy máy chủ chia sẻ một mạng lưới băng thông cao. Mật độ trên mỗi giá đỡ là điểm mấu chốt: ít giá đỡ hơn, mỗi giá đỡ giống như một lò đốt nhỏ. Công suất tải CNTT lên đến hàng megawatt khi một hội trường được lấp đầy, mặc dù việc đưa ra một con số điển hình là không đáng. Yếu tố hạn chế thường là trạm biến áp, chứ không phải là danh sách mong muốn về GPU.

Các trung tâm dữ liệu AI được làm mát như thế nào?

Các giá đỡ mật độ cao tản nhiệt theo cách mà không khí chưa bao giờ thực sự được yêu cầu xử lý. Bạn có thể đẩy không khí mạnh hơn bằng bộ trao đổi nhiệt cửa sau, lối đi nóng hơn và hệ thống chứa thông minh. Sau đó, chất lỏng xuất hiện: làm mát trực tiếp cho chip, vòng tuần hoàn chất làm mát và ngâm trong một số thiết kế. Một bộ tăng tốc bị giảm hiệu năng là một bộ bạn đã trả tiền nhưng không thể sử dụng hết công suất. Hiệu suất sử dụng năng lượng (PUE) vẫn quan trọng vì mỗi watt dành cho quạt và bơm là một watt không được dành cho GPU. Nước cũng đóng một vai trò trong câu chuyện: một số nhà máy chỉ hút nước, một số thì tiêu thụ nhiều hơn.

Tại sao mạng máy tính lại quan trọng không kém gì GPU?

Huấn luyện là một cuộc hội thoại: hàng ngàn bộ tăng tốc trao đổi độ dốc, tham số và các phần của mô hình một cách đồng bộ chặt chẽ. Nếu hệ thống bị gián đoạn, toàn bộ công việc sẽ phải chờ ở bước nhảy chậm nhất. Đó là lý do tại sao các trung tâm AI rất chú trọng đến mạng có băng thông cao, độ trễ thấp, các mạng kiểu InfiniBand hoặc Ethernet đóng vai trò tương tự, và các cấu trúc liên kết không bị sụp đổ khi một liên kết bị lỗi. Suy luận quan tâm đến độ trễ đuôi, nhiều yêu cầu nhỏ hơn và sự cô lập. Trong tòa nhà này, hệ thống đường ống nước chính là nhà hàng.

Trung tâm dữ liệu AI được sử dụng để làm gì: huấn luyện hay suy luận?

Huấn luyện là một chiến dịch: tập hợp một cụm máy tính, cung cấp dữ liệu, kiểm tra định kỳ và chạy trong nhiều giờ hoặc nhiều tuần. Suy luận là một cửa hàng: các mô hình đã được huấn luyện, giờ đang trả lời, với độ trễ đáng kể. Các trung tâm huấn luyện theo đuổi quyền lực, đất đai và mật độ. Các trung tâm suy luận theo đuổi độ trễ và khả năng kết nối. Các phòng máy tính lai tồn tại vì vốn không phải là vô hạn, đôi khi một phòng có hai vòng làm mát. Một máy tăng tốc cũ hơn một chút gần khách hàng có thể vượt trội hơn một máy hiện đại ở cách xa cả một lục địa.

Tại sao dung lượng lưu trữ lại quan trọng trong trung tâm dữ liệu AI?

Dữ liệu huấn luyện phải được truyền đến đủ nhanh để GPU không bị quá tải. Các điểm kiểm tra phải được lưu thành công để sự cố không làm mất trắng cả tuần làm việc. Trọng số mô hình phải được tải trước khi bản sao phục vụ hoạt động. Tốc độ truyền tải lưu trữ, chứ không chỉ dung lượng, mới là nút thắt cổ chai thầm lặng. Bạn có thể chi một khoản tiền khổng lồ cho bộ tăng tốc nhưng lại làm chúng thiếu tài nguyên với một hệ thống lưu trữ được thiết kế cho máy ảo.

Điều gì xảy ra khi một nút bị lỗi giữa chừng?

Một bộ tăng tốc bị hỏng trong một tác vụ huấn luyện liên kết chặt chẽ có thể làm đình trệ toàn bộ hệ thống. Quá trình huấn luyện cần các điểm kiểm tra, chứ không phải sự lạc quan. Quá trình suy luận sẽ xử lý nút bị lỗi, duy trì bản sao hoạt động và tiếp tục chạy. Các khoảng thời gian thay đổi vẫn xung đột với các lần chạy huấn luyện mà không quan tâm đến lịch trình của bạn. Tính dự phòng vẫn quan trọng đối với nguồn điện, làm mát, đường dẫn và lưu trữ, nhưng chế độ lỗi không gọn gàng như slide về độ ổn định 9 số 9 trước đây.

Trung tâm dữ liệu AI tác động như thế nào đến lưới điện, nguồn nước và các hộ dân xung quanh?

Việc kết nối lưới điện thường là yếu tố quan trọng trong quá trình lựa chọn địa điểm. So với việc xây dựng trạm biến áp và hệ thống điện có nhiều khách hàng khác, việc tìm được địa điểm lắp đặt dễ dàng hơn nhiều. Nước dùng cho hệ thống làm mát, nếu có sử dụng, sẽ trở thành vấn đề với hàng xóm ngay khi trời mưa to, cùng với tiếng ồn, sự cồng kềnh về mặt thị giác và sức nóng ở hàng rào. Việc tìm kiếm địa điểm lắp đặt có thể thuận lợi hơn ở những thị trường điện rẻ hơn và khí hậu mát mẻ hơn. Hệ thống điện thích được đặt gần người dùng khác. Không có địa điểm nào là hoàn hảo tuyệt đối. Luôn có sự thỏa hiệp trong một thông cáo báo chí.

Tôi có cần phải sở hữu trung tâm dữ liệu AI hay nên thuê?

Hầu hết mọi người không cần phải sở hữu một trong những trung tâm dữ liệu này. Các nhà cung cấp dịch vụ điện toán đám mây quy mô lớn xây dựng vì sản phẩm chính là hệ thống máy chủ. Các phòng thí nghiệm xây dựng khi thời gian chờ đợi là nút thắt cổ chai hoặc dữ liệu không thể rời khỏi hệ thống. Một ngân hàng, bệnh viện, chính phủ hoặc nhà sản xuất có bộ dữ liệu bí mật có thể sử dụng trung tâm dữ liệu tại chỗ hoặc trung tâm dữ liệu riêng. Còn những người khác nên thuê: trung tâm dữ liệu sẵn sàng cho AI, đặt chỗ trên đám mây hoặc cụm máy chủ được quản lý. Bạn có được các công cụ tăng tốc mà không cần phải trở thành người vận hành nhà máy điện.

Tài liệu tham khảo

1. IEA - www.iea.org

2. LBNL - datacenters.lbl.gov

3. Mạng lưới Xanh - www.thegreengrid.org

4. LBNL - datacenters.lbl.gov

5. LBNL - datacenters.lbl.gov

6. Uptime Institute - journal.uptimeinstitute.com

7. NVIDIA - developer.nvidia.com

8. NVIDIA - docs.nvidia.com

9. NVIDIA - docs.nvidia.com

10. NVIDIA - docs.nvidia.com

11. Google Cloud - docs.cloud.google.com

Tìm kiếm những công nghệ AI mới nhất tại Cửa hàng Trợ lý AI chính thức

Về chúng tôi