News Tìm hiểu về phần cứng nhúng xử lý AI tại biên: GPU, VPU, FPGA và ASIC

Thảo luận trong 'Tin công nghệ' bắt đầu bởi minhduongpro, 25/4/23.

  1. minhduongpro PageRank 2 Member

    Tham gia ngày:
    21/7/17
    Các hệ thống IT doanh nghiệp đang phát triển nhanh chóng và bùng nổ trên diện rộng, và một xu hướng rõ nét đó là sự chuyển dịch sức mạnh xử lý ra rìa mạng. Gartner dự đoán vào năm 2025, điện toán biên sẽ xử lý 75% dữ liệu được tạo ra bởi tất cả các hệ thống ứng dụng, bao gồm cả dữ liệu trong nhà máy, y tế và giao thông vận tải. Bạn có thể thấy sự tương quan giữa việc áp dụng các hệ thống điện toán hiệu suất cao với sự gia tăng của trí tuệ nhân tạo (AI), vốn đang làm cho các nhà máy trở nên thông minh hơn, cải thiện kết quả chẩn đoán bệnh nhân tốt hơn, tăng độ an toàn cho phương tiện tự hành – cùng với đó, cũng làm gia tăng khối lượng dữ liệu theo cấp số nhân. Dữ liệu từ thiết bị sản xuất, cảm biến, hệ thống thị giác máy tính và hệ thống quản lý kho hàng trong một nhà máy thông minh có thể dễ dàng đạt đến mức 1 petabyte mỗi ngày. Khi các doanh nghiệp triển khai các hệ thống nhúng lần đầu, các kiến trúc sư hệ thống của họ không thể hình dung được khối lượng dữ liệu mà AI, IoT (Internet of Things) và các công nghệ tiên tiến khác sẽ tạo ra. Hiện giờ, bối cảnh đã thay đổi, các hệ thống nhúng của mười năm trước phải thích ứng để hỗ trợ xu hướng điện toán tại biên hiện nay. Nhiều tải công việc AI ngày nay được xử lý trên đám mây. Tuy nhiên, vì ngày càng có nhiều dữ liệu sinh ra đặt ra nhu cầu băng thông ngày càng tăng đối với các hệ thống này, việc xử lý dữ liệu ở rìa có ý nghĩa về mặt độ trễ, độ tin cậy, tính di động, bảo mật, hiệu quả năng lượng và chi phí truyền dữ liệu. Để đáp ứng nhu cầu mới này, phần cứng phải phát triển và chuyển từ hệ thống dựa trên điều khiển và theo quy tắc sang môi trường lấy dữ liệu làm trung tâm để phù hợp với các ứng dụng AI tiên tiến.

    Giới thiệu về các loại bộ xử lý cho hệ thống AI tại biên

    Yêu cầu phần cứng để xử lý tải công việc AI khác nhau tùy thuộc vào ứng dụng cụ thể. AI có thể tận dụng nhiều loại đầu vào, bao gồm video, hình ảnh, âm thanh, cảm biến và dữ liệu PLC. Thách thức mà các kiến trúc sư hệ thống gặp phải là lựa chọn các core xử lý tốt nhất cho các ứng dụng AI của họ.

    Bài viết này sẽ giúp bạn hiểu rõ các loại core xử lý khác nhau có thể được sử dụng trong các hệ thống biên, cũng như điểm mạnh của chúng.

    CPU

    Central processing unit (CPU) là một đơn vị xử lý đa năng thường có 4-16 lõi. CPU chạy các tác vụ phức tạp và tạo điều kiện thuận lợi cho việc quản lý hệ thống.

    Chúng hoạt động tốt với các đầu vào dữ liệu hỗn hợp, chẳng hạn như các hệ thống sử dụng cả âm thanh và văn bản cũng như các quy trình trích xuất, chuyển đổi và tải (Extract – Transform – Load).

    GPU

    Graphics processing units (GPU) là các lõi có độ song song cao (100 hoặc 1.000) để kết xuất đồ họa tốc độ cao. Chúng mang lại hiệu suất xử lý cao và thường có kích thước lớn hơn và tiêu thụ điện năng cao hơn so với CPU.

    Do số lượng lõi nhỏ cao, GPU rất phù hợp với các tải xử lý của AI, tạo điều kiện thuận lợi cho cả đào tạo mạng thần kinh lẫn suy luận AI.

    FPGA

    Field-programmable gate array (FPGA), là các cổng logic có thể định cấu hình, tiêu thụ ít năng lượng hơn CPU và GPU. Chúng cho phép lập trình lại tại thiết bị (in-field) cho các kỹ sư có chuyên môn về lập trình.

    Chúng có thể là sự lựa chọn tốt nhất khi yêu cầu mức độ linh hoạt cao.

    >>> Xem thêm: máy chủ dell r560



    ASIC

    Application-specific integrated circuits (ASIC) là thành phần xử lý logic tùy biến được thiết kế bằng cách sử dụng thư viện mạch của nhà sản xuất và cung cấp các lợi thế về tiêu thụ điện năng thấp, tốc độ và ít footprint. Tuy nhiên, chúng tốn thời gian để thiết kế và đắt hơn các tùy chọn khác, vì vậy ASIC được khuyến nghị cho các sản phẩm sẽ chạy với khối lượng rất lớn.

    Các loại ASIC bao gồm các loại:

    • Vision processing unit (VPU), bộ xử lý hình ảnh và thị giác, và các bộ đồng xử lý

    • Tensor processing unit (TPU), chẳng hạn như TPU đầu tiên được Google phát triển cho framework học máy của họ, TensorFlow

    • Neural compute unit (NCU), gồm có những thiết kế đến từ ARM
    Mỗi loại core phù hợp với các kiểu xử lý khác nhau – và việc sử dụng chúng cùng nhau trong các ứng dụng xử lý không đồng nhất (heterogeneous) sẽ cung cấp tất cả các chức năng mà các ứng dụng phức tạp yêu cầu. Được sử dụng cùng nhau, chúng cũng có thể cân bằng tải xử lý, tăng các mức hiệu suất suy luận AI khác nhau và thiết lập cấu hình hiệu quả và tiết kiệm chi phí nhất.

    Các bước để chọn phần cứng nhúng cho Edge AI

    Việc lựa chọn một hệ thống phần cứng biên được nhúng để xử lý AI ở biên thường yêu cầu đánh giá ba yếu tố chính:

    Hiệu năng

    Hệ thống phần cứng cốt lõi phải có khả năng cung cấp tốc độ mà các ứng dụng AI phức tạp và đòi hỏi nhiều dữ liệu trong khi vẫn hoạt động ổn định và đáng tin cậy, ngay cả ở trong môi trường khắc nghiệt.

    SWaP

    SWaP là từ viết tắt của Size, Weight và Power. Ngoài việc cung cấp chức năng mà ứng dụng yêu cầu, phần cứng biên cũng phải đáp ứng các thông số kỹ thuật về kích thước và trọng lượng để tuân thủ các ràng buộc vật lý của ứng dụng và có ý nghĩa nhất từ quan điểm tiêu thụ điện năng.

    Chi phí

    Chi phí của phần cứng biên có thể khác nhau – giữa các loại core, và giữa các nhà sản xuất với nhau. Cần phải xác định cái nào cung cấp chức năng và thông số kỹ thuật mà dự án của bạn cần ở mức chi phí tốt nhất.

    >>> Xem thêm: máy chủ dell r660



    Phần cứng Edge tại nơi vận hành

    Các ví dụ sau đây chỉ là một vài trong số rất nhiều trường hợp ứng dụng trong đó phần cứng biên cho phép AI mang lại giá trị hữu ích cho doanh nghiệp ngày nay.

    Nền tảng tăng tốc học sâu

    Deep learning acceleration platform (DLAP) cho phép thực hiệ các chức năng, bao gồm thu thập dữ liệu, xử lý trước hình ảnh, phân tích hình ảnh và tăng tốc AI. Chúng cũng cung cấp cho máy móc khả năng cải thiện hiệu suất của chính chúng và đưa ra quyết định. Bằng cách thay thế các thiết bị biên cũ gửi dữ liệu lên đám mây để xử lý bằng DLAP, các hoạt động có thể cho thấy có phản hồi nhanh hơn cũng như khả năng kiểm soát và bảo mật cao hơn.

    Các DLAP có thể tận dụng thiết kế không đồng nhất, chẳng hạn như sử dụng CPU để quản lý việc thu thập dữ liệu và xử lý trước hình ảnh và GPU để tăng tốc độ xử lý tác vụ song song trong khi vẫn giữ cho hệ thống biên nhỏ và tiết kiệm điện.

    Ví dụ: DLAP Series của ADLINK, được thiết kế để hoạt động trong môi trường công nghiệp hoặc môi trường nhúng khắc nghiệt, hoạt động ở nhiệt độ khắc nghiệt, độ ẩm cao và trong các trường hợp sử dụng thường xảy ra chấn động và rung lắc; chúng tôi gọi đây là SWaP được tối ưu hóa cho AI tiên tiến. Các thiết bị nhỏ gọn từ ADLINK chứa GPU nhúng NVIDIA® Quadro® hoặc siêu máy tính mini NVIDIA® Jetson™ trên một mô-đun và có thể được sử dụng cho các ứng dụng suy luận dựa trên AI, thị giác máy tính và điều khiển máy tự động.

    Một vài ví dụ

    Tự thanh toán (Self-checkout) với AI: Với những bữa trưa nhàn nhã đã trở thành dĩ vãng, mọi người đang tìm kiếm những cách nhanh chóng để mua một phần ăn trưa. Việc áp dụng dịch vụ tự phục vụ đang ngày càng phổ biến giữa người tiêu dùng và AI có thể hiện đại hóa trải nghiệm của khách hàng. Khi thanh toán cho nhà hàng hoặc cửa hàng, Computer Vision có thể xác định các mặt hàng trong một lần quét và hiển thị tổng số tiền đến hạn. Khách hàng có thể hoàn thành việc mua hàng của mình một cách nhanh chóng và tiện lợi.

    Mobile X-Ray C-Arm: Thiết bị y tế phải đảm bảo tin cậy, bền và được thiết kế để đạt hiệu suất cao. Thiết bị di động cũng phải đóng gói tất cả khả năng tính toán cần thiết vào một thiết kế nhỏ gọn với mức tiêu thụ điện năng thấp. Sự kết hợp giữa CPU và mô-đun GPU MXM nhúng, hệ thống hỗ trợ GPU công nghiệp nhỏ nhất thế giới, đáp ứng các thông số kỹ thuật đó.

    Công ty cổ phần thương mại Máy Chủ Hà Nội

    - Trụ sở Hà Nội: Tầng 1,2,4 - Tòa nhà PmaxLand số 32 ngõ 133 Thái Hà - Q. Đống Đa

    Hotline mua hàng Hà Nội: 0979 83 84 84 Điện thoai: 024 6296 6644

    - CN Hồ Chí Minh: Lầu 1- Tòa nhà 666/46/29 Đường 3/2- Phường 14 - Quận 10

    Hotline mua hàng Hồ Chí Minh: 0945 92 96 96 Điện thoai: 028 2244 9399

    - Email: hotro@maychuhanoi.vn

    - website: Máy chủ Hà Nội

    - facebook: Công Ty CP Thương Mại Máy Chủ Hà Nội | Hanoi
     
    #1

Chia sẻ trang này