Blog về công ty Ambarella N1-A0-RH --Bộ xử lý thị giác AI dòng N1 dành cho các ứng dụng biên

Shenzhen Mingjiada Electronics Co., Ltd. cung cấp AmbarellaN1-A0-RH, một bộ xử lý thị giác AI từ loạt N1 được thiết kế cho các ứng dụng máy tính cạnh.

Với việc áp dụng nhanh chóng trí thông minh cạnh, nhu cầu về suy luận mô hình lớn cục bộ, xử lý hình ảnh độ nét cao và tính toán hiệu quả cao, năng lượng thấp trong các thiết bị cuối tiếp tục tăng lên.AmbarellaN1-A0-RHBộ xử lý thị giác AI được xây dựng trên kiến trúc CV3-HD trưởng thành, được tối ưu hóa liên tục.suy luận AI đa phương thức và phân tích video độ nét cao ở cạnh, nó cân bằng hiệu suất cao, tiêu thụ năng lượng cực thấp và tích hợp cao. Nó hoàn toàn phù hợp với các yêu cầu nâng cấp thông minh của các thiết bị cạnh khác nhau, bao gồm cả công nghiệp,an ninh, thiết bị đầu cuối thông minh và các ứng dụng robot, phục vụ như nền tảng điện toán cốt lõi cho thế hệ tiếp theo của xử lý hình ảnh AI tạo ra ở cạnh.

I. Định vị lõi củaN1-A0-RH: Định nghĩa lại các tiêu chuẩn máy tính tầm nhìn cạnh

AmbarellaN1-A0-RHlà SoC hàng đầu trong loạt N1, được thiết kế cho tính toán cạnh nhẹ, hiệu suất cao. Không giống như chip cạnh truyền thống chỉ hỗ trợ phân tích trực quan cơ bản,mô hình này tập trung vào “native generative AI at the edge”, phá vỡ sự phụ thuộc vào sức mạnh điện toán đám mây. Nó có thể chạy độc lập các mô hình ngôn ngữ lớn đa phương thức (LLM) và mô hình lớn trực quan (VLM) trên các thiết bị đầu cuối địa phương,cho phép ra quyết định thông minh, nhận dạng hình ảnh, hiểu cảnh và tạo nội dung trong các kịch bản ngoại tuyến.

So với GPU công nghiệp mục đích chung và các máy gia tốc AI truyền thống, N1-A0-RH giải quyết chính xác các điểm đau cốt lõi của các thiết bị cạnhCác yếu tố hình thức nhỏ gọn và yêu cầu thời gian thực cao đưa ra sức mạnh máy tính AI cấp máy chủ với mức tiêu thụ điện cực thấp dưới 50WHiệu quả năng lượng của nó vượt xa so với các sản phẩm có thể so sánh, lên đến ba lần so với các giải pháp truyền thống.Điều này hoàn toàn giải quyết các thách thức trên toàn ngành công nghiệp về “năng lượng máy tính không đủ, tiêu thụ năng lượng quá mức và độ trễ quá cao khi triển khai các thuật toán AI cao cấp trên các thiết bị cạnh,làm cho nó trở thành chip điều khiển chính được ưa thích cho thiết bị thị giác thông minh cấp công nghiệp.

II.N1-A0-RH: Được hỗ trợ bởi kiến trúc CV3-HD

N1-A0-RH được xây dựng dựa trên kiến trúc CV3-HD trưởng thành và tối ưu hóa lặp đi lặp lại của Ambarella. Nó tích hợp bộ xử lý AI tầm nhìn Vflow, bộ xử lý vectơ chung (GVP), bộ xử lý vectơ và bộ xử lý vectơ.một động cơ dòng chảy quang học stereo và một cụm máy tính CPU cao cấp, tạo thành một kiến trúc máy tính tích hợp của CPU máy tính mục đích chung + NPU tăng tốc thông minh + ISP xử lý hình ảnh.Điều này cải thiện đáng kể hiệu quả của việc phối hợp phần cứng và thích nghi toàn diện với các kịch bản tính toán cạnh phức tạp.

1. Cluster tính toán CPU cực mạnh

CácN1-A0-RHchip được trang bị bộ vi xử lý hiệu suất cao Arm Cortex-A78AE 16 lõi, được thiết kế đặc biệt cho các kịch bản cấp công nghiệp đòi hỏi độ tin cậy cao và hiệu suất thời gian thực.Với tốc độ đồng hồ ổn định và sức mạnh tính toán phong phú, nó xử lý hiệu quả các nhiệm vụ máy tính chung như lập kế hoạch hệ thống, xử lý song song đa nhiệm vụ, xử lý trước thuật toán và điều khiển trình điều khiển ngoại vi,đảm bảo thiết bị hoạt động mà không bị chậm hoặc không có thời gian ngừng hoạt động, đáp ứng các yêu cầu hoạt động liên tục 24/7 của các thiết bị cạnh công nghiệp.

2. CVflow Dedicated AI Acceleration Core

CácN1-A0-RHkết hợp kiến trúc kết hợp của bộ xử lý vectơ thần kinh (NVP) và bộ xử lý vectơ chung (GVP), tạo thành cốt lõi của sức mạnh tính toán AI N1-A0-RH.Kiến trúc này đã được tối ưu hóa sâu bởi Ambarella và được điều chỉnh cụ thể cho các mô hình lớn nguồn mở và thuật toán thị giácNó có thể chạy hiệu quả các mô hình đa phương thức như Llama2-13B, Phi, Gemma và LLaVA-OneVision, cung cấp tốc độ tạo ổn định 25 token mỗi giây trong chế độ dòng duy nhất.Điều này cho phép suy luận tổng hợp đa chiều trên các hình ảnh, giọng nói và văn bản, trang bị các thiết bị cạnh với các khả năng tiên tiến như hiểu ngữ nghĩa cảnh, phân tích thông minh và ra quyết định tự trị.

3. Máy xử lý thị giác chuyên nghiệp

CácN1-A0-RHtích hợp một ISP cao cấp, được phát triển trong nhà và một động cơ lưu lượng quang s stereo dày đặc. Nó hỗ trợ thu thập thời gian thực, giảm tiếng ồn,tối ưu hóa phạm vi động rộng và điều chỉnh biến dạng cho nhiều luồng video độ nét cao, có khả năng xử lý đồng thời 12 kênh 1080p @ 30fps luồng video độ nét cao trong khi cân bằng tối ưu hóa chất lượng hình ảnh với khả năng phân tích thời gian thực.Cho dù đó là khôi phục hình ảnh trong điều kiện ánh sáng phức tạp hoặc theo dõi mục tiêu và đo độ dịch chuyển trong các cảnh năng động, nó đạt được xử lý chính xác cao, cung cấp hỗ trợ dữ liệu thô chất lượng cao cho các thuật toán AI trực quan.

III. Ưu điểm kỹ thuật cơ bản củaN1-A0-RH: Thích hợp cho tất cả các kịch bản Edge Computing

1Tỷ lệ hiệu quả năng lượng vô song, giảm đáng kể chi phí và tăng hiệu quả

CácN1-A0-RHđạt được sự cân bằng tối ưu giữa sức mạnh tính toán và tiêu thụ điện. Khi chạy các mô hình lớn cao cấp, tổng tiêu thụ điện được giữ dưới 50W.So với GPU dựa trên đám mây và các máy gia tốc AI lớp máy tính để bàn, tiêu thụ năng lượng được giảm từ 10 đến 100 lần, trong khi vẫn duy trì hiệu quả suy luận cực cao.Năng lượng tiêu thụ cực thấp này không chỉ làm giảm khối lượng nguồn cung cấp điện và chi phí quản lý nhiệt cho các thiết bị cạnh mà còn cho phép không có quạt, thiết kế thiết bị nhỏ gọn. Điều này mở rộng đáng kể các kịch bản triển khai và giảm hiệu quả chi phí R & D và O & M cho các sản phẩm người dùng cuối.

2. Xử lý thông minh địa phương từ đầu đến cuối

CácN1-A0-RHchip hỗ trợ xử lý AI hoàn toàn ngoại tuyến mà không phụ thuộc vào các máy chủ đám mây; tất cả việc chụp hình ảnh, phân tích thuật toán, suy luận mô hình lớn và đầu ra quyết định được hoàn thành ở cạnh.Một mặt, điều này hoàn toàn loại bỏ độ trễ mạng và sự chậm trễ truyền dữ liệu, đạt được phản ứng thông minh ở mức độ millisecond; mặt khác,nó loại bỏ các rủi ro bảo mật liên quan đến việc tải lên dữ liệu quyền riêng tư của người dùng và dữ liệu kịch bản vào đám mây, làm cho nó hoàn toàn phù hợp với các kịch bản như các vấn đề của chính phủ, công nghiệp và an ninh có yêu cầu nghiêm ngặt về bảo mật và bảo mật dữ liệu.

3Sự hội nhập cao và khả năng tương thích mạnh mẽ

CácN1-A0-RHGiải pháp chip duy nhất tích hợp các mô-đun đầy đủ tính năng bao gồm CPU, tăng tốc AI, xử lý hình ảnh ISP, mã hóa và giải mã video và tính toán luồng quang học.Nó loại bỏ nhu cầu về chip máy tính bên ngoài, đơn giản hóa thiết kế kiến trúc phần cứng thiết bị đầu cuối và giảm kích thước thiết bị. Nó cũng tương thích với các giao thức codec video chính thống như H.264 và H.265, hỗ trợ tích hợp các cảm biến hình ảnh CMOS độ nét cao khác nhau và đáp ứng các yêu cầu mở rộng phần cứng của phần lớn các thiết bị thị giác cạnh,do đó làm giảm khó khăn của sản phẩm lặp lại cho các nhà sản xuất.

4. Độ tin cậy cao công nghiệp

CácN1-A0-RHchip đã trải qua thử nghiệm độ tin cậy công nghiệp nghiêm ngặt, chứng minh khả năng chịu nhiệt độ tuyệt vời, khả năng chống nhiễu và ổn định hoạt động.Nó có thể hoạt động ổn định trong thời gian dài trong môi trường công nghiệp phức tạp và điều kiện ngoài trời khắc nghiệt, làm cho nó phù hợp với các kịch bản hoạt động cường độ cao như robot công nghiệp, an ninh ngoài trời và thiết bị đầu cuối bên trong xe,trong khi đáp ứng các tiêu chuẩn sản xuất hàng loạt cho thiết bị công nghiệp cao cấp.

IV. Các kịch bản ứng dụng chính củaN1-A0-RH, Bao gồm lĩnh vực thông tin tình báo cao cấp

Tận dụng những điểm mạnh cốt lõi của nó về hiệu suất cao, tiêu thụ điện năng thấp, bảo mật cao và tích hợp mạnh mẽ, AmbarellaN1-A0-RHcó thể được áp dụng rộng rãi trên các kịch bản máy tính cạnh cao cấp khác nhau, giúp thiết bị truyền thống đạt được các nâng cấp thông minh dựa trên AI:

1. An ninh thông minh cao cấp

Được sử dụng trong máy ảnh thông minh AI, cổng an ninh cạnh và đầu cuối giám sát thông minh, nó hỗ trợ phân tích thời gian thực của nhiều luồng video độ nét cao, nhận dạng hình ảnh con người,Nhận dạng biển số, cảnh báo hành vi bất thường và phân tích ngữ nghĩa hiện trường. Nó có thể thực hiện phân tích ngoại tuyến các sự cố an ninh phức tạp, cho phép quản lý an ninh thông minh không người lái.

2Thiết bị thông minh công nghiệp

Tương thích với robot công nghiệp, thiết bị kiểm tra thị giác máy và cổng cạnh công nghiệp, nó cho phép phát hiện khiếm khuyết sản phẩm, xác định lỗi thiết bị,giám sát thông minh môi trường sản xuất, và tránh chướng ngại vật tự động và lập kế hoạch tuyến đường cho robot, do đó thúc đẩy tự động hóa công nghiệp và nâng cấp sản xuất thông minh.

3. Các thiết bị đầu cuối thông minh và thiết bị IoT

Được sử dụng trong phần cứng thông minh cao cấp, hộp máy tính cạnh và thiết bị đầu cuối AI IoT, nó hỗ trợ tương tác đa phương thức địa phương, nhận thức cảnh thông minh và phân tích dữ liệu,cho phép các thiết bị đưa ra quyết định tự trị và loại bỏ sự phụ thuộc vào sức mạnh điện toán đám mây.

4Thiết bị thông minh trong xe và ngoài trời

Tương thích với các thiết bị đầu cuối máy tính bên cạnh xe, thiết bị giám sát thông minh ngoài trời và thiết bị thị giác chuyên dụng.đáp ứng các yêu cầu về máy tính thông minh liên tục trong môi trường ngoài trời, nơi không có hệ thống làm mát và kết nối mạng kém.