Qua đó, Qualcomm AI Hub đã cung cấp hơn 75 mô hình AI được tối ưu hóa cho Snapdragon và các nền tảng khác của Qualcomm, giúp nhà phát triển rút ngắn thời gian đưa sản phẩm ra thị trường và mở khóa nhiều tính năng AI trên ứng dụng. Những mô hình này đã có sẵn trên Hugging Face và GitHub. Các nhà phát triển có thể áp dụng chúng chỉ bằng vài dòng mã trên thiết bị lưu trữ đám mây chạy nền tảng Qualcomm.

Qualcomm AI Research sẽ giới thiệu các mô hình đa phương thức cùng các tùy chỉnh mô hình tầm nhìn lớn trên điện thoại Android và PC Windows. Qua đó, Qualcomm Technologies, Inc. đã mở ra cơ hội cho các nhà phát triển đồng thời nâng cao trải nghiệm người dùng trên hàng loạt thiết bị Snapdragon® và các nền tảng Qualcomm®.

Ông Durga Malladi, Phó Chủ tịch và Giám đốc Điều hành, Kế hoạch Công nghệ và Giải pháp Cạnh tranh của Qualcomm Technologies, Inc. cho biết: "Với Snapdragon 8 Gen 3 dùng cho điện thoại và Snapdragon X Elite dùng cho PC, chúng tôi đã bắt đầu thương mại hóa AI trên thiết bị trên quy mô lớn. Hiện nay, với Qualcomm AI Hub, chúng tôi sẽ hỗ trợ các nhà phát triển khai thác toàn bộ tiềm năng của công nghệ tiên tiến này và tạo ra nhiều ứng dụng AI hấp dẫn. Qualcomm AI Hub mang đến cho các nhà phát triển một kho tàng mô hình AI toàn diện để tích hợp các mô hình AI đã được tối ưu hóa vào ứng dụng của mình một cách nhanh chóng và dễ dàng hơn, cho người dùng trải nghiệm tốc độ nhanh hơn, đáng tin cậy và riêng tư hơn."

Cụ thể:

Qualcomm AI Hub: mang một kho tàng mô hình AI đã được tối ưu hóa sẵn, giúp việc triển khai trên các thiết bị được cung cấp bởi Snapdragon và các nền tảng Qualcomm mượt mà hơn. Thư viện này mang đến cho các nhà phát triển hơn 75 mô hình AI và Gen AI phổ biến như Whisper, ControlNet, Stable Diffusion và Baichuan 7B, đã được tối ưu hóa với hiệu suất AI vượt trội, giảm dung lượng bộ nhớ sử dụng và và tăng hiệu suất năng lượng, trên các dạng thức khác nhau và được đóng gói dành cho đa dạng các thời gian chạy.

Mỗi mô hình được tối ưu hóa để tận dụng khả năng tăng tốc phần cứng trên tất cả các lõi trong Qualcomm® AI Engine (NPU, CPU và GPU), dẫn đến thời gian tính toán nhanh hơn 4 lần. Thư viện mô hình AI này tự động xử lý quá trình dịch từ bộ khung nguồn sang các thời gian chạy phổ biến, đồng thời tương tác trực tiếp với bộ phát triển phần mềm Qualcomm® AI Engine Direct, sau đó áp dụng các phương thức tối ưu hóa hướng đến phần cứng cụ thể.

Các nhà phát triển có thể tích hợp mô hình này một cách dễ dàng trên ứng dụng của mình, rút ngắn thời gian đưa sản phẩm ra thị trường, đồng thời tận dụng lợi ích mà AI trên thiết bị mang lại như tốc độ xử lý tức thì, độ chính xác cao, tính bảo mật, cá nhân hóa và tiết kiệm chi phí.

Các mô hình tối ưu hóa hiện đã có sẵn trên Qualcomm AI Hub, GitHub và Hugging Face. Bên cạnh hỗ trợ cho các nền tảng và hệ điều hành bổ sung, các mô hình mới cũng sẽ liên tục được cập nhật trên Qualcomm AI Hub. Các nhà phát triển có thể đăng ký ngay hôm nay để chạy thử mô hình của mình trên các thiết bị lưu trữ đám mây dựa trên nền tảng của Qualcomm Technologies và truy cập vào các tính năng mới và thử nghiệm các mô hình AI sớm hơn thông qua Qualcomm AI Hub.

Những bước tiến mới trong lĩnh vực nghiên cứu AI

"Chúng tôi rất tự hào khi được đồng hành cùng Qualcomm Technologies mang mô hình AI đến Hugging Face. Các mô hình AI phổ biến này đã được tối ưu hóa cho việc học máy trên thiết bị công nghệ và có sẵn trên Snapdragon và các nền tảng khác của Qualcomm, hứa hẹn cho các nhà phát triển và các ứng dụng AI có thêm không gian cạnh tranh, đồng thời giúp AI trở nên dễ tiếp cận với giá thành hợp lý cho mọi người." Ông Clement Delangue, Đồng Sáng Lập và Giám đốc Điều hành Hugging Face cho biết.

Qualcomm AI Research giới thiệu trải nghiệm lần đầu xuất hiện trên thiết bị di động Android mang tên LLaVA (Ngôn ngữ lớn và Trợ lý ảo). Đây là một mô hình ngôn ngữ lớn (LMM) với hơn 7 tỷ tham số có thể tiếp nhận nhiều loại dữ liệu đầu vào, bao gồm văn bản, hình ảnh, tạo ra nhiều cuộc trò chuyện hai chiều với trợ lý trí tuệ nhân tạo về một hình ảnh. Mô hình này chạy ở tốc độ phản hồi của mã thông báo trên thiết bị, góp phần nâng cao tính riêng tư, độ tin cậy, cá nhân hóa và giảm thiểu chi phí. Các mô hình LMM với khả năng xử lý ngôn ngữ và nhận biết hình ảnh mở ra khả năng ứng dụng trong nhiều trường hợp như xác định và thảo luận về dạng hình ảnh, đối tượng và các tình huống phức tạp.

Qualcomm AI Research cũng mang đến bản minh họa đầu tiên của mô hình thích ứng cấp thấp (LoRA) trên điện thoại Android. Khi chạy Stable Diffusion với LoRA, người dùng có thể tạo ra các hình ảnh tùy chỉnh chất lượng cao theo nhu cầu cá nhân hoặc nghệ thuật. LoRA giảm số lượng tham số phải huấn luyện của các mô hình AI, làm tăng tính hiệu quả, mở rộng và nâng cao khả năng tùy chỉnh các trường hợp sử dụng Gen AI trên thiết bị.

Bên cạnh mô hình ngôn ngữ hình ảnh tinh chỉnh (LVMs) hỗ trợ mang đến nhiều phong cách nghệ thuật khác nhau, có thể áp dụng LoRA rộng hơn cho các mô hình AI tùy chỉnh, chẳng hạn như mô hình ngôn ngữ lớn, giúp tạo ra trợ lý cá nhân phù hợp, cải thiện việc dịch ngôn ngữ,...

Trên PC Windows, Qualcomm AI Research lần đầu tiên minh họa trên thiết bị một LMM với hơn 7 tỷ tham số có thể tiếp nhận văn bản và âm thanh đầu vào (ví dụ: âm nhạc, tiếng xe cộ,…) để tạo ra các cuộc trò chuyện đa lượt về âm thanh.

Rất nhiều thiết bị đã được kích hoạt Gen AI tại MWC 2024

Ở dòng điện thoại thông minh chúng ta có thể kể đến loạt sản phẩm đã có mặt trên thị trường chạy trên nền tảng Di động Snapdragon® 8 Gen 3 như HONOR Magic6Pro, OPPO X7 Ultra và Xiaomi 14 Pro. Mỗi thiết bị đều có nhiều tính năng Gen AI mới thú vị, như mở rộng hình ảnh bằng AI (Xiaomi), tạo video bằng AI, tạo lịch bằng AI (HONOR) và xóa đối tượng trong ảnh bằng AI (OPPO).

Ở dòng sản phẩm máy PC: dòng Snapdragon X Elite mới và 45 TOPS NPU đã được thiết lập cho AI trên thiết bị, hứa hẹn thay đổi cách chúng ta sử dụng PC. Qua đó, trình chỉnh sửa hình ảnh phổ biến và miễn phí GIMP với plug-in Stable Diffusion, Qualcomm Technologies cho thấy chỉ cần nhập thông tin hình ảnh mong muốn, Gen AI sẽ tạo ra hình ảnh trong 7 giây - nhanh hơn gấp 3 lần so với các đối thủ x86 khác.

Ở phương tiện di chuyển: công ty cũng thể hiện những khả năng của AI truyền thống và Gen AI với Snapdragon® Digital Chassis™ Platform, nhằm mang đến trải nghiệm mạnh mẽ, hiệu quả, riêng tư, an toàn và cá nhân hóa cho tài xế và hành khách.

Trong lĩnh vực IoT dành cho người dùng: Qualcomm cũng đã mang đến MWC 2024 Humane’s AI Pin chạy trên nền tảng Snapdragon, cung cấp cho người dùng khả năng sử dụng AI ở mọi nơi trong dạng thức hoàn toàn mới, thông qua giao tiếp và không dùng màn hình.

Về kết nối: Hệ thống Snapdragon X80 Modem-RF tích hợp bộ xử lý AI 5G thế hệ thứ hai, giúp tăng cường hiệu suất, phạm vi, cải thiện độ trễ và hiệu năng của mạng di động. Đồng thời, hệ thống Qualcomm® FastConnect™ 7900 Mobile Connectivity là hệ thống Wi-Fi 7 đầu tiên được tối ưu hóa bằng AI, thiết lập một ngưỡng mới cho kết nối không dây cục bộ linh hoạt, hiệu suất cao, độ trễ thấp và tiêu thụ điện năng thấp.

Về cơ sở hạ tầng 5G: Qualcomm Technologies sẽ trưng bày ba cải tiến AI đột phá trong quản lý mạng, bao gồm trợ lý Gen AI được tạo ra để truy cập không dây (RAN), đơn giản hóa nhiệm vụ của các kỹ sư mạng khi quản lý và phân chia mạng, ứng dụng RAN mở dựa trên AI (rApp), giảm tiêu thụ năng lượng mạng, và một bộ công cụ AI quản lý vòng đời mạng 5G.

Thông tin chi tiết về AI của Qualcomm Technologies, truy cập website hoặc tham quan gian hàng tại MWC Barcelona để có trải nghiệm thực tế (Gian hàng #3E10, Hall 3, Fira Gran Via).