W końcu posiadacze procesorów AMD Ryzen AI wyposażonych w układy NPU XDNA 2 mają powody do radości i mogą wykorzystywać je do uruchamiania lokalnych modeli językowych w aplikacji Unsloth Desktop. To ważna zmiana dla użytkowników zainteresowanych lokalną sztuczną inteligencją, ponieważ modele AI będą mogły działać na wyspecjalizowanym układzie zamiast zajmować zasoby procesora i karty graficznej. Oczywiście było to możliwe już wcześniej, ale dopiero teraz wykorzystanie NPU naprawdę nabiera rozmachu.

Integracja obejmuje ponad 100 aplikacji i rozwiązań wykorzystujących agentów AI. AMD przekonuje, że takie podejście pozwoli rozwijać lokalną AI, zachowując jednocześnie zasoby GPU na potrzeby gier, renderowania i innych wymagających zadań.

NPU AMD Ryzen AI uruchomi lokalne modele językowe

Współpraca AMD z Unsloth pozwoliła wykorzystać procesory wyposażone w układy NPU XDNA 2, a konkretnie modele Ryzen AI 300 i AI 400 oraz Ryzen AI Max. Do uruchamiania modeli wykorzystano integrację z Lemonade i FastFlowLM. Pierwsze rozwiązanie stanowi element środowiska obsługującego lokalne AI, natomiast FastFlowLM odpowiada za uruchamianie i przyspieszanie inferencji na układach XDNA 2.

Najważniejszą zaletą takiego rozwiązania jest możliwość przeniesienia obsługiwanych obliczeń AI na NPU. Dzięki temu karta graficzna pozostaje dostępna do innych zadań, a komputer może wykonywać lokalne operacje związane ze sztuczną inteligencją przy mniejszym zużyciu energii. NPU może więc działać równolegle z GPU. Przykładowo użytkownik może prowadzić rozmowę z lokalnym modelem językowym, podczas gdy karta graficzna Radeon zajmuje się renderowaniem materiału wideo.

Ponad 100 aplikacji AI skorzysta z NPU Ryzen AI

Wsparcie dla Unsloth Desktop ma znaczenie nie tylko dla samego uruchamiania modeli językowych. Aplikacja udostępnia interfejs API zgodny z OpenAI, dzięki czemu mogą się z nią komunikować również inne kompatybilne programy.

unsloth API ponad 100 aplikacji AI

AMD wymienia ponad 100 aplikacji i przepływów pracy wykorzystujących agentów AI. Wśród przykładów znalazły się:

  • Hermes Agent – agent AI do realizacji złożonych zadań.
  • OpenClaw – środowisko do uruchamiania i koordynowania agentów.
  • Open WebUI – interfejs do korzystania z lokalnych modeli AI.
  • Cline – asystent programistyczny wykorzystujący modele językowe.
  • VS Code – środowisko programistyczne, które może korzystać z lokalnego zaplecza AI.

Dzięki temu NPU nie będzie ograniczone do jednego chatbota. Lokalne modele mogą stać się zapleczem obliczeniowym dla różnych narzędzi, w tym asystentów programistycznych i bardziej rozbudowanych systemów agentowych.

Jak uruchomić AI na NPU AMD Ryzen AI?

Konfiguracja została uproszczona i nie wymaga ręcznego przygotowywania całego środowiska. Według instrukcji AMD wystarczy wykonać kilka czynności w aplikacji Unsloth Desktop:

  1. Pobrać i zainstalować Unsloth Desktop dla Windows na komputerze wyposażonym w NPU XDNA 2.
  2. Otworzyć Model Hub i wybrać filtr NPU.
  3. Kliknąć opcję Enable NPU, aby aktywować obsługę układu.
  4. Pobrać jeden z kompatybilnych modeli przeznaczonych do pracy na NPU.
  5. Przejść do New Chat, wybrać model z sekcji NPU i rozpocząć korzystanie z lokalnej sztucznej inteligencji.

Dokumentacja Unsloth opisuje również obsługę systemu Linux, choć konfiguracja wymaga wtedy odpowiedniego sterownika NPU, firmware i ustawień systemowych.

Qwen 3.6 35B działa na NPU, ale potrzebuje 64 GB RAM

Jednym z przykładów zaprezentowanych przez AMD jest uruchomienie modelu Qwen3.6 35B w architekturze Mixture of Experts (MoE). Demonstracja pokazuje lokalną inferencję za pośrednictwem Unsloth Desktop i FastFlowLM, bez konieczności wykorzystywania GPU do tego zadania.

Trzeba jednak zwrócić uwagę na wymagania pamięciowe. AMD podaje, że uruchomienie tego modelu z pełnym kontekstem wymaga około 28 GB pamięci dostępnej dla NPU. W systemie Windows, przy domyślnym przydziale 50% współdzielonej pamięci, oznacza to konieczność posiadania 64 GB RAM. To ważne ograniczenie, ponieważ NPU nie dysponuje własną pamięcią VRAM tak jak karta graficzna. Korzysta z pamięci systemowej, a jej dostępna ilość zależy od konfiguracji komputera i ustawień systemu.

AMD chce wykorzystać NPU do energooszczędnej lokalnej AI

Rozwój agentów AI sprawia, że komputer może wykonywać zadania związane ze sztuczną inteligencją przez dłuższy czas, również w tle. W przypadku laptopów oznacza to dodatkowe obciążenie akumulatora. AMD przekonuje, że wykorzystanie NPU XDNA 2 pozwala ograniczyć zużycie energii podczas obsługiwanych operacji związanych z AI. Jednocześnie procesor i układ graficzny pozostają dostępne dla innych aplikacji.

To szczególnie interesujące w przypadku agentów działających w sposób ciągły, asystentów programistycznych i lokalnych chatbotów. Zamiast angażować mocniejszy, ale bardziej energochłonny układ graficzny, komputer może przekazywać część zadań wyspecjalizowanemu akceleratorowi.

Nie oznacza to jednak, że NPU całkowicie zastąpi układy graficzne w lokalnej AI. To raczej kolejny sposób wykorzystania zasobów komputera, który może poprawić efektywność energetyczną i pozwolić jednocześnie wykonywać więcej zadań.

FAQ

Czy dzięki Unsloth każdy model będzie działać z akceleracją NPU?

Nie, nie można uruchomić na NPU dowolnego modelu pobranego z internetu. Integracja wykorzystuje format Q4NX przygotowany dla środowiska FastFlowLM. Obsługiwane modele GGUF można konwertować do tego formatu, ale nie każdy model będzie kompatybilny.

A co ze wsparciem macOS?

Unsloth Desktop nie jest narzędziem przeznaczonym wyłącznie dla komputerów opartych na sprzęcie AMD. Aplikację można pobrać również na macOS i Linux, a jej podstawową funkcją jest uruchamianie oraz trenowanie lokalnych modeli AI na różnych platformach sprzętowych. Nowa integracja z NPU AMD Ryzen AI XDNA 2 stanowi natomiast dodatkową funkcjonalność dla kompatybilnych komputerów z Windows 11 i Linux. Użytkownicy Maców mogą korzystać z Unsloth do lokalnego AI, ale nie z opisanej przez AMD akceleracji na układach XDNA 2.

Źródło: AMD

Czy Arduino UNO Q nadaje się do AI? Sprawdzam w działaniu lokalne LLM na hybrydowej płytce

Sprawdziłem jak Arduino UNO Q radzi sobie w zastosowaniach związanych ze sztuczną inteligencją. Jak na komputerek wyposażony maksymalnie w 4 GB RAM brzmi to wręcz nieprawdopodobnie, ale można go wykorzystać choćby do rozwiązań wizyjnych i audio napędzanych przez AI które inteligentnie reagują na otoczenie, przez zaawansowane systemy smart home, po duże modele językowe. Wykorzystanie modeli…

Bielik czy PLLuM? Który polski model AI jest lepszy i do czego się nadaje

Polski rynek AI doczekał się dwóch rozpoznawalnych modeli: Bielik i PLLuM. Oba modele mają usprawniać pracę z językiem polskim, ale ich geneza, przeznaczenie i zastosowania nie są identyczne. W tym porównaniu sprawdzamy, który LLM wypada lepiej w realnym użyciu, a nie tylko w komunikatach marketingowych. Czym są Bielik i PLLuM? Bielik to model rozwijany społecznościowo…

Uruchomiłem LLM na Raspberry Pi z akceleratorem AI, ale Bielik odmówił współpracy

Lokalne uruchomienie dużych modeli językowych (LLM) na samej Raspberry Pi jest i może interesujące dla nerdów, ale szału z tym nie ma. A co jeśli w Malinie zainstalujemy dedykowany akcelerator AI Hailo 10H? Wtedy zaczyna się robić ciekawie. Akcelerator Raspberry Pi AI HAT+ 2 ma na pokładzie układ Hailo 10H o wydajności 40 TOPS (INT4)…

Dodaj komentarz

PREMIERY GIER 2026

🦅