W końcu posiadacze procesorów AMD Ryzen AI wyposażonych w układy NPU XDNA 2 mają powody do radości i mogą wykorzystywać je do uruchamiania lokalnych modeli językowych w aplikacji Unsloth Desktop. To ważna zmiana dla użytkowników zainteresowanych lokalną sztuczną inteligencją, ponieważ modele AI będą mogły działać na wyspecjalizowanym układzie zamiast zajmować zasoby procesora i karty graficznej. Oczywiście było to możliwe już wcześniej, ale dopiero teraz wykorzystanie NPU naprawdę nabiera rozmachu.
Integracja obejmuje ponad 100 aplikacji i rozwiązań wykorzystujących agentów AI. AMD przekonuje, że takie podejście pozwoli rozwijać lokalną AI, zachowując jednocześnie zasoby GPU na potrzeby gier, renderowania i innych wymagających zadań.
NPU AMD Ryzen AI uruchomi lokalne modele językowe
Współpraca AMD z Unsloth pozwoliła wykorzystać procesory wyposażone w układy NPU XDNA 2, a konkretnie modele Ryzen AI 300 i AI 400 oraz Ryzen AI Max. Do uruchamiania modeli wykorzystano integrację z Lemonade i FastFlowLM. Pierwsze rozwiązanie stanowi element środowiska obsługującego lokalne AI, natomiast FastFlowLM odpowiada za uruchamianie i przyspieszanie inferencji na układach XDNA 2.
Najważniejszą zaletą takiego rozwiązania jest możliwość przeniesienia obsługiwanych obliczeń AI na NPU. Dzięki temu karta graficzna pozostaje dostępna do innych zadań, a komputer może wykonywać lokalne operacje związane ze sztuczną inteligencją przy mniejszym zużyciu energii. NPU może więc działać równolegle z GPU. Przykładowo użytkownik może prowadzić rozmowę z lokalnym modelem językowym, podczas gdy karta graficzna Radeon zajmuje się renderowaniem materiału wideo.
Ponad 100 aplikacji AI skorzysta z NPU Ryzen AI
Wsparcie dla Unsloth Desktop ma znaczenie nie tylko dla samego uruchamiania modeli językowych. Aplikacja udostępnia interfejs API zgodny z OpenAI, dzięki czemu mogą się z nią komunikować również inne kompatybilne programy.

AMD wymienia ponad 100 aplikacji i przepływów pracy wykorzystujących agentów AI. Wśród przykładów znalazły się:
- Hermes Agent – agent AI do realizacji złożonych zadań.
- OpenClaw – środowisko do uruchamiania i koordynowania agentów.
- Open WebUI – interfejs do korzystania z lokalnych modeli AI.
- Cline – asystent programistyczny wykorzystujący modele językowe.
- VS Code – środowisko programistyczne, które może korzystać z lokalnego zaplecza AI.
Dzięki temu NPU nie będzie ograniczone do jednego chatbota. Lokalne modele mogą stać się zapleczem obliczeniowym dla różnych narzędzi, w tym asystentów programistycznych i bardziej rozbudowanych systemów agentowych.
Jak uruchomić AI na NPU AMD Ryzen AI?
Konfiguracja została uproszczona i nie wymaga ręcznego przygotowywania całego środowiska. Według instrukcji AMD wystarczy wykonać kilka czynności w aplikacji Unsloth Desktop:
- Pobrać i zainstalować Unsloth Desktop dla Windows na komputerze wyposażonym w NPU XDNA 2.
- Otworzyć Model Hub i wybrać filtr NPU.
- Kliknąć opcję Enable NPU, aby aktywować obsługę układu.
- Pobrać jeden z kompatybilnych modeli przeznaczonych do pracy na NPU.
- Przejść do New Chat, wybrać model z sekcji NPU i rozpocząć korzystanie z lokalnej sztucznej inteligencji.
Dokumentacja Unsloth opisuje również obsługę systemu Linux, choć konfiguracja wymaga wtedy odpowiedniego sterownika NPU, firmware i ustawień systemowych.
Qwen 3.6 35B działa na NPU, ale potrzebuje 64 GB RAM
Jednym z przykładów zaprezentowanych przez AMD jest uruchomienie modelu Qwen3.6 35B w architekturze Mixture of Experts (MoE). Demonstracja pokazuje lokalną inferencję za pośrednictwem Unsloth Desktop i FastFlowLM, bez konieczności wykorzystywania GPU do tego zadania.
Trzeba jednak zwrócić uwagę na wymagania pamięciowe. AMD podaje, że uruchomienie tego modelu z pełnym kontekstem wymaga około 28 GB pamięci dostępnej dla NPU. W systemie Windows, przy domyślnym przydziale 50% współdzielonej pamięci, oznacza to konieczność posiadania 64 GB RAM. To ważne ograniczenie, ponieważ NPU nie dysponuje własną pamięcią VRAM tak jak karta graficzna. Korzysta z pamięci systemowej, a jej dostępna ilość zależy od konfiguracji komputera i ustawień systemu.
AMD chce wykorzystać NPU do energooszczędnej lokalnej AI
Rozwój agentów AI sprawia, że komputer może wykonywać zadania związane ze sztuczną inteligencją przez dłuższy czas, również w tle. W przypadku laptopów oznacza to dodatkowe obciążenie akumulatora. AMD przekonuje, że wykorzystanie NPU XDNA 2 pozwala ograniczyć zużycie energii podczas obsługiwanych operacji związanych z AI. Jednocześnie procesor i układ graficzny pozostają dostępne dla innych aplikacji.

To szczególnie interesujące w przypadku agentów działających w sposób ciągły, asystentów programistycznych i lokalnych chatbotów. Zamiast angażować mocniejszy, ale bardziej energochłonny układ graficzny, komputer może przekazywać część zadań wyspecjalizowanemu akceleratorowi.
Nie oznacza to jednak, że NPU całkowicie zastąpi układy graficzne w lokalnej AI. To raczej kolejny sposób wykorzystania zasobów komputera, który może poprawić efektywność energetyczną i pozwolić jednocześnie wykonywać więcej zadań.
FAQ
Czy dzięki Unsloth każdy model będzie działać z akceleracją NPU?
Nie, nie można uruchomić na NPU dowolnego modelu pobranego z internetu. Integracja wykorzystuje format Q4NX przygotowany dla środowiska FastFlowLM. Obsługiwane modele GGUF można konwertować do tego formatu, ale nie każdy model będzie kompatybilny.
A co ze wsparciem macOS?
Unsloth Desktop nie jest narzędziem przeznaczonym wyłącznie dla komputerów opartych na sprzęcie AMD. Aplikację można pobrać również na macOS i Linux, a jej podstawową funkcją jest uruchamianie oraz trenowanie lokalnych modeli AI na różnych platformach sprzętowych. Nowa integracja z NPU AMD Ryzen AI XDNA 2 stanowi natomiast dodatkową funkcjonalność dla kompatybilnych komputerów z Windows 11 i Linux. Użytkownicy Maców mogą korzystać z Unsloth do lokalnego AI, ale nie z opisanej przez AMD akceleracji na układach XDNA 2.
Źródło: AMD
Czy Arduino UNO Q nadaje się do AI? Sprawdzam w działaniu lokalne LLM na hybrydowej płytce
Sprawdziłem jak Arduino UNO Q radzi sobie w zastosowaniach związanych ze sztuczną inteligencją. Jak na komputerek wyposażony maksymalnie w 4 GB RAM brzmi to wręcz nieprawdopodobnie, ale można go wykorzystać choćby do rozwiązań wizyjnych i audio napędzanych przez AI które inteligentnie reagują na otoczenie, przez zaawansowane systemy smart home, po duże modele językowe. Wykorzystanie modeli…
Bielik czy PLLuM? Który polski model AI jest lepszy i do czego się nadaje
Polski rynek AI doczekał się dwóch rozpoznawalnych modeli: Bielik i PLLuM. Oba modele mają usprawniać pracę z językiem polskim, ale ich geneza, przeznaczenie i zastosowania nie są identyczne. W tym porównaniu sprawdzamy, który LLM wypada lepiej w realnym użyciu, a nie tylko w komunikatach marketingowych. Czym są Bielik i PLLuM? Bielik to model rozwijany społecznościowo…
Uruchomiłem LLM na Raspberry Pi z akceleratorem AI, ale Bielik odmówił współpracy
Lokalne uruchomienie dużych modeli językowych (LLM) na samej Raspberry Pi jest i może interesujące dla nerdów, ale szału z tym nie ma. A co jeśli w Malinie zainstalujemy dedykowany akcelerator AI Hailo 10H? Wtedy zaczyna się robić ciekawie. Akcelerator Raspberry Pi AI HAT+ 2 ma na pokładzie układ Hailo 10H o wydajności 40 TOPS (INT4)…







Dodaj komentarz