Denne historie er en del af vores dækning af Computex, verdens største computerkonference.
Da Microsoft annoncerede Copilot+ pc’er for et par uger siden, var der et spørgsmål, der herskede øverst: Hvorfor kan jeg ikke bare køre disse AI-applikationer på min GPU? På Computex 2024 gav Nvidia endelig et svar.
Nvidia og Microsoft arbejder sammen om en Application Programming Interface (API), der vil give udviklere mulighed for at køre deres AI-accelererede apps på RTX-grafikkort. Dette inkluderer de forskellige Small Language Models (SLM’er), der er en del af Copilot runtime, som bruges som grundlag for funktioner som Recall og Live Captions.
Med værktøjssættet kan udviklere tillade apps at køre lokalt på din GPU i stedet for NPU. Dette åbner døren op for ikke kun mere kraftfulde AI-applikationer, da AI-kapaciteten af GPU’er generelt er højere end NPU’er, men også muligheden for at køre på pc’er, der i øjeblikket ikke falder ind under Copilot+-paraplyen.
Få din ugentlige nedtagning af teknologien bag pc-spil
Det er et godt træk. Copilot+ pc’er kræver i øjeblikket en Neural Processing Unit (NPU), der er i stand til mindst 40 Tera Operations Per Second (TOPS). I øjeblikket er det kun Snapdragon X Elite, der opfylder disse kriterier. På trods af det har GPU’er meget højere AI-behandlingskapaciteter, med selv low-end-modeller, der når op på 100 TOPS, og high-end-indstillinger skaleres endnu højere.
Ud over at køre på GPU’en tilføjer den nye API retrieval-augmented generation (RAG)-funktioner til Copilot-runtiden. RAG giver AI-modellen adgang til specifik information lokalt, så den kan levere mere nyttige løsninger. Vi så RAG på fuld skærm med Nvidias Chat med RTX tidligere på året.
Uden for API’et annoncerede Nvidia RTX AI Toolkit hos Computex. Denne udviklersuite, der ankommer i juni, kombinerer forskellige værktøjer og SDK’er, der giver udviklere mulighed for at tune AI-modeller til specifikke applikationer. Nvidia siger, at ved at bruge RTX AI Toolkit kan udviklere lave modeller fire gange hurtigere og tre gange mindre sammenlignet med at bruge open source-løsninger.
Vi ser en bølge af værktøjer, der gør det muligt for udviklere at bygge specifikke AI-applikationer til slutbrugere. Noget af det dukker allerede op i Copilot+ pc’er, men jeg formoder, at vi vil se langt flere AI-applikationer på dette tidspunkt næste år. Vi har jo hardwaren til at køre disse apps; nu mangler vi bare softwaren.
Støt vores arbejde ❤️
Hvis du kunne lide denne artikel, kan du overveje at give drikkepenge for at hjælpe os med fortsat at udgive kvalitetsindhold.
