La Mākslīgais intelekts, kas darbojas lokāli operētājsistēmā Windows 11 Tas vairs nav paredzēts tikai laboratorijām vai lieliem uzņēmumiem. Mūsdienās jūs varat palaist uzlabotus modeļus tieši savā datorā, nepaļaujoties uz mākoņpakalpojumiem, izmantojot centrālo procesoru, grafisko procesoru un pat neironu procesoru, ja jūsu dators ir modernākais. Un atslēga, lai to viegli panāktu, ir... ONNX izpildlaiks, kas integrēts ar Windows ML un .NET.
Turpmākajās rindās mēs mierīgi, bet nerunājot par kaut ko līdzīgu redzēsim, Kā izmantot lokālo mākslīgo intelektu ar ONNX izpildlaiku operētājsistēmā Windows 11Kas ir ONNX un tā izpildlaiks, kā tas iederas Windows ML, kas jāinstalē, kā iestatīt reālās pasaules piemērus .NET/WinUI 3, kā izmantot DirectML un aparatūras paātrinājumu un kādus praktiskus scenārijus var aptvert (attēlu klasifikācija, runas pārveidošana tekstā, lokālie valodas modeļi, RAG utt.). Jūs redzēsiet daļu koda, taču galvenais uzsvars ir uz to, lai jūs izprastu visu procesa plūsmu. ONNX modeļu ielāde, sagatavošana un palaišana jūsu ierīcē.
Kas ir ONNX un kāda ir ONNX Runtime loma operētājsistēmā Windows 11?
Standarts ONNX (atvērtā neironu tīkla apmaiņa) Tas ir atvērts formāts, kas paredzēts neironu tīklu modeļu aprakstīšanai savstarpēji savietojamā veidā. Vienkārši sakot: jūs varat apmācīt modeli PyTorch vai TensorFloweksportējiet to uz ONNX un pēc tam izmantojiet to operētājsistēmā Windows, mākonī, tīmeklī vai jebkur citur, nepārrakstot visu no nulles.
Un ONNX modelis Tas ietver tīkla struktūru (slāņus, savienojumus, darbību veidus), apmācības rezultātā iegūtos svarus un ieejas un izejas definīciju. Pateicoties tam, dažādi rīki un izpildlaiki to var precīzi saprast. kādus datus viņi sagaida, kā tos apstrādā un ko viņi atgriežPiemēram, attēlu klasifikācijas modelis saņem iepriekš apstrādātu attēlu un atgriež varbūtības vektoru katrai klasei.
Tas ir balstīts uz šo standarta formātu ONNX izpildlaikskas ir optimizēts izpildlaika dzinējs šo modeļu darbināšanai vairākās platformās. Šis izpildlaiks nodrošina vienotu API:
- Ielādēt ONNX modeļus no diska vai atmiņas.
- Izveidot secinājumu sesijas ar dažādām izpildes iespējām.
- Izpildes nodrošinātāju savienošana (Izpildes nodrošinātāji) centrālajam procesoram, grafiskajam procesoram un neironu procesoram.
- Barojiet modeli ar ievades tenzoriem un izņemiet izejas spriegotājus.
Operētājsistēmā Windows 11 ONNX Runtime ir integrēts dabiski, izmantojot Windows ML un ekosistēmas Windows lietotņu SDK un DirectMLTas ļauj jūsu darbvirsmas lietojumprogrammām, neatkarīgi no tā, vai tās ir C#, WinUI 3, WPF vai pat tīmekļa lietojumprogrammas ar WebNN, izmantot priekšrocības, ko sniedz Aparatūras paātrinājums bez ražotāja specifisku draiveru un SDK radītām neērtībām.
Mākslīgā intelekta izmantošanas priekšrocības lokāli, salīdzinot ar mākoni
Strādā ar lokālie mākslīgā intelekta modeļi operētājsistēmā Windows 11 Tam ir vairākas ļoti skaidras priekšrocības, salīdzinot ar paļaušanos tikai uz attāliem pakalpojumiem, piemēram, ChatGPT, Gemini vai citiem:
Pirmkārt, datu privātums un konfidencialitāte Tas ievērojami uzlabojas, jo apstrāde tiek veikta jūsu pašu ierīcē. Palaižot ONNX modeli savā datorā, jūsu dokumenti, audio, attēli vai medicīniskie ieraksti nekad nepamet jūsu tīklu, kas ievērojami samazina informācijas noplūdes vai ļaunprātīgas izmantošanas risku.
Pastāv arī faktors izmaksas un kontroleNepaļaujoties uz nepārtrauktiem pieprasījumiem maksas mākoņa API, jūs izvairāties no negaidītiem rēķiniem un varat izvietot risinājumus, kas darbojas plašā mērogā visā organizācijā, nepalielinot abonēšanas izmaksas. Jūs ieguldāt aparatūrā vienreiz un maksimāli izmantojat to ar ONNX Runtime un Windows mašīnmācīšanos.
La zems latentums Šī ir vēl viena priekšrocība. Ja veicat datorredzes secinājumus, kontekstuālos palīgus vai runas atpazīšanu, katrs turp un atpakaļ brauciens uz mākoni pievieno milisekundes. Modeļa lokāla palaišana samazina reakcijas laiku un uzlabo plūstamības sajūtu, kas ir ļoti svarīgi interaktīvās lietojumprogrammās vai perifērijas ierīcēs.
Pēdējais, bet ne mazāk svarīgais ir neatkarība no interneta savienojumaJa jūsu lietotnei ir jādarbojas lidmašīnā, attālā rūpnīcā vai jebkurā citā vidē ar ierobežotu tīkla savienojumu, ONNX modeļu iegulšana pašā lietojumprogrammā (piemēram, MSIX iekšpusē) nodrošina, ka mākslīgais intelekts turpinās darboties nevainojami, tāpat kā PhotoPrism ar lokālo mākslīgo intelektu.
Windows ML, ONNX Runtime un DirectML: kā tas viss sader kopā
Mūsdienu Windows 11 ekosistēmā Windows ML darbojas kā starpprogrammatūras slānis Tas apvieno centrālā procesora, grafikas procesora un neironu procesora pārvaldību mākslīgā intelekta modeļa secinājumiem. Tā uzdevums ir koordinēt pieejamos aparatūras resursus, lai ONNX modeļa izpilde būtu pēc iespējas efektīvāka, bez nepieciešamības risināt katras mikroshēmas detaļas.
Windows mašīnmācīšanās ir cieši integrēta ar ONNX RuntimeTas atkārtoti izmanto savus API, paļaujas uz saviem izpildes nodrošinātājiem (EP) un deleģē tiem modeļa kompilāciju un optimizāciju. Arī Microsoft nodarbojas ar izplatīt un uzturēt gan ONNX Runtime, gan dažādu ražotāju EPTas ievērojami vienkāršo jūsu lietojumprogrammu iepakošanu un samazina ārējās atkarības.
Šīs mīklas galvenā sastāvdaļa ir DirectMLAbstrakcijas slānis, kas ļauj palaist mašīnmācīšanās modeļus, vienotā veidā izmantojot GPU (un NPU saderīgās sistēmās). ONNX Runtime piedāvā īpašu EP DirectML, lai jūs varētu Izveidojiet secinājumu sesijas, kas automātiski izmanto centrālo procesoru, grafisko procesoru vai neironu procesoru atkarībā no datorā pieejamās iespējas..
Lielajiem ražotājiem patīk AMD, Intel, NVIDIA un Qualcomm Viņi sadarbojas ar Microsoft, lai nodrošinātu optimizētus EP: AMD integrē Ryzen mākslīgo intelektu, Intel apvieno OpenVINO ar Windows ML, NVIDIA nodrošina TensorRT RTX GPU, un Qualcomm pielāgo Snapdragon X NPU. Pateicoties tam, tie paši ONNX modeļi var izmantot ļoti dažādas aparatūras priekšrocības, nemainot augsta līmeņa kodu; ja jums ir nepieciešams precīzi noregulēt sistēmu, uzziniet, kā to izdarīt. konfigurēt veiktspējas profilus.
Tas viss tiek piegādāts iepakots Windows lietotņu SDK (sākot ar 1.8.1. versiju) un tiek oficiāli atbalstīts ierīcēs ar Windows 11 24H2 vai jaunāka versijaTas padara operētājsistēmu par ļoti stabilu platformu lokālai mākslīgā intelekta pieredzei ražošanas vidē.
Priekšnosacījumi lokālā mākslīgā intelekta lietošanai ar ONNX izpildlaiku operētājsistēmā Windows 11
Lai sāktu ONNX modeļu lokāla palaišana operētājsistēmā Windows 11 No jūsu .NET lietojumprogrammām ieteicams pārskatīt dažas pamata vides un rīku prasības:
Sistēmas līmenī jums būs nepieciešams Windows 11 ir atjaunināts (ideālā gadījumā būvējums 22621 vai jaunāks) un, ja plānojat izvietot modernas lietotnes, strādājiet ar Windows lietotņu SDK un WinUI 3 projekti, kas iepakoti MSIX formātāTas nodrošina piekļuvi Windows ML un DirectML API, kā arī jaunākajām AI integrācijas funkcijām.
Runājot par izstrādes vidi, visizplatītākā iespēja ir izmantot Visual Studio 2022 vai jaunāka versija ar iespējotu .NET darbvirsmas izstrādes darba slodzi. No turienes varat izveidot projektus WinUI 3, WPF, .NET MAUI vai pat konsoles lietotnes C# vai VB.NET valodā kas atsaucas uz ONNX Runtime un Windows ML.
Runājot par atkarībām, ir vairākas galvenās NuGet pakotnes, kas atkārtojas vairumā scenāriju: Microsoft.ML.OnnxRuntime procesoram, Microsoft.ML.OnnxRuntime.DirectML Ja vēlaties izmantot GPU ar DirectML, Microsoft.AI.Mašīnmācīšanās lai strādātu ar Windows ML WinUI 3 vidē un tādām bibliotēkām kā SixLabors.ImageSharp vai līdzīgi ievades attēlu pirmapstrādei.
Protams, jums būs nepieciešams arī vismaz viens saderīgs ONNX modelisJūs varat lejupielādēt iepriekš apmācītus modeļus no ONNX modeļu zoodārzs (piemēram, ResNet, SqueezeNet, klasifikācijas modeļi, objektu noteikšana vai NLP) vai konvertējiet savus modeļus no PyTorch vai TensorFlow, izmantojot tādus rīkus kā Mākslīgā intelekta rīkkopa VS Code, tf2onnx vai onnxruntime-tools.
Aparatūras ziņā, lai gan ONNX Runtime ir optimizēts centrālajam procesoram un darbojas lieliski arī bez grafikas procesora, to izmantojot, jūs pamanīsiet ievērojamu uzlabojumu. lokālie paātrinātāji, piemēram, GPU vai NPUīpaši ar lieliem modeļiem (valodas modeļi, stabilā difūzija, čuksts utt.). Skatiet mūsu svarīgākās aparatūras kontrolsaraksts.
Kā instalēt un lietot ONNX Runtime .NET un WinUI 3 projektos
Viens no tiešākajiem veidiem, kā sākt ONNX izpildlaika izmantošana operētājsistēmā Windows 11 Tas ir par darbvirsmas lietojumprogrammas izveidi .NET vidē. Pamata modelis tiek atkārtots gan C#, gan VB.NET valodās: atsauce uz pakotni, modeļa ielāde, ievades datu sagatavošana un secinājumu sesijas palaišana.
Tradicionālā .NET projektā (piemēram, konsoles lietotnē vai klasiskā darbvirsmas lietojumprogrammā) tipiskā plūsma ir pievienot pakotni Microsoft.ML.OnnxRuntime no Visual Studio NuGet pakotņu pārvaldnieka un pēc tam izveidojiet Secinājumu sesija sākot ar ceļu uz jūsu .onnx failu. Šī sesija tiks atkārtoti izmantota katru reizi, kad vēlēsities veikt prognozi.
Pieteikuma gadījumā WinUI 3 darbvirsma Ar Windows lietotņu SDK process ir līdzīgs, taču parasti ONNX Runtime tiks apvienots ar citām atbalsta bibliotēkām. Piemēram, tipiska attēlu klasifikācijas demonstrācija varētu ietvert:
- Microsoft.ML.OnnxRuntime un Microsoft.ML.OnnxRuntime.Managed modeļa izpildei.
- SixLabors.ImageSharp lai ielādētu, mainītu izmērus un normalizētu attēlus.
- SharpDX.DXGI ja vēlaties skaidri atlasīt grafikas adapteri DirectML.
Galvenajā logā (piemēram, Galvenais logs.xaml.cs) parasti izveidojat modeļa inicializācijas metodi, kas konfigurē Sesijas opcijasIzpildes nodrošinātājs (CPU vai DirectML) un ceļš uz ONNX modeli. Tādā veidā jūsu lietojumprogramma startējas, inicializē sesiju tikai vienu reizi un pēc tam atkārtoti izmanto šo sesiju katram secinājuma izsaukumam, maksimāli palielinot veiktspēju.
Ja vēlaties strādāt ar Windows ML tieši WinUI 3 projektā jūs pievienosiet pakotni Microsoft.AI.Mašīnmācīšanās un jūs kopēsiet savu ONNX modeli (piemēram, model_mnist.onnx vai attēla klasifikācijas modeli) uz mapi, piemēram, Aktīvi/ML un jūs konfigurēsiet tā īpašības, lai tās tiktu iekļautas kompilācijas izvadē kā saturs.
Praktisks piemērs: attēlu klasifikācija ar ONNX Runtime un DirectML
Klasisks un ļoti ilustratīvs piemērs Lokālais mākslīgais intelekts ar ONNX izpildlaiku operētājsistēmā Windows 11 Tā ir attēlu klasifikācija, izmantojot tādu modeli kā ResNet50 vai SqueezeNetKonceptuālā plūsma vienmēr ir vienāda, lai gan kods var atšķirties atkarībā no izmantotā ietvara.
WinUI 3 lietotnē varat izveidot vienkāršu saskarni ar poga, lai atlasītu fotoattēlukontrole Attēls, lai parādītu izvēlēto attēlu un TextBlock prognožu sarakstamLietotājs noklikšķina uz pogas, tiek atvērts FileOpenPicker, tiek atlasīts attēls, un fonā programma to apstrādā un nodod ONNX modelim.
Attēlu pirmapstrāde parasti ietver ielādējiet to 24 bitu RGB formātāmainīt tā izmēru līdz modeļa paredzētajam izmēram (piemēram, 224 × 224 pikseļi), apgriezt, ja nepieciešams, un normalizēt katra kanāla vērtības atbilstoši modeļa dokumentācijā norādītajām vidējām vērtībām un standartnovirzēm. Izmantojot ImageSharp, tas nozīmē attēla izmēra maiņu, pikseļu rindu pa rindai pārskatīšanu un aizpildīšanu. BlīvsTenzors ar normalizētām vērtībām.
Pēc spriegotāja sagatavošanas, a OrtValue no tenzora atmiņas (bez liekām kopijām) tiek izveidota vārdnīca ar modeļa ierakstiem (parasti viens tenzors, ko sauc par kaut ko līdzīgu "dati" vai tamlīdzīgi), un tiek izsaukta metode. skrējiens no InferenceSession. Izvades rezultāts parasti ir varbūtības tenzors katrai klasei, ko var apstrādāt pēcapstrādei, izmantojot softmax, lai vērtības būtu vienādas ar 1 un to summa būtu vienāda ar 1.
Visbeidzot, jūs sakārtojat varbūtības no lielākās līdz mazākajai, un jums paliek ar 10 uzlīmes ar lielāku pārliecību un attēlot tos ekrānā. Tas parasti tiek darīts, izmantojot palīgklasi (piemēram, “Prediction with Label” un “Confidence” īpašības) un etiķešu tabulu (LabelMap), kas katru izvades indeksu saista ar semantisko klasi (suns, automašīna, tastatūra utt.).
Šāda veida piemērs parāda, kā ONNX Runtime, DirectML un WinUI 3 sader kopā, lai nodrošinātu Izbaudiet lokālo mākslīgo intelektu ar modernu lietotāja saskarni, aparatūras paātrinājumu un bez nepieciešamības pēc pastāvīga interneta savienojuma..
Darbs ar Windows ML un ONNX modeļiem WinUI 3 vidē
Papildus "tīras" ONNX izpildlaika izmantošanai varat paļauties uz Windows mašīnmācīšanās WinUI 3 projektā lai gūtu labumu no vietējās operētājsistēmas integrācijas. Šī pieeja ir ļoti noderīga, ja vēlaties lietojumprogrammu iepakot MSIX formātā, izmantot Windows lietotņu SDK un nodrošināt konsekventu darbību modernās Windows 11 ierīcēs.
Tipiskais process sastāv no Pievienojiet pakotni Microsoft.AI.MachineLearning projektam kopējiet savu ONNX modeli (piemēram, model_mnist.onnx vai attēla klasifikācijas modeli) uz mapi, piemēram, Aktīvi/ML un konfigurējiet tā īpašības, lai tās tiktu iekļautas kompilācijas izvadē kā saturs.
No C# koda jūs ielādējat modeli, izmantojot Windows ML API, Jūs izveidojat sesiju un jūs sagatavojat ievades datus paredzētajā formātā (piemēram, tenzors ar 28 × 28 pelēktoņu attēlu MNIST vai 224 × 224 attēlu sarežģītākam redzes modelim). Pēc tam sesija apstrādā, izmantojot DirectML un aparatūras paātrinājums caurspīdīgi, ja ierīce to atbalsta.
Kad secinājums ir veikts, jūs strādājat ar rezultātiem, lai iegūtu visticamāko vērtību (piemēram, visticamāko ciparu MNIST gadījumā) vai varbūtību kopu, ko varat parādīt saskarnē. Tas viss nemanāmi integrējas ar WinUI 3 XAML lietotāja saskarne, ļaujot atjaunināt vizuālās vadīklas ar mākslīgā intelekta rezultātiem.
Windows ML apstrādā arī izpildes nodrošinātājus un koordinēt centrālā procesora, grafiskā procesora un neironu procesora (NPU) izmantošanu atkarībā no pieejamās aparatūras, nemainot modeļus vai krasi nepārkārtojot kodu.
Vietējie valodu modeļi, RAG un citi progresīvi piemēri
Lokālais mākslīgais intelekts operētājsistēmā Windows 11 neaprobežojas tikai ar datorredzi. Izmantojot ONNX Runtime un DirectML, varat arī palaist Valodu modeļi (LLM) konvertēti uz ONNX, balss pārveidošanas tekstā modeļus, piemēram, Whisper, vai segmentācijas un attēlu ģenerēšanas arhitektūras, piemēram, Stable Diffusion.
Microsoft uztur vairākus oficiālie piemēri un AI izstrādes galerijaAtvērta lietojumprogramma ar vairāk nekā 25 interaktīvām demonstrācijām, kas parāda, kā integrēt lokālos modeļus reālās lietotnēs: sākot ar mākslīgā intelekta darbinātiem audio redaktoriem, kas indeksē fragmentus, pamatojoties uz teksta vaicājumu, līdz viedām piezīmju veikšanas lietotnēm, kas izmanto tādus modeļus kā Phi-3 kopsavilkumam, automātiskai pabeigšanai un bezsaistes spriešanai.
Ļoti atbilstošs modelis ir Atkopšanas uzlabotā paaudze (RAG)Šajā pieejā jūs apvienojat lokālo valodas modeli ar ārēju zināšanu bāzi. Piemēram, WPF lietotne var ielādēt PDF failu, to sagriezt un vektorizēt, izmantojot lokālo iegulšanas modeli, saglabāt šos vektorus un vaicājuma laikā izgūt atbilstošākos fragmentus, lai valodas modelis varētu ģenerēt atbildes, pamatojoties uz reāliem datiem, nemainot modeļa svarus.
Šie piemēri parāda, ka varat izveidot funkcionālus kontekstuālos asistentus, semantiskās meklēšanas sistēmas, audio transkripciju un īpaša mērķa tērzēšanas robotus. pilnībā lokāli operētājsistēmā Windows 11, izmantojot ONNX Runtime un DirectML, lai kontrolētu veiktspēju.
Turklāt ir arī atsauces projekti tādu modeļu darbībai kā Phi-3, Liesma 3 vai Mistral Optimizēts ar DirectML gan ONNX formātā, gan tieši no PyTorch, izmantojot vieglas lietojumprogrammas (piemēram, ar Gradio stila tīmekļa saskarni), lai pārbaudītu veiktspēju un pielāgotu iestatījumus pirms to integrēšanas galīgajā lietojumprogrammā.
Ar aparatūru paātrināta mākslīgā intelekta izmantošana tīmeklī, izmantojot ONNX Runtime Web un WebNN
Vēl viens interesants lietošanas veids Lokālais mākslīgais intelekts ar ONNX izpildlaiku operētājsistēmā Windows 11 Tā ir tīmekļa vide, kas jūs atbalsta ONNX tīmekļa izpildlaiks un WebNN APIŠajā kontekstā tādus smagsvara modeļus kā Stable Diffusion, Segment Anything vai Whisper var palaist tieši ierīces GPU vai NPU, izmantojot DirectML, bet no modernas tīmekļa lietojumprogrammas.
Notiek publiskas demonstrācijas, kas parāda, piemēram, Stabilas difūzijas turbo ģenerē attēlus no teksta tikai dažās sekundēs, izmantojot WebNN un DirectML ierīcēs ar uzlabotām mākslīgā intelekta iespējām. Tas pats attiecas uz Segmentējiet jebkokas ļauj apgriezt jebkuru objektu no lietotāja augšupielādēta attēla vai ar Čukstu bāze, kas lokāli pārlūkprogrammā konvertē runu tekstā.
Šādos gadījumos ONNX Runtime Web apstrādā Ielādēt ONNX modeli pārlūkprogrammas kontekstāpārvaldīt ievades un izvades tenzorus un sazināties ar WebNN, lai novirzītu izpildi uz DirectML Windows 11 ierīcē. Rezultātā varat nodrošināt bagātīgu mākslīgā intelekta pieredzi, nesūtot audio, attēlus vai tekstu uz attālo serveri.
Šī kombinācija padara Windows 11 par ļoti jaudīgu platformu ne tikai vietējās darbvirsmas lietojumprogrammas, bet arī priekš tīmekļa lietojumprogrammas ar hibrīdo secinājumukur daļa loģikas atrodas mākonī, bet daļa tiek izpildīta tieši lietotāja datorā.
Izstrādātājiem, kas jau izmanto tīmekļa tehnoloģijas (JavaScript, SPA ietvarus utt.), šī pieeja ir ērts veids, kā bez nepieciešamības pārrakstīt visu pieteikumu Veiciet pāreju uz lokālo mākslīgo intelektu, nepārrakstot visu lietojumprogrammu .NET vai C# valodā.
Laba prakse, drošība un atbildīga attīstība
Al integrārs Mākslīgā intelekta funkcijas Windows lietojumprogrammāsMicrosoft iesaka ievērot virkni atbildīgas izstrādes vadlīniju, īpaši ģeneratīvo modeļu un sensitīva satura apstrādes kontekstā. Tas attiecas ne tikai uz veiktspēju, bet arī uz iespējamā kaitējuma vai ļaunprātīgas izmantošanas samazināšanu.
Windows mākslīgā intelekta API ietver mehānismus teksta satura moderēšana izmantojot tādus pakalpojumus kā Microsoft Foundry, kas palīdz filtrēt potenciāli problemātiskus rezultātus. Pat strādājot ar lokāliem modeļiem, ieteicams kritiskās jomās (finanses, veselība, drošība utt.) piemērot papildu ievades validācijas un izvades pārskatīšanas slāņus.
No lietojumprogrammu dizaina viedokļa ieteicams validēt ievades datus pirms secinājumu uzsākšanas (attēlu izmēri, failu tipi, teksta garums), pārvaldiet GPU avārijas vai paātrinājuma trūkumu, izmantojot alternatīvus CPU maršrutus, un izvairieties no modeļa atkārtotas ielādes katrā pieprasījumā. Secināšanas sesijas uzturēšana darbībā un atkārtota izmantošana ir labas veiktspējas atslēga.
Ir svarīgi arī ņemt vērā ONNX modeļu optimizācijaTādas metodes kā kvantizācija, apgriešana un operāciju apvienošana var samazināt modeļa lielumu un uzlabot ātrumu, būtiski nemazinot precizitāti. Tādi rīki kā AI Toolkit for VS Code vai ONNX Runtime pašu būvēšanas infrastruktūra (tostarp jaunās būvēšanas API, kas ieviestas jaunākajās versijās) ir izstrādāti, lai atvieglotu šo procesu.
Visbeidzot, neaizmirstiet pārbaudīt aparatūras pieejamība un izstrādātāja režīms ierīcē, kurā izvietosiet savas lietotnes, īpaši, ja plānojat testēt galalietotāju ierīcēs, kioskos, rūpnieciskās ierīcēs vai vidēs ar stingrām drošības politikām.
Ar visām šīm komponentēm, kas ir labi saskaņotas — ONNX kā standarta formāts, ONNX Runtime un Windows ML kā izpildes dzinēji, DirectML un EP no AMD, Intel, NVIDIA un Qualcomm, lai izmantotu CPU, GPU un NPU, un rīkus, piemēram, AI Dev Gallery vai AI Toolkit —, Windows 11 kļūst par ļoti jaudīgu platformu, lai veidotu Lokālas, privātas, ātras un ražošanai gatavas mākslīgā intelekta lietojumprogrammas, sākot no vienkāršiem attēlu klasifikatoriem līdz sarežģītiem asistentiem, kuru pamatā ir valodu modeļi un RAG.
