Nový nástroj od NVIDIA umožňuje spúšťať vlastnú verziu “ChatGPT” na lokálnom PC

NVIDIA vydáva nástroj, ktorý majiteľom kariet GeForce RTX 30 Series a 40 Series umožňuje spustenie chatbota s podporou AI offline na počítači so systémom Windows. Nástroj s názvom Chat with RTX umožňuje používateľom prispôsobiť model generatívnej AI podľa vzoru ChatGPT od OpenAI tým, že ho pripojí k dokumentom, súborom a poznámkam, ktoré potom môže vyhľadávať. 

Chat with RTX predvolene využíva open source model AI startupu Mistral, ale podporuje aj iné textové modely vrátane Llama 2 od spoločnosti Meta. NVIDIA upozorňuje, že stiahnutie všetkých potrebných súborov spotrebuje pomerne veľa úložného priestoru – 50 GB až 100 GB v závislosti od vybraného modelu (modelov). V súčasnosti Chat with RTX pracuje s textom, formátmi PDF, .doc, .docx a .xml.

Nasmerovaním aplikácie na priečinok obsahujúci ľubovoľné podporované súbory sa tieto súbory načítajú do súboru údajov na doladenie modelu. Okrem toho aplikácia Chat with RTX dokáže prevziať adresu URL zoznamu skladieb YouTube a načítať prepisy videí v zozname skladieb, čo umožní vybranému modelu vyhľadávať ich obsah. Chat with RTX si však nepamätá kontext, čo znamená, že aplikácia nebude brať do úvahy žiadne predchádzajúce otázky pri odpovedaní na ďalšie otázky.

NVIDIA tiež uznáva, že relevantnosť odpovedí aplikácie môže byť ovplyvnená množstvom faktorov vrátane formulácie otázok, výkonu vybraného modelu a veľkosti dolaďovacieho súboru údajov. Dopytovanie sa na fakty obsiahnuté v niekoľkých dokumentoch pravdepodobne prinesie lepšie výsledky ako dopytovanie sa na zhrnutie dokumentu alebo súboru dokumentov. Chat with RTX je teda skôr hračka ako niečo, čo by sa malo používať v produkcii.

Napriek tomu v nedávnej správe Svetové ekonomické fórum predpovedalo výrazný nárast cenovo dostupných zariadení, ktoré môžu spúšťať modely GenAI offline, vrátane počítačov, smartfónov, zariadení internetu vecí a sieťových zariadení. Ponúkajú totiž jasné výhody: Nielenže sú offline modely zo svojej podstaty súkromnejšie (údaje, ktoré spracúvajú, nikdy neopustia zariadenie, na ktorom bežia), ale majú nižšiu latenciu a sú nákladovo efektívnejšie ako modely umiestnené v cloude.

Zdroj: techcrunch.com.