Geex » Wiadomości » Jak rozmawiałem z kartą graficzną dzięki NVIDIA Chat with RTX. Historia prawdziwa

Jak rozmawiałem z kartą graficzną dzięki NVIDIA Chat with RTX. Historia prawdziwa

Bartosz Woldański

1 rok temu, 22 marca 2024

Narzędzia AI wyrastają jak grzyby po deszczu i coraz trudniej za tym wszystkim nadążyć. Większość z nich jednak działa online i chociażby na tym tle wyróżnia się Chat with RTX, czyli czat, który wykorzystuje możliwości kart graficznych NVIDIA GeForce RTX. Dowiedz się, czym jest Chat with RTX i jak działa. Z okazji wydania tego oprogramowania sprawdziłem jego możliwości na swoim komputerze, by podzielić się wrażeniami z rozmowy… z kartą graficzną.

Co to jest Chat with RTX i jak działa?

Ale jak? Rozmawiać z kartą graficzną? Do czego to doszło… No ok, karta graficzna nie odpowie Ci, czy warunki, jakie ma w Twoim komputerze, są dla niej satysfakcjonujące i nie poprosi Cię o bardziej przestronną obudowę, ale to właśnie dzięki niej porozmawiasz ze sztuczną inteligencją od NVIDII. Bez niej nie byłoby to możliwe.

Chat with RTX to bowiem lokalne narzędzie AI, czyli czat, który nie łączy się z chmurą i który możesz spersonalizować wedle własnego widzimisię na swoim komputerze – oczywiście w ramach możliwości tego programu. Oznacza to, że wszelkie dane opierają się na tym, co mu prześlesz w kompatybilnych z nim plikach.

Domyślnie masz dostęp do dwóch dużych modeli językowych (LLM): Llama2 13B INT4 i Mistral 7B INT4. Chat with RTX wykorzystuje rdzenie Tensor zawarte w wybranych układach graficznych NVIDII, technikę generowania rozszerzonego pobierania (RAG, tj. Retrieval-augmented generation) oraz biblioteki NVIDIA TensorRT-LLM do sprawniejszego generowania odpowiedzi.

Jako że Chat with RTX, w odróżnieniu od chociażby ChataGPT, działa lokalnie i nie potrzebuje połączenia z internetem, zostaje zachowana prywatność. Dane, które umieszczasz w czacie, znajdują się na Twoim komputerze, a nie lądują w chmurze. Ma to też swoje minusy. Chat with RTX z tego samego powodu wymaga bowiem sprzętu o odpowiednich podzespołach. Tak, dobrze się domyślasz, bez GeForce’a RTX się nie obejdziesz, a – co więcej – nie na każdym RTX-ie zadziała…

Wymagania sprzętowe Chat with RTX. Nie dla wszystkich to mało powiedziane

Chat with RTX nie zadziała na komputerze, który nie jest wyposażony w kartę graficzną GeForce RTX. Ba, nie zadziała nawet na serii GeForce RTX 2000 (Turing) – potrzebujesz układów Ampere lub Ada Lovelace, i to w dodatku z minimum 8 GB pamięci VRAM.

Nie uruchomisz więc aplikacji na kartach GeForce RTX 3050 6 GB (minimum RTX 3060) ani na laptopach z GeForce RTX 3050 (Ti), RTX 3060 i RTX 4050. Jeśli jednak chcesz wykorzystać w pełni możliwości Chat with RTX, potrzebujesz przynajmniej 16 GB pamięci VRAM, które mają zaledwie (prawie) topowe modele (takie jak RTX 3090, RTX 3090 Ti, RTX 4070 Ti Super, RTX 4080, RTX 4080 Super, RTX 4090).

System operacyjny: Windows 10 lub Windows 11
Karta graficzna: GeForce RTX 3000 lub 4000 albo profesjonalne układy graficzne oparte na architekturze NVIDIA Ampere lub Ada Lovelace lub nowsze z co najmniej 8 GB pamięci VRAM (16 GB do modelu językowego Llama 2)
Sterownik: Nvidia 535.11 lub nowszy
Pamięć RAM: 16 GB lub więcej
Wymagane miejsce na dysku: 100 GB
Plik instalacyjny: 35 GB

Chat with RTX wymaga dużo wolnej przestrzeni na dysku, teoretycznie nawet 100 GB, ale w praktyce po instalacji pliki zajmują ponad 60 GB. Ale też nie muszą w zależności od tego, czy skorzystasz z obu modeli językowych. 17 GB potrzebne jest dla Mistral, natomiast aż 31 GB do do Llama2.

Jak zainstalować Chat with RTX? Instalacja AI od NVIDII

Obecna wersja Chat with RTX (0.2) generuje problemy techniczne już przy instalacji. NVIDIA zdaje sobie z nich sprawę i ma je naprawić w kolejnych wersjach. Na razie jednak da się je łatwo obejść, by nie instalować aplikacji na partycji systemowej. Wystarczy, że folder, w którym zainstalujesz ją, nie będzie zawierać żadnych spacji i znaków specjalnych, czyli np.

E://App/ChatWithRTX

Wtedy instalacja przejdzie bez kłopotu. Przed właściwym procesem pojawi się możliwość wyboru modelu językowego. W przypadku kart graficznych GeForce RTX 3000 i 4000 poniżej 16 GB VRAM-u jesteś skazany na jeden: Mistral. Drugi nawet się wtedy nie pojawia. Instalacja nie przebiega najszybciej, bo uwzględnia ona także pobranie dodatkowych danych oraz komplikację plików, więc dłuższa chwila cierpliwości jest niezbędna (cały proces może potrwać dobrych kilkadziesiąt minut).

Jak wrzucić pliki, by czat mógł z nich skorzystać? To proste. Domyślnie jest ustawiona ścieżka w folderze Chat with RTX, czyli wystarczy, że przekopiujesz akceptowane przez program pliki do następującego (pod)folderu na obojętnie jakiej partycji (jeśli dostosujesz się do powyższej wskazówki):

ChatWithRTX/RAG/trt-llm-rag-windows-main/dataset

Następnie bezpośrednio w oknie Chat with RTX odśwież wgrane pliki i voila! Czat będzie posiłkował się tym, czym został nakarmiony oraz douczony i na podstawie tych plików będzie udzielał odpowiedzi, co wyraźnie zaznaczy w wygenerowanym tekście.

Wrażenia z testów w Chat with RTX. Jak to jest „pogadać” z kartą graficzną?

Bez RTX-nie ma Tensorów, bez Tensorów nie ma Chat with RTX, a bez Chat with RTX… nie ma Chat with RTX. A tak już całkiem serio, Chat with RTX jest jak wirtualny asystent, który będzie mieć pod ręką to, co według Ciebie ma mieć, byś mógł z tego skorzystać w dowolnej chwili.

Udostępnione demo zawiera swoją bazę danych, uzupełnioną chociażby o marketingową dokumentację NVIDII, ale aplikację możesz dostosować pod własne potrzeby. Wystarczy, że do wybranego folderu wrzucisz kompatybilne pliki w odpowiednim formacie:

Pliki tekstowe (.txt)
Pliki PDF
Pliki Word (.doc/.docx)
Dokumenty XML

I to na ich podstawie Chat with RTX będzie generował odpowiedź – aby ją otrzymać, pytanie musi być zgodne z treścią poruszaną w udostępnionych mu dokumentach.

Chat with RTX na karcie GeForce RTX 4070 generuje tekst w błyskawicznym tempie, czego należało się spodziewać, biorąc pod uwagę charakter tego czata. To, że wypluwa efekty szybciej niż chatGPT nie jest równoznaczne z tym, że robi to lepiej. Czat NVIDII sprawdza się w określonych scenariuszach, a w innych przypadkach nie ma startu do najlepszych narzędzi AI, przynajmniej w obecnym kształcie.

Bazowałem tylko na modelu językowym Mistral ze względu na zbyt małą ilość VRAM-u na karcie graficznej (choć są sposoby, by obejść to ograniczenie).

Co można robić za pomocą Chat with RTX?

Możesz parafrazować swoje teksty, wrzucić dłuższe wypracowania i wyciągnąć z nich interesujące Cię fragmenty. Albo tworzyć podsumowania i streszczenia, by sobie odświeżyć zapomnianą treść. Jakość wygenerowanej odpowiedzi jest w dużej mierze zależna nie tylko od modelu językowego, ale także od źródła, na podstawie którego ona powstała, no i oczywiście zadanego pytania.

Nic nie stoi na przeszkodzie, by np. jakakolwiek redakcja wrzuciła w niego wszystkie swoje artykuły.

Możesz również wkleić linki do filmów z YouTube’a, by na podstawie transkrypcji mieć dostęp do zawartości filmu. Chat with RTX w tej roli sprawdza się bardzo dobrze – nie masz czasu oglądać całego wideo, a potrzebujesz zrobić z niego podsumowanie albo wyciągnąć najważniejsze punkty? Zadaj mu konkretne pytania związane z tematyką poruszaną w filmie.

Jakie efekty?

I jak wyglądały odpowiedzi? Na próbę wkleiłem oficjalny film NVIDII o technice DLSS 3.5, nie było problemu z otrzymaniem satysfakcjonującej odpowiedzi (przynajmniej w oryginalnym, angielskim języku, bo po polsku wyszło to pokracznie – jak z kiepskiej jakości translatora). Aby korzystać w ten sposób z Chat with RTX, wrzucaj mu wyłącznie filmy w języku angielskim (z polskim to nie zadziała; po prostu nie wykryje źródła, z którego mógłby uzyskać jakąkolwiek odpowiedź).

Czy możesz mu zadawać pytania i otrzymywać odpowiedzi w języku polskim? I tak, i nie. Nie działa to doskonale. Na próbę wrzuciłem mu swoją pracę magisterską i bez problemu odpowiadał sensownie i polsku na zadane również po polsku pytania. Z kolei, gdy mu wkleiłem plik .pdf z Geeksa, to na polskie pytania na podstawie artykułu w tym samym języku odpowiadał wyłącznie po angielsku.

Nie doszedłem, z czego wynikała ta niekonsekwentność (format obu plików był identyczny). Można było potem poprosić go o przetłumaczenie, ale efekty były raczej mocno koślawe. Co więcej, często w odpowiedziach w języku polskim (w angielskim też się to zdarzało, ale bardzo rzadko) często dostajesz szereg powtórzeń, które wyglądają komicznie. Sam zobacz:

Za każdym razem czat podaje źródło, więc w razie czego masz pewność, czy pochodzi ona od np. marketingowych materiałów NVIDII, czy może z jakiegoś specjalistycznego artykułu niezależnego portalu.

Co ważne, Chat with RTX nie pamięta kontekstu, więc zadawanie kolejnych pytań, które nawiązują do wcześniej zadanych i odpowiedzi na nie, nie ma większego sensu. Rozwiązanie NVIDII sprawdza się po prostu w szybkim otrzymaniu odpowiedzi na konkretne zapytania, rozterki czy zagadnienia związane z tematyką artykułu czy filmu bez potrzeby czytania i oglądania ich.

Komu może się przydać Chat with RTX?

Chat with RTX może być przydatnym narzędziem nie tylko do prywatnych dokumentów, w pracy biurowej czy redakcyjnej, ale mogą docenić je również np. uczniowie i studenci. Za jego pomocą możesz wrzucić wypracowania, by wyciągnąć z nich samo „mięcho”, albo swoje notatki, by odświeżyć sobie np. konkretne pojęcia przed zajęciami.

Dzięki temu nie musisz zapoznawać się z całym tekstem i marnować czasu, tylko skupiasz się na tym, co jest Ci w danej chwili potrzebne, dzięki czemu może też szybciej przyswoisz daną treść. Naturalnie informacja, której szukasz, musi znajdować się w załączonych mu plikach. Narzędzie NVIDII sprawdzi się też do szybkiego opracowania skondensowanego podsumowania z wideo.

Jeśli więc do nauki używasz np. laptopa z odpowiednią kartą graficzną GeForce RTX 3000 lub 4000, warto spróbować, jak sprawdzi się w Twoim przypadku.

Stwórz swój spersonalizowany czat AI

Chat with RTX powstał do opracowania tak naprawdę swojego czata – pod swoje potrzeby i swój zbiór danych, nawet do stricte prywatnych rzeczy. Choć równie dobrze można zrobić z niego drugą Wikipedię.

Czaty offline i online mają swoje zalety i wady. W Chat with RTX dane zależne są od Ciebie, ale z drugiej strony – będziesz mieć do czynienia z bardziej ograniczonym dostępem do informacji. Ważne jednak jest to, że to Ty wyznaczasz tę granicę.

Odpowiednio „nakarmiony” czat będzie w stanie odpowiedzieć na nurtujące pytania bez potrzeby researchu oraz wertowania notatek i wypracowań. Oczywiście nadal wymagana będzie w wielu przypadkach dodatkowa weryfikacja poprawności tych informacji, ale np. nauka za pomocą tego czata może być istotnie przyspieszona albo przynajmniej ułatwiona. Do tego jednak potrzebujesz odpowiedniego komputera.

Chat with RTX jest wciąż w bardzo wczesnej fazie rozwoju i często można natrafić na sporo błędów. Tak naprawdę narzędzie to raczkuje i jest pełne problemów wieku dziecięcego, wręcz wcześniackiego. Nie pozostaje nic innego, jak czekać na dalszy rozwój zarówno Chat with RTX, jak i kolejnych obiecujących narzędzi SI. AI to przyszłość – tego można być pewnym.

Naturalnie to niejedyny lokalny czat, jaki jest dostępny, ale zaplecze „zielonych” daje nadzieję na rozwój tego narzędzia w intrygującym kierunku. A przynajmniej takie można mieć nadzieje. Rzeczywistość zweryfikuje – póki co to demo technologiczne jest „tylko” albo „aż” ciekawostką, która może być przydatna w wybranych scenariuszach.

Źródło: NVIDIA, opracowanie własne

Przeczytaj również:

Odkryj karty graficzne NVIDIA oraz komputery i laptopy z GeForce RTX 3000 i 4000 w x-komie

Bartosz Woldański

Wierny wyznawca PC Master Race.

Komentarze (3)

Kajetan · 6 miesięcy temu

Mówisz o ChatRTX jakby to była jakaś nowość…
Polecam sobie obczaić

Meta już od paru lat publikowała LLMy które można odpalić na własnym komputerze i to także na CPU jak nie mamy GPU pod ręką. Dowiedziałem się o tym dokładnie na tym mini-wykładzie:

Odpowiedz