Data modyfikacji:

Generatywna AI nawet 5x szybciej dzięki NVIDIA TensorRT. Nowe narzędzia wykorzystujące sztuczną inteligencję

Nowe narzędzia i zasoby dla twórców oprogramowania zapewnią jeszcze większe możliwości związane z AI na ponad 100 milionach komputerów z systemem Windows na całym świecie. Akceleracja będzie dotyczyła głównie wielkich modeli językowych (LLM), na których oparte są najpopularniejsze narzędzia AI takie jak ChatGPT.
AI on RTX
Praca z AI w chmurze wiąże się z przesyłaniem danych wejściowych na serwer zewnętrzny, co może być kłopotliwe w przypadku wrażliwych lub chronionych informacji. Aby rozwiązać ten problem NVIDIA udostępni bibliotekę TensorRT-LLM dla systemu Windows. Dostęp do niej przez środowisko programistyczne API działa na podobnej zasadzie, co w przypadku znanych i popularnych interfejsów, takich jak API firmy OpenAI. Od teraz, zmieniając tylko jedną lub dwie linijki kodu, deweloperzy mogą skorzystać z własnej karty graficznej do obliczeń związanych z AI, dzięki czemu mogą przechowywać dane na swoich komputerach i nie przesyłać ich do chmury.
Biblioteka TensorRT przyspiesza obliczenia związane ze sztuczną inteligencją nawet 5x w przypadku systemu Windows. Wykorzystywana jest także przez popularne oprogramowanie do generatywnej AI, Automatic1111, gdzie skraca czasy generowania obrazów nawet dwukrotnie.
Najważniejsze ogłoszenia firmy NVIDIA na tegorocznej konferencji Microsoft Ignite to:
  • Nowa wersja biblioteki TensorRT-LLM obsługuje dodatkowe algorytmy LLM, które działają na dowolnej karcie graficznej GeForce RTX z serii 30 i 40 z 8 GB pamięci VRAM, nawet na laptopach.
  • TensorRT-LLM zyska kompatybilność z API ChatGPT dzięki nowemu zestawowi funkcji. Umożliwi to uruchomienie aplikacji programistycznych przy użyciu TensorRT-LLM na kartach karty graficznych RTX.
  • NVIDIA i Microsoft opublikują usprawnienia do biblioteki DirectML, co przyspieszy modele sieci neuronowych takie jak Llama 2 i Stable Diffusion. Pozwoli to na sprawne poruszanie się pomiędzy różnymi dostawcami usług dla programistów.
    • Zdjęcie: Materiały prasowe

    Polecamy:

    kino domowe 5.1 vs 7.1

    Kino domowe 5.1 vs 7.1: różnice i porównanie systemów dźwiękowych
    dobry młynek do pieprzu

    Jaki dobry młynek do pieprzu? Ranking polecanych produktów
    Autor: Informacja prasowa