AI HW & SW řešení pro lokální i cloudové chatboty na bázi RAG

Termín: 16.9.2025, 13:00-13:45

Přednáška představuje řešení hardwaru a softwaru pro umělou inteligenci pro nasazení chatbotů založených na RAG poháněných modelem Gemma-70B, navržené tak,
aby se dalo škálovat od mikro úrovně po nasazení na úrovni univerzity. Cíle systému se soustředí na latenci pod jednu sekundu, podporující 1 000 až 10 000 současných uživatelů chatu s cílovou dostupností 99,9 %. 
Detaily zahrnují rozsáhlou hardwarovou infrastrukturu, která zahrnuje 16–32 GPU H100 a vysoce výkonné speciifikace serverů, spolu se sofistikovanou softwarovou vrstvou, která zahrnuje pokročilé nástroje pro poskytování modelu, 
orchestrace a monitorování. Aplikační vrstva obsahuje uživatelsky přívětivé webové rozhraní, API brány a robustní databázová řešení, zatímco další funkce pro podniky zahrnují integraci RAG pro kontextové odpovědi, QoS a možnosti IAM/SSO. 
Celkový přehled o personálu odhaduje roční náklady přibližně 1,56 milionu dolarů pro dedikovaný tým inženýrů a manažerů produktů. Celkové projekce nákladů za pět let činí přibližně 12,82 milionu dolarů, včetně kapitálových výdajů, provozních nákladů a rozšíření.
Dále je hodnocena cloudová možnost nasazení pomocí Azure, odhadující náklady na přibližně 11,93 milionu dolarů za pět let, což nabízí škálovatelné a bezpečné modely služeb. 
Na druhou stranu, využití API OpenAI GPT-4o je zkoumáno jako řešení s nízkou náročností, jehož náklady se mohou vyšplhat až na 4,8 milionu dolarů za pět let. 
Doporučení zdůrazňují výběr nasazení na vlastním hardwaru pro maximální kontrolu a soukromí dat, možnosti Azure pro rychlé škálování a API OpenAI pro minimální provozní náročnost,
což nabízí komplexní rámec pro implementaci efektivních a účinných systémů chatbotů na bázi umělé inteligence.
 

Lektor: doc. Ing. Petr Koňas, Ph.D.

Místo konání: online v prostředí MS TEAMS

Podat přihlášku