DevOps Lounge: митап про AI в проде
DevOps Lounge — вечерний митап Orion soft и Онтико для тех, кто проектирует и эксплуатирует инфраструктуру и кому в эту инфраструктуру уже приехали LLM. Дима Матушкин из Nova AI расскажет, как они собирали AI Gateway. Модель запущена, и дальше надо решать, кто может к ней обращаться, сколько токенов тратить и куда отправлять запрос, если модель недоступна. В докладе — RBAC, квоты, трейсинг, умная балансировка и фейловер, а ещё guardrails, которые снижают риск утечки персональных данных. Сергей