We are redirecting you to the source. If you are not redirected in 3 seconds, please click here.

Product Manager IV - Produto Disrupt | Tech at iFood. Location Information: Remoto. . . Nosso Modo de Fazer no Time:. . Você irá liderar a estratégia, a qualidade e a evolução do “cérebro” de um agente conversacional baseado em GenAI. Seu foco será garantir qualidade mensurável (EVALs), fluxos conversacionais robustos, orquestração de ferramentas (tool use/function calling) e uma arquitetura de agente segura, observável, eficiente em custo e com alta performance.. . Seu Cardápio Diário. . . Visão & Estratégia do agente: definir o roadmap da inteligência do agente (memória, ferramentas, recuperação de contexto, guardrails, segurança) alinhado a métricas de negócio.. . EVALs & Qualidade:. . . Desenhar e operacionalizar a pipeline de EVALs offline e online (ex.: task success rate, groundedness, factuality, safety, toxicity, latency, cost).. . Determinar datasets de avaliação, cenários de red teaming, critérios de aceitação e processos de regressão contínua.. . . Fluxos conversacionais:. . . Mapear intents, entidades e diagramar fluxos multi-turn (inclusive fallback, desambiguação, handed-off humano).. . Garantir coerência, memória de longo prazo/curto prazo e consistência de persona.. . . Arquitetura & Protocolo do agente:. . . Co-criar com Engenharia a arquitetura de orquestração (ex.: LangGraph/LangChain, function calling, tool routing, RAG, vector DBs).. . Definir padrões de observabilidade e LLMOps (tracking, tracing, custo, latência, prompt/version management).. . Estabelecer protocolos de segurança, governança de dados e privacidade (PII handling, filtros, políticas de retenção).. . . Experimentação & Métricas de produto:. . . Conduzir A/B tests, shadow/holdout, testes de guardrails e “canary releases”.. . Equilibrar qualidade x custo x latência e otimizar continuamente (ex.: modelos menores + reranking, caching, distillation).. . . Colaboração transversal:. . . Trabalhar lado a lado com Engenharia, Data/ML, Design Conversacional, Segurança/Legal. . Comunicar claramente trade-offs técnicos para stakeholders não técnicos;. . . . Ingredientes que Buscamos:. . . Experiência sólida (5–8+ anos) em Product Management, com passagem relevante por produtos de IA / NLP / agentes conversacionais.. . Vivência prática com EVALs de LLMs (definição de métricas, datasets, harnesses de avaliação, red teaming, regressão).. . Criação e evolução de fluxos conversacionais (intents, entidades, fallback, handoff humano, multi-turn, persona).. . Entendimento de arquitetura de agentes (RAG, function calling/tool use, memory stores, vector databases, observabilidade).. . Experimentação & métricas: A/B testing, definição de KPIs, instrumentação e leitura crítica de resultados.. . Noções de LLMOps / observabilidade (ex.: Langfuse, Helicone, prompt/version management) e boas práticas de segurança/guardrails.. . Capacidade analítica (SQL ou similar) para investigar dados, definir cortes e validar hipóteses.. . Comunicação clara em português e inglês (você vai interagir com stakeholders e documentação técnica global).. . . Para Realçar o Sabor:. . . Experiência com LangChain / LangGraph / Semantic Kernel ou frameworks equivalentes.. . Contato com frameworks de EVALs (Promptfoo, DeepEval, Giskard, Ragas etc.).. . Experiência com RAG avançado (retrieval strategies, hybrid search, reranking, chunking, evaluation de grounding).. . Vivência com modelos open-source (Llama, Mistral) e provedores proprietários (OpenAI, Anthropic, Google, AWS Bedrock).. . Background técnico (Engenharia/CS/Data) ou capacidade de prototipar rapidamente (Python/JS).. . .