Especialista em LLM e Prompt Engineering

The posting

Este especialista terá a missão de elevar agentes de IA já prototipados ao nível de soluções robustas em produção, integrando LLM e dados reais da empresa. Será responsável por definir e aplicar técnicas avançadas de engenharia de prompt e estratégias de interação com LLMs para melhorar a precisão, consistência e controlabilidade das respostas desses agentes. O foco do papel é garantir que os agentes forneçam respostas úteis e seguras, alinhadas aos objetivos do negócio, por meio de prompts bem elaborados, uso de funções auxiliares e monitoramento contínuo do desempenho dos modelos em ambiente de produção.Responsabilidades e atribuiçõesImplementar e gerenciar o deploy de modelos de linguagem (como APIs do OpenAI, modelos locais via Ollama ou outras plataformas), garantindo integração perfeita dos LLMs à nossa plataforma.Projetar, testar e otimizar prompts avançados para os agentes de IA, utilizando técnicas de prompt engineering (ex.: exemplos few-shot, chain-of-thought prompting) para guiar o raciocínio do modelo e controlar o formato/estilo das respostas conforme as necessidades de cada caso de uso.Desenvolver estratégias para incorporar funções auxiliares ou ferramentas de apoio ao LLM – por exemplo, integrações que permitam ao agente buscar dados em bases de conhecimento, executar cálculos ou consultar APIs externas – ampliando as capacidades dos agentes além do texto livre.Aplicar métodos de avaliação automatizada e humana da qualidade das respostas dos agentes: definir métricas objetivas (precisão, relevância, utilidade), implementar testes A/B de diferentes variantes de prompt/modelo e coordenar ciclos de feedback com usuários para melhoria contínua.Monitorar ativamente o desempenho dos modelos em produção (observabilidade do comportamento dos LLMs), criando logs e dashboards que rastreiem taxas de sucesso, tempos de resposta, custos de API e ocorrências de erros ou respostas indesejadas, a fim de identificar rapidamente oportunidades de ajuste.Colaborar com o Engenheiro de Arquitetura de Sistemas e Dados e com o Engenheiro de Dados para assegurar que os agentes de IA estejam utilizando dados atualizados e corretos, configurando pipelines de dados que alimentem o contexto dos modelos (por exemplo, implementação de RAG com base no data lake da empresa, quando aplicável).Refinar os agentes de IA existentes, transformando-os em produtos estáveis: ajustar prompts e parâmetros do modelo para melhorar a exatidão das respostas, evitar ambiguidades e garantir consistência no tom e nas políticas definidas (incluindo filtros de segurança e conformidade nas respostas).Executar testes rigorosos de comportamento dos agentes antes de cada release, incluindo cenários de borda e tentativas de uso indevido (prompt injection, perguntas capciosas), afinando os prompts ou adicionando validações para garantir robustez e segurança das interações em produção.Documentar as abordagens de prompt engineering adotadas, criando diretrizes reutilizáveis para desenvolvimento de futuros agentes de IA e contribuindo para o conhecimento interno da empresa em técnicas de LLM.Acompanhar as evoluções na área de IA generativa e LLMs (novos modelos, técnicas de prompt, ferramentas de avaliação) para incorporar as melhores práticas e manter os agentes atualizados com o estado da arte da tecnologia.Requisitos e qualificaçõesExperiência prática comprovada com implementação e integração de modelos de linguagem em aplicações do mundo real – por exemplo, ter trabalhado com APIs de serviços como OpenAI, Azure/GCP AI, ou implantado modelos open-source (GPT-Neo, LLaMA ou similares) em ambiente de produção.Domínio de técnicas de prompt engineering: capacidade de escrever prompts eficazes para diferentes objetivos, ajustar o tom e estilo das respostas, usar instruções de sistema vs. usuário apropriadamente e aplicar estratégias como cadeia de raciocínio (chain-of-thought) para melhorar a qualidade das respostas do modelo.Familiaridade com ferramentas e frameworks voltados a LLM Ops, tais como bibliotecas de orquestração de prompts (LangChain, LlamaIndex etc.) e metodologias de avaliação de respostas de IA (uso de datasets de teste, métricas de similaridade, detecção de alucinações).Conhecimentos de avaliação de desempenho de modelos: saber configurar experimentos A/B, coletar feedback de usuários e medir melhorias ou regressões nas respostas do modelo de forma quantitativa.Habilidade de programar em linguagens comumente usadas em IA (Python etc.) para implementar pipelines de chamada aos modelos, processar resultados e integrar os outputs do LLM com o restante da plataforma (por exemplo, pós-processamento das respostas, chamadas a APIs adicionais).Entendimento de conceitos de observabilidade e segurança em IA: monitoração do uso dos modelos (logs de consultas e resultados), identificação de respostas inadequadas, e aplicação de filtros ou ajustes nos prompts para evitar vazamento de informações sensíveis ou viés indesejado.Boa base em Processamento de Linguagem Natural (PLN), entendendo limitações e capacidades de modelos de linguagem, e noções de como dados de treinamento ou ajustes finos podem impactar as respostas.Graduação em Ciência da Computação, Engenharia,Fisica, Estatística ou área relacionada (ou experiência profissional equivalente), com capacidade de ler artigos técnicos e aplicar novas técnicas de IA conforme necessário.Perfil analítico e metódico, com atenção a detalhes na formulação de prompts e análise crítica das respostas do modelo, além de boa comunicação para traduzir necessidades do produto em configurações técnicas de LLM.Diferenciais Desejáveis:Experiência específica com chain-of-thought prompting e implementação de pipelines multi-etapas com LLMs (por exemplo, agentes que dividem tarefas complexas em etapas de raciocínio estruturado).Conhecimento de técnicas de fine-tuning de modelos de linguagem ou uso de RLHF (Reinforcement Learning from Human Feedback) para ajustar modelos customizados, mesmo que a ênfase atual seja em prompt engineering.Familiaridade com bases de conhecimento e bancos de vetores para fornecer contexto às respostas dos LLMs, bem como com técnicas de Retrieval-Augmented Generation (RAG) para melhoria da qualidade e atualidade das informações fornecidas pelos agentes.Vivência em projetos envolvendo avaliação humana de IA (human in the loop), elaboração de guidelines de resposta e moderação de conteúdo gerado por IA para alinhamento com políticas da empresa.Contribuições ou participação ativa em comunidades de IA (Kaggle, fóruns técnicos, projetos open-source), indicando paixão por manter-se atualizado(a) na área.Inglês avançado, dada a rápida evolução do campo de LLMs e a necessidade de acompanhar documentação e pesquisas internacionais em prompt engineering e NLP.Experiencia com framework do crewai.Informações adicionaisModelo de contratação: PJ Tipo de CNPJ/Empresa: ME (microempresa) ou LTDA (Empresa de Responsabilidade Limitada)Cachê: Valor fixo em Nota Fiscal Com plano abrangente de benefícios:💻 Notebook da empresa para quem está em SP, ou 💸 auxílio infraestrutura para garantia de internet e insumos para a realização do trabalho, para quem está fora de SP.🤑13ª nota no ano;🛫 Recesso de 30 dias + 1/3 (benefício adquirido após 1 ano de contrato);🏥 Assistência Médica SulAmérica 💚Seguro de Vida;💳 VR por dia útil; (Cartão Flash; Crédito/Débito; podendo utilizar em redes com CNPJ de food (Exemplo: Restaurante;Mercado e Aplicativos)📴 Day-off +crédito extra no cartão flash pelo dia do aniversário vitalício;🦷 Assistência Odontológica SulAmérica - Plano opcional🏋🏻Incentivo a prática de exercício físico - TotalPass📚 Incentivo a educação - Reembolso mensal para cursos e treinamentos (segundo política)✅Avaliações de performance semestrais com feedbacks e construção de PDI.🪴Escritório moderno, preparado para atender a todos, com restaurante próprio em estilo bistrô.