The posting
No Grupo Stefanini, acreditamos no poder da colaboração. Co-criamos soluções inovadoras em parceria com nossos clientes, combinando tecnologia de ponta, inteligência artificial e a criatividade humana. Estamos na vanguarda da resolução de problemas de negócios, proporcionando impacto real em escala global.Ao se juntar à Stefanini, você se torna parte de uma jornada global de transformação. Estamos empenhados em criar impacto positivo não apenas nos negócios, mas também na vida de nossos colaboradores. Se você procura uma oportunidade de crescimento profissional em uma empresa que valoriza inovação, respeito, autonomia e parceria, você encontra aqui!Junte-se a nós e seja parte da mudança!LI#REMOTELI#RL1Responsabilidades e atribuiçõesGarantir que soluções baseadas em inteligência artificial entreguem respostas:Corretas e relevantes;Seguras e éticas;Consistentes e reproduzíveis;Adequadas ao contexto do negócio;Alinhadas às políticas da empresa;Com boa experiência para o usuário;Com baixo risco de: Alucinação; Viés; Exposição de dados.Principais atribuições1. Avaliação de respostas de IAAnalisar respostas geradas por diferentes modelos de IA;Avaliar: Precisão; Clareza; Completude; Relevância; Aderência ao contexto; Identificar: Alucinações; Contradições; Vieses; Informações sem evidência;Verificar se a IA compreendeu corretamente a intenção do usuário;Avaliar a aderência às instruções, políticas e critérios de negócio;Classificar respostas conforme critérios previamente definidos;Comparar diferentes: Modelos; Prompts; Versões; Configurações.2. Criação de critérios e rubricas de avaliaçãoDefinir métricas de qualidade para cada caso de uso;Criar rubricas com critérios objetivos e escalas de pontuação;Estabelecer exemplos de respostas: Boas; Aceitáveis; Inadequadas;Criar conjuntos de testes, casos-limite e cenários adversariais;Padronizar o processo de avaliação entre os curadores;Garantir consistência e rastreabilidade das avaliações.3. Curadoria de dados e exemplosSelecionar e organizar exemplos para: Treinamento; Avaliação; Melhoria de prompts;Revisar bases de conhecimento utilizadas pela IA;Identificar dados: Desatualizados; Duplicados; Incompletos; Conflitantes;Garantir qualidade, representatividade e diversidade dos dados;Remover informações sensíveis ou inadequadas;Criar conjuntos de dados de validação e benchmark;Manter o histórico das alterações e decisões de curadoria.4. Engenharia e melhoria de promptsCriar, revisar e otimizar prompts;Definir: Instruções de sistema; Contextos; Restrições; Formatos de resposta;Testar técnicas como: Uso de exemplos; Decomposição de tarefas; Classificação; Validação;Avaliar o impacto das mudanças nos prompts;Reduzir ambiguidades e comportamentos inconsistentes;Trabalhar em conjunto com áreas de: Produto; Desenvolvimento; Negócio;Criar padrões reutilizáveis de prompts e templates.5. Testes de segurança e comportamentoRealizar testes de: Prompt injection; Jailbreak; Manipulação da IA;Avaliar a exposição indevida de dados confidenciais;Testar respostas para temas sensíveis;Identificar riscos de: Viés; Discriminação; Tratamento desigual;Avaliar se a IA recusa adequadamente solicitações impróprias;Criar testes de regressão;Apoiar processos de red teaming de IA.6. Monitoramento de qualidade em produçãoAcompanhar o comportamento da IA após a implantação;Analisar feedbacks, reclamações e avaliações dos usuários;Identificar degradação de desempenho;Monitorar indicadores de: Erro; Abandono; Retrabalho; Escalonamento humano;Investigar incidentes relacionados às respostas da IA;Recomendar ajustes em: Prompts; Modelos; Dados; Fluxos;Manter processos de melhoria contínua.7. Governança e documentaçãoDocumentar critérios, decisões, testes e resultados;Elaborar relatórios de qualidade dos modelos e soluções;Manter catálogo de: Prompts; Versões; Casos de uso;Registrar limitações conhecidas da IA;Apoiar políticas de uso responsável da inteligência artificial;Contribuir para auditorias internas e externas;Garantir a rastreabilidade das alterações realizadas.8. Liderança técnica e orientaçãoOrientar curadores, analistas e prompt engineers menos experientes;Revisar avaliações realizadas por outros profissionais;Definir padrões e boas práticas;Conduzir workshops de avaliação de IA;Apoiar decisões sobre: Modelos; Fornecedores; Arquiteturas;Atuar como referência técnica para as áreas de: Produto; Tecnologia; Jurídico;Compliance;Transformar problemas subjetivos de qualidade em critérios mensuráveis.Requisitos e qualificaçõesCompetências técnicas desejáveisExperiência com modelos de linguagem e IA generativa;Conhecimento em prompt engineering;Experiência com avaliação humana e automática de modelos;Criação de datasets de teste;Conhecimento de métricas de qualidade de IA;Noções de machine learning e processamento de linguagem natural;Familiaridade com: RAG; Embeddings; Agentes; Bases de conhecimento;Conhecimento de técnicas de segurança para LLMs;Capacidade de análise de dados;Conhecimentos em SQL e, preferencialmente, Python;Experiência com ferramentas de: Anotação; Avaliação; Observabilidade de IA;Conhecimento de versionamento e documentação;Noções de LGPD, privacidade e uso responsável de IA.O profissional não precisa necessariamente ser cientista de dados ou desenvolvedor avançado. Entretanto, para uma posição sênior, deve compreender tecnicamente o funcionamento dos sistemas e dialogar com as equipes de engenharia.Informações adicionais🍛 Vale-alimentação ou vale-refeição;👨🏼🎓 Desconto em cursos, universidades e instituições de idiomas;📚 Academia Stefanini — plataforma com cursos on-line, gratuitos, atualizados e com certificado;🗣 Mentoring;💉 Clube de vantagens para consultas e exames;🏥 Assistência médica;🦷 Assistência odontológica;💰 Clube de vantagens e descontos nos melhores estabelecimentos;🛫 Clube de viagens;🐶 Convênio para pets.
