A aceitação de projetos de IA adiciona a dimensão de "eficácia" — não basta que a funcionalidade seja 100% aprovada; a precisão no cenário principal deve atingir ≥95%, a taxa de alucinação ≤3%, a latência P99 ≤5 segundos e a segurança 100% aprovada. De acordo com o "Relatório de Desenvolvimento de Aplicações de IA 2025" da CAICT, a falta de critérios de aceitação sistemáticos é a principal causa de disputas em projetos de IA. Este artigo fornece um modelo completo de critérios de aceitação em quatro dimensões: funcionalidade, desempenho, segurança e eficácia, garantindo que a aceitação seja baseada em evidências.
Como passar na aceitação funcional?
Aceitação de funcionalidades básicas
| Item de aceitação | Critério de aceitação | Método de teste |
|---|---|---|
| Todos os pontos funcionais implementados | 100% das funcionalidades contratadas implementadas | Verificação item a item da lista de testes funcionais |
| Controle de acesso efetivo | Diferentes papéis visualizam conteúdos diferentes | Teste com múltiplos papéis |
| Fluxo de dados normal | Sincronização correta dos dados entre sistemas | Teste de fluxo ponta a ponta |
| Tratamento de exceções normal | Mensagens de alerta e fallback em situações de exceção | Teste de cenários de exceção |
Aceitação de funcionalidades específicas de IA
| Item de aceitação | Critério de aceitação | Método de teste |
|---|---|---|
| Reconhecimento de intenção | Precisão no reconhecimento de intenções principais ≥90% | Verificação com mais de 200 casos de teste |
| Recuperação de conhecimento | Recall@10 ≥85% | Avaliação em conjunto de teste padrão |
| Geração de respostas | Precisão das respostas ≥85% | Anotação manual de mais de 100 perguntas reais |
| Transferência para atendente humano | Fluxo de transferência fluido, contexto completo | Simulação de cenários de baixa confiança |
Quais são os critérios de aceitação de desempenho?
| Indicador | Valor padrão | Condição de teste |
|---|---|---|
| Tempo médio de resposta | ≤2 segundos | Carga normal |
| Tempo de resposta P99 | ≤5 segundos | Carga normal |
| Vazão de pico | ≥ valor contratado | Teste de carga |
| Disponibilidade do sistema | ≥99,9% | Operação por 7 dias |
| Uso de memória GPU | ≤ valor contratado | Execução contínua |
| Suporte a concorrência | ≥ número de usuários concorrentes contratado | Teste de concorrência |
Quais itens são obrigatórios na aceitação de segurança?
Segurança de dados
| Item de aceitação | Padrão | Método de teste |
|---|---|---|
| Criptografia de dados em trânsito | TLS 1.2+ | Verificação por captura de pacotes |
| Criptografia de dados em repouso | AES-256 | Verificação de configuração |
| Mascaramento de dados sensíveis | Documento de identidade / número de telefone / número do cartão bancário | Mais de 100 casos de teste |
| Controle de acesso | RBAC + permissões a nível de documento | Teste de acesso não autorizado |
Segurança da IA
| Item de aceitação | Padrão | Método de teste |
|---|---|---|
| Proteção contra injeção de prompt | Comandos maliciosos não são executados | Mais de 50 testes de ataque por injeção |
| Controle de alucinações | Taxa de alucinação no cenário principal ≤5% | Verificação por anotação manual |
| Filtragem de saída | Conteúdo proibido não é exibido | Teste com palavras sensíveis e conteúdo proibido |
| Auditoria de operações | Registro completo de operações críticas | Verificação da integridade dos logs |
Lista de verificação de segurança
Como avaliar a aceitação de eficácia? Esta é uma dimensão exclusiva dos projetos de IA
Indicadores de eficácia
| Cenário | Meta de precisão | Meta de taxa de alucinação |
|---|---|---|
| Cenário principal | ≥95% | ≤3% |
| Cenário geral | ≥85% | ≤10% |
| Cenário de borda | Permitir "não sei" | — |
Métodos de teste de eficácia
| Método | Tamanho da amostra | Executado por |
|---|---|---|
| Avaliação automatizada | Mais de 500 registros | Equipe técnica |
| Avaliação com anotação manual | Mais de 100 registros | Equipe de negócio |
| Teste com usuários reais | Mais de 50 pessoas | Usuários alvo |
| Teste A/B | Comparação com o sistema antigo | Equipe de operações |
Teste de degradação de eficácia
Execução contínua por 7 dias, a flutuação da precisão não deve exceder ±3%.
O que inclui a aceitação da documentação?
| Tipo de documento | Conteúdo obrigatório |
|---|---|
| Manual de operação | Passos de operação do usuário, capturas de tela, perguntas frequentes |
| Manual de operação e manutenção | Arquitetura do sistema, etapas de implantação, indicadores de monitoramento, plano de contingência |
| Documentação da API | Descrição das interfaces, exemplos de requisição/resposta, códigos de erro |
| Materiais de treinamento | PPT de treinamento, tutoriais em vídeo, questões de avaliação |
| Gestão da base de conhecimento | Fluxo de atualização de documentos, modelos, padrões de qualidade |
Como é o processo de aceitação?
```
Pré-aceitação (interna) → Correção de problemas → Aceitação formal (com participação do cliente)
↓
Aceitação funcional → Aceitação de desempenho → Aceitação de segurança → Aceitação de eficácia → Aceitação da documentação
↓
Relatório de aceitação → Lista de pendências → Correção dentro do prazo → Lançamento oficial
```
Critérios de aprovação na aceitação
Perguntas frequentes
Qual a diferença entre "aceitação de eficácia" em projetos de IA e "teste funcional" em software tradicional?
O teste funcional do software tradicional é binário — a funcionalidade existe ou não, e os resultados são previsíveis. A aceitação de eficácia em projetos de IA é probabilística — a mesma entrada pode gerar saídas diferentes, e a precisão é de 95%, não 100%. Portanto, em projetos de IA é obrigatório definir um "limiar de precisão" e o "tamanho da amostra de teste", em vez de simplesmente verificar se a funcionalidade está presente.
Como são definidos os "cenários principais" e "cenários gerais" na aceitação de eficácia?
Os cenários principais são aqueles que impactam diretamente a receita do negócio ou a conformidade (como aprovação de controle de risco, consultas de compliance), com meta de precisão ≥95%; os cenários gerais são auxiliares (como recomendações de produtos, orientações de uso), bastando precisão ≥85%. Recomenda-se acordar por escrito com a área de negócio a classificação dos cenários e os padrões correspondentes logo no início do projeto.
O que fazer se a eficácia diminuir após a aceitação do projeto de IA?
Na aceitação, deve-se definir um "período de garantia de eficácia" — geralmente de 3 a 6 meses. Durante esse período, se a precisão cair mais de 5%, o fornecedor deve otimizar sem custos adicionais. As causas comuns de degradação incluem base de conhecimento desatualizada, mudanças nas regras de negócio, e desvio na distribuição dos dados. O documento de aceitação deve incluir mecanismos de otimização periódica e a divisão de responsabilidades.
Deseja estabelecer critérios de aceitação para projetos de IA? Agende uma consulta gratuita sobre aceitação