Seleção de LLM
Os principais modelos de ponta disponíveis atualmente no mercado são capazes de construir a estrutura central de uma aplicação NocoBase.
Os modelos apresentam diferenças quanto à completude do resultado inicial, ao tempo de construção e à quantidade de problemas. Escolha um modelo considerando os serviços já disponíveis, as condições de rede da sua região, o custo e as preferências da sua equipe.
Esta avaliação utilizou um conjunto padronizado de requisitos de CRM (um sistema de oportunidades de vendas e acompanhamento de clientes) para validar as aplicações construídas por diferentes modelos:
Dimensões de avaliação
A avaliação abrange os principais recursos, as capacidades de configuração e os componentes fundamentais do NocoBase. Ela também verifica se cada modelo consegue compreender os requisitos e executar as tarefas de construção correspondentes.
Resultados da avaliação
A pontuação de qualidade em uma única execução tem o máximo de 100 pontos. Um ponto é descontado para cada bug encontrado durante a primeira verificação completa de aceitação, fornecendo uma indicação da qualidade da construção inicial do modelo. O modelo pode resolver esses problemas por meio de feedback e revisões posteriores.
O tempo de construção é afetado por fatores como o desempenho do hardware do computador, a instalação de dependências e a compilação do Build, a velocidade de resposta do serviço de modelo e as condições da rede.
Detalhes dos itens de avaliação
Os 61 itens de avaliação padronizados estão organizados em três camadas: 46 itens para a qualidade do resultado da construção, 7 para a compreensão dos requisitos e extensões razoáveis e 8 para a eficiência do processo de construção. Todos os itens utilizam métodos de inspeção e critérios de aprovação consistentes.
Camada 1: Qualidade do resultado da construção (46 itens)
Camada 2: Compreensão dos requisitos e extensões razoáveis (7 itens)
Camada 3: Eficiência do processo de construção (8 itens)
Próximos passos
- Construção com AI Agent — Descreva páginas e interações em linguagem natural e faça iterações contínuas com um AI Agent
- Início rápido do AI Portal — Crie e execute o seu primeiro AI Portal
- Modelagem de Dados — Crie coleções, campos e relacionamentos com linguagem natural
- Gerenciamento de Fluxos de Trabalho — Crie, edite, habilite e diagnostique fluxos de trabalho
- Configuração de Permissões — Gerencie papéis, políticas de permissão, atribuições de usuários e avaliações de risco