LLM の選択

重要なポイント

現在市場で提供されている主要なフラッグシップモデルは、いずれも NocoBase アプリケーションの中核部分を構築できます。

モデルによって、初回出力の完成度、構築時間、問題数に違いがあります。利用可能なモデルサービス、地域のネットワーク状況、コスト、チームの好みに応じて選択してください。

この評価では、標準化された CRM 要件一式(営業案件・顧客フォローアップシステム)を使用し、各モデルが構築したアプリケーションを検証しました。

評価ディメンション標準化された評価項目
1461

評価ディメンション

この評価は、NocoBase の中核機能、設定機能、基盤コンポーネントを対象としています。また、各モデルが要件を理解し、対応する構築タスクを実行できるかどうかも確認します。

機能評価の観点
データモデリングコレクション、フィールド型、リレーション、必須・一意制約、デフォルト値
ページと機能ナビゲーション、一覧、フォーム、詳細、検索、フィルター、ダッシュボード
ビジネスロジックステータス遷移、業務バリデーション、計算ルール、関連データの整合性
権限とセキュリティロール、メニュー権限、操作権限、データスコープ、フィールド権限
ワークフロー自動化トリガー、ノード、条件分岐、通知、データへの副作用、失敗時のリトライ
ユーザー体験情報アーキテクチャ、フォームの操作性、操作フィードバック、レスポンシブレイアウト
堅牢性不正な入力、重複送信、失敗時の整合性、データ量、ネットワーク復旧
要件カバレッジ明示された要件と中核となる業務フローがすべて実装されているか
妥当な拡張モデルが自発的に追加した機能に明確な業務上の目的があるか
スコープ制御重複、未使用、またはスコープ外の業務モジュールが含まれていないか

評価結果

評価ディメンションGPT-5.6 SolDeepSeek-V4-FlashQwen3.8-MaxGPT-5.6 Luna
データモデリング✓ 合格✓ 合格✓ 合格✓ 合格
機能の完成度✓ 合格✓ 合格✓ 合格◐ 一部合格
ビジネスロジック✓ 合格✓ 合格✓ 合格✓ 合格
権限とセキュリティ✓ 合格✓ 合格✓ 合格✓ 合格
ワークフロー自動化✓ 合格✓ 合格✓ 合格✓ 合格
ユーザー体験✓ 合格✓ 合格✓ 合格◐ 一部合格
堅牢性✓ 合格✓ 合格✓ 合格✓ 合格
要件カバレッジ✓ 合格✓ 合格✓ 合格◐ 一部合格
妥当な拡張✓ 合格✓ 合格✓ 合格✓ 合格
スコープ制御✓ 合格✓ 合格✓ 合格✓ 合格
構築速度比較的速い比較的速い遅い最速
単回実行の品質スコア90919077
単回実行の品質スコア

単回実行の品質スコアは 100 点満点です。最初の完全な受け入れ検査で見つかったバグ 1 件につき 1 点を減点し、モデルによる初回構築の品質を示します。その後、フィードバックと修正を重ねることで、モデルはこれらの問題を解決できます。

構築時間に関する注意

構築時間は、コンピューターのハードウェア性能、依存関係のインストールと Build コンパイル、モデルサービスの応答速度、ネットワーク状況などの影響を受けます。

評価項目の詳細

61 個の標準化された評価項目は、構築結果の品質 46 項目、要件理解と妥当な拡張 7 項目、構築プロセスの効率 8 項目という 3 つのレイヤーで構成されています。すべての項目に一貫した検査方法と合格基準を適用します。

レイヤー 1:構築結果の品質(46 項目)

評価ディメンション標準化された評価項目
データモデリング(8 項目)DM-01 必要なコレクションがすべて作成されているか
DM-02 必要なフィールドがすべて存在するか
DM-03 フィールド型が正しいか
DM-04 1 対 1 のリレーションを作成して使用できるか
DM-05 1 対多のリレーションを作成して使用できるか
DM-06 多対多のリレーションを作成して使用できるか
DM-07 必須、一意、デフォルト値のルールが有効になるか
DM-08 関連データを表示してフィルタリングできるか
機能の完成度(6 項目)FC-01 必要なページとナビゲーションエントリがすべて存在するか
FC-02 レコードを作成、表示、編集、削除できるか
FC-03 中核となるユーザージャーニーを最初から最後まで完了できるか
FC-04 主要な業務操作を実行できるか
FC-05 検索、フィルタリング、並べ替えを利用できるか
FC-06 ダッシュボードに必要な内容が含まれているか
ビジネスロジック(6 項目)BL-01 営業案件のステータス遷移ルールが正しいか
BL-02 業務バリデーションルールが有効になるか
BL-03 計算フィールドと集計定義が正しいか
BL-04 リード変換後にデータが正しくマッピングされるか
BL-05 関連レコードの更新時に整合性が維持されるか
BL-06 削除とアーカイブのルールが正しいか
権限とセキュリティ(7 項目)ACL-01 必要なロールがすべて作成されているか
ACL-02 テストユーザーとロールの割り当てが正しいか
ACL-03 ページとメニューへのアクセス権限が正しいか
ACL-04 データ操作権限が正しいか
ACL-05 レコードレベルのデータスコープが正しいか
ACL-06 フィールドレベルの表示・編集権限が正しいか
ACL-07 ロールの変更とロールの組み合わせが正しく機能するか
ワークフロー自動化(7 項目)WF-01 必要なワークフローがすべて作成され、有効化されているか
WF-02 ワークフローのトリガーが正しく設計されているか
WF-03 ノードの順序とデータ転送が正しいか
WF-04 条件と分岐結果が正しいか
WF-05 レコードの読み書きによる副作用が正しいか
WF-06 通知の受信者と内容が正しいか
WF-07 失敗ログとリトライ動作を追跡できるか
ユーザー体験(7 項目)UX-01 ナビゲーションと情報アーキテクチャが明確か
UX-02 一覧の情報とよく使う操作が使いやすいか
UX-03 フォームのグループ分け、順序、ガイダンスが明確か
UX-04 詳細ページが内容の把握と後続の操作に対応しているか
UX-05 操作フィードバックとステータス変化が明確か
UX-06 異なる画面幅でもアプリケーションを使用できるか
UX-07 空、読み込み中、エラーの各状態が適切に用意されているか
堅牢性(5 項目)ROB-01 不正な入力と境界値入力が安全に処理されるか
ROB-02 重複送信によって副作用が重複して発生しないか
ROB-03 実行に失敗した場合もデータの整合性が維持されるか
ROB-04 データが空の場合や大量の場合でもアプリケーションを使用できるか
ROB-05 セッションまたはネットワークの中断後にアプリケーションを復旧できるか

レイヤー 2:要件理解と妥当な拡張(7 項目)

評価ディメンション標準化された評価項目
要件カバレッジ(3 項目)COV-01 プロンプトで要求されたすべてのページと操作が実装されているか
COV-02 プロンプトで要求されたすべてのデータ、権限、ワークフローが実装されているか
COV-03 メインプロセスに必要で、プロンプトでは個別に指定されていない機能が備わっているか
妥当な拡張(2 項目)EXT-01 自発的に追加されたフィールド、リレーション、ルールが必要なものか
EXT-02 自発的に追加されたページ、操作、集計に明確な目的があるか
スコープ制御(2 項目)SCOPE-01 重複または未使用の機能や設定が生成されていないか
SCOPE-02 タスクのスコープと無関係な業務モジュールが追加されていないか

レイヤー 3:構築プロセスの効率(8 項目)

評価ディメンション標準化された評価項目
初回利用可能までの時間(1 項目)EFF-FIRST-01 最初に利用可能な結果へ到達するまでに必要な時間
収束効率(3 項目)EFF-FINAL-01 最終受け入れまでに必要な反復回数
EFF-FINAL-02 最終状態へ到達するまでに必要な合計時間
EFF-FINAL-03 最終状態へ到達するまでに消費したトークン数
人による介入(1 項目)EFF-HUMAN-01 評価中に人が介入した回数
再現性(3 項目)EFF-STABLE-01 同じタスクを繰り返し実行したとき、一貫した受け入れ結果が得られるか
EFF-STABLE-02 3 回の実行を通じてコレクション、リレーション、ロール、ワークフローが一貫しているか
EFF-STABLE-03 反復回数と所要時間のばらつきが制御された範囲に収まっているか

次のステップ