Pemilihan LLM

Kesimpulan utama

Model flagship terkemuka yang tersedia di pasaran saat ini semuanya dapat membangun bagian inti aplikasi NocoBase.

Setiap model memiliki perbedaan dalam kelengkapan hasil awal, waktu pembangunan, dan jumlah masalah. Pilihlah berdasarkan layanan model yang telah tersedia, kondisi jaringan di wilayah Anda, biaya, serta preferensi tim.

Evaluasi ini menggunakan satu set kebutuhan CRM terstandar (sistem peluang penjualan dan tindak lanjut pelanggan) untuk memvalidasi aplikasi yang dibangun oleh berbagai model:

Dimensi evaluasi	Item evaluasi terstandar
14	61

Dimensi evaluasi

Evaluasi ini mencakup kemampuan inti, kemampuan konfigurasi, dan komponen dasar NocoBase. Evaluasi ini juga memeriksa apakah setiap model dapat memahami kebutuhan dan menjalankan tugas pembangunan yang sesuai.

Kemampuan	Fokus evaluasi
Pemodelan data	Collection, tipe Field, relasi, batasan wajib dan unik, serta nilai default
Halaman dan fitur	Navigasi, daftar, formulir, detail, pencarian, filter, dan dashboard
Logika bisnis	Transisi status, validasi bisnis, aturan perhitungan, dan konsistensi data terkait
Permission dan keamanan	Role, Permission menu, Permission tindakan, cakupan data, dan Permission Field
Otomatisasi Workflow	Pemicu, node, cabang kondisi, notifikasi, efek samping data, dan percobaan ulang saat gagal
Pengalaman pengguna	Arsitektur informasi, pengalaman formulir, umpan balik tindakan, dan layout responsif
Ketangguhan	Input tidak valid, pengiriman duplikat, konsistensi saat gagal, volume data, dan pemulihan jaringan
Cakupan kebutuhan	Apakah kebutuhan eksplisit dan alur bisnis inti telah diterapkan sepenuhnya
Perluasan yang wajar	Apakah fitur yang ditambahkan secara proaktif oleh model memiliki tujuan bisnis yang jelas
Kontrol cakupan	Apakah hasil memuat modul bisnis yang duplikat, tidak digunakan, atau berada di luar cakupan

Hasil evaluasi

Dimensi evaluasi	GPT-5.6 Sol	DeepSeek-V4-Flash	Qwen3.8-Max	GPT-5.6 Luna
Pemodelan data	✓ Lulus	✓ Lulus	✓ Lulus	✓ Lulus
Penyelesaian fitur	✓ Lulus	✓ Lulus	✓ Lulus	◐ Lulus sebagian
Logika bisnis	✓ Lulus	✓ Lulus	✓ Lulus	✓ Lulus
Permission dan keamanan	✓ Lulus	✓ Lulus	✓ Lulus	✓ Lulus
Otomatisasi Workflow	✓ Lulus	✓ Lulus	✓ Lulus	✓ Lulus
Pengalaman pengguna	✓ Lulus	✓ Lulus	✓ Lulus	◐ Lulus sebagian
Ketangguhan	✓ Lulus	✓ Lulus	✓ Lulus	✓ Lulus
Cakupan kebutuhan	✓ Lulus	✓ Lulus	✓ Lulus	◐ Lulus sebagian
Perluasan yang wajar	✓ Lulus	✓ Lulus	✓ Lulus	✓ Lulus
Kontrol cakupan	✓ Lulus	✓ Lulus	✓ Lulus	✓ Lulus
Kecepatan pembangunan	Relatif cepat	Relatif cepat	Lambat	Paling cepat
Skor kualitas satu kali proses	90	91	90	77

Skor kualitas satu kali proses

Skor kualitas satu kali proses memiliki nilai maksimal 100 poin. Satu poin dikurangi untuk setiap bug yang ditemukan selama pemeriksaan penerimaan lengkap pertama, sehingga memberikan gambaran tentang kualitas hasil pembangunan awal model. Model dapat menyelesaikan masalah tersebut melalui umpan balik dan revisi berikutnya.

Catatan tentang waktu pembangunan

Waktu pembangunan dipengaruhi oleh berbagai faktor, seperti kinerja hardware komputer, instalasi dependensi dan kompilasi Build, kecepatan respons layanan model, serta kondisi jaringan.

Detail item evaluasi

Sebanyak 61 item evaluasi terstandar disusun dalam tiga lapisan: 46 item untuk kualitas hasil pembangunan, 7 item untuk pemahaman kebutuhan dan perluasan yang wajar, serta 8 item untuk efisiensi proses pembangunan. Setiap item menggunakan metode pemeriksaan dan kriteria kelulusan yang konsisten.

Lapisan 1: Kualitas hasil pembangunan (46 item)

Dimensi evaluasi	Item evaluasi terstandar
Pemodelan data (8 item)	`DM-01` Apakah semua Collection yang diperlukan telah dibuat `DM-02` Apakah semua Field yang diperlukan tersedia `DM-03` Apakah tipe Field sudah benar `DM-04` Apakah relasi satu-ke-satu dapat dibuat dan digunakan `DM-05` Apakah relasi satu-ke-banyak dapat dibuat dan digunakan `DM-06` Apakah relasi banyak-ke-banyak dapat dibuat dan digunakan `DM-07` Apakah aturan wajib, unik, dan nilai default berlaku `DM-08` Apakah data terkait dapat dilihat dan difilter
Penyelesaian fitur (6 item)	`FC-01` Apakah semua halaman dan entry navigasi yang diperlukan tersedia `FC-02` Apakah record dapat dibuat, dilihat, diedit, dan dihapus `FC-03` Apakah alur pengguna inti dapat diselesaikan dari awal hingga akhir `FC-04` Apakah tindakan bisnis utama tersedia `FC-05` Apakah pencarian, filter, dan sorting tersedia `FC-06` Apakah dashboard memuat konten yang diperlukan
Logika bisnis (6 item)	`BL-01` Apakah aturan transisi status peluang sudah benar `BL-02` Apakah aturan validasi bisnis berlaku `BL-03` Apakah Field perhitungan dan definisi statistik sudah benar `BL-04` Apakah data dipetakan dengan benar setelah konversi lead `BL-05` Apakah pembaruan pada record terkait tetap konsisten `BL-06` Apakah aturan penghapusan dan pengarsipan sudah benar
Permission dan keamanan (7 item)	`ACL-01` Apakah semua Role yang diperlukan telah dibuat `ACL-02` Apakah Pengguna uji dan penetapan Role sudah benar `ACL-03` Apakah Permission akses halaman dan menu sudah benar `ACL-04` Apakah Permission operasi data sudah benar `ACL-05` Apakah cakupan data pada level record sudah benar `ACL-06` Apakah Permission melihat dan mengedit pada level Field sudah benar `ACL-07` Apakah perubahan Role dan kombinasi Role berfungsi dengan benar
Otomatisasi Workflow (7 item)	`WF-01` Apakah semua Workflow yang diperlukan telah dibuat dan diaktifkan `WF-02` Apakah pemicu Workflow dirancang dengan benar `WF-03` Apakah urutan node dan transfer data sudah benar `WF-04` Apakah kondisi dan hasil cabang sudah benar `WF-05` Apakah efek samping pembacaan dan penulisan record sudah benar `WF-06` Apakah penerima dan isi notifikasi sudah benar `WF-07` Apakah log kegagalan dan perilaku percobaan ulang dapat ditelusuri
Pengalaman pengguna (7 item)	`UX-01` Apakah navigasi dan arsitektur informasi sudah jelas `UX-02` Apakah informasi daftar dan tindakan umum mudah digunakan `UX-03` Apakah pengelompokan, urutan, dan panduan formulir sudah jelas `UX-04` Apakah halaman detail membantu pemahaman dan tindakan tindak lanjut `UX-05` Apakah umpan balik tindakan dan perubahan status sudah jelas `UX-06` Apakah aplikasi dapat digunakan pada berbagai lebar layar `UX-07` Apakah status kosong, loading, dan error sudah lengkap
Ketangguhan (5 item)	`ROB-01` Apakah input tidak valid dan input pada nilai batas ditangani dengan aman `ROB-02` Apakah pengiriman duplikat menimbulkan efek samping duplikat `ROB-03` Apakah data tetap konsisten saat eksekusi gagal `ROB-04` Apakah aplikasi tetap dapat digunakan dengan dataset kosong dan berukuran besar `ROB-05` Apakah aplikasi dapat pulih setelah sesi atau jaringan terputus

Lapisan 2: Pemahaman kebutuhan dan perluasan yang wajar (7 item)

Dimensi evaluasi	Item evaluasi terstandar
Cakupan kebutuhan (3 item)	`COV-01` Apakah semua halaman dan tindakan yang diminta dalam prompt telah diterapkan `COV-02` Apakah semua data, Permission, dan Workflow yang diminta dalam prompt telah diterapkan `COV-03` Apakah kemampuan yang diperlukan oleh proses utama tetapi tidak disebutkan satu per satu dalam prompt tersedia
Perluasan yang wajar (2 item)	`EXT-01` Apakah Field, relasi, dan aturan yang ditambahkan secara proaktif memang diperlukan `EXT-02` Apakah halaman, tindakan, dan statistik yang ditambahkan secara proaktif memiliki tujuan yang jelas
Kontrol cakupan (2 item)	`SCOPE-01` Apakah fitur dan konfigurasi yang duplikat atau tidak digunakan telah dihasilkan `SCOPE-02` Apakah modul bisnis yang tidak terkait dengan cakupan tugas telah ditambahkan

Lapisan 3: Efisiensi proses pembangunan (8 item)

Dimensi evaluasi	Item evaluasi terstandar
Waktu hingga hasil pertama yang dapat digunakan (1 item)	`EFF-FIRST-01` Waktu yang diperlukan untuk mencapai hasil pertama yang dapat digunakan
Efisiensi konvergensi (3 item)	`EFF-FINAL-01` Jumlah iterasi yang diperlukan untuk mencapai penerimaan akhir `EFF-FINAL-02` Total waktu yang diperlukan untuk mencapai status akhir `EFF-FINAL-03` Token yang digunakan untuk mencapai status akhir
Intervensi manusia (1 item)	`EFF-HUMAN-01` Jumlah intervensi manusia selama evaluasi
Keterulangan (3 item)	`EFF-STABLE-01` Apakah pengulangan tugas yang sama menghasilkan hasil penerimaan yang konsisten `EFF-STABLE-02` Apakah Collection, relasi, Role, dan Workflow konsisten dalam tiga kali pengujian `EFF-STABLE-03` Apakah variasi jumlah iterasi dan waktu tetap terkendali

Langkah berikutnya

Membangun Bersama AI Agent — Deskripsikan halaman dan interaksi dengan bahasa natural, lalu lakukan iterasi secara berkelanjutan bersama AI Agent
Mulai Cepat AI Portal — Buat dan jalankan AI Portal pertama Anda
Pemodelan Data — Buat Collection, Field, dan relasi dengan bahasa natural
Manajemen Workflow — Buat, edit, aktifkan, dan lakukan diagnosis pada Workflow
Konfigurasi Permission — Kelola Role, kebijakan Permission, penetapan Pengguna, dan penilaian risiko

#Pemilihan LLM

#Dimensi evaluasi

#Hasil evaluasi

#Detail item evaluasi

#Lapisan 1: Kualitas hasil pembangunan (46 item)

#Lapisan 2: Pemahaman kebutuhan dan perluasan yang wajar (7 item)

#Lapisan 3: Efisiensi proses pembangunan (8 item)

#Langkah berikutnya