Ada dua cara mengubah perilaku model. Prompting artinya memberi instruksi dan contoh di setiap request. Fine-tuning artinya melatih ulang model dengan contoh-contohmu sampai bobotnya berubah, lalu memakai model hasil latihan itu. Bayangin pegawai baru di Toko Buku. Kamu bisa menempelkan kartu SOP di kasir yang dibaca tiap shift (prompt), atau mengirimnya ikut kursus berminggu-minggu (fine-tuning). Kartu SOP murah dan bisa diganti hari ini juga. Kursus mahal, butuh waktu, dan gak mengajarkan stok hari ini.
🧪 Tebakan cepat: pilihan A:
gpt-6-lunadengan prompt panjang yang membawa 3 contoh jawaban. Pilihan B:gpt-4.1-nanoyang sudah di-fine-tune, dengan prompt pendek tanpa contoh. Mana yang lebih murah per pertanyaan? Tebak dulu, jawabannya ada di bagian "Hitung biayanya untuk Toko Buku".
Tiga alat, tiga masalah
| Alat | Yang diubah | Cocok untuk | Kalau datanya berubah |
|---|---|---|---|
| Prompt + contoh (few-shot) | teks request | gaya, panjang, format, aturan | ganti teksnya, langsung berlaku |
| RAG / SQL saat request | data yang dikirim | pengetahuan: stok, harga, sinopsis, buku baru | otomatis ikut data terbaru |
| Fine-tuning | bobot model | gaya atau format yang konsisten di volume besar | latih ulang |
Bedakan dua jenis masalah. Gaya dan format ("selalu menyapa Kak, paling banyak 2 kalimat, akhiri dengan satu rekomendasi") bisa diajarkan lewat contoh. Pengetahuan ("Ronggeng Dukuh Paruk baru datang, stoknya 3") harus dikirim lewat RAG atau SQL, karena berubah setiap hari; fine-tuning gak cocok untuk fakta terbaru.
Urutannya: prompt dulu, fine-tuning paling akhir
- Tulis instruksi yang jelas (pelajaran Prompt Engineering).
- Tambah 2 sampai 5 contoh jawaban (few-shot).
- Kalau masalahnya pengetahuan: RAG atau SQL.
- Kalau masalahnya format JSON: Structured Outputs.
- Baru kalau semua itu sudah dicoba, evaluasi tetap gagal, dan volumenya besar: fine-tuning.
Jadi fine-tuning dipilih ketika kamu butuh konsistensi tinggi pada format atau gaya output tertentu dengan volume besar. Bukan karena contohnya sedikit (fine-tuning butuh minimal 10, dan OpenAI baru melihat perbaikan di 50 sampai 100), bukan karena prompt kepanjangan (fine-tuning gak memperbesar context window), dan bukan untuk fakta terbaru.
Seperti apa data fine-tuning
Datanya file JSONL: satu objek JSON utuh per baris, dalam format pesan chat. Tiap baris adalah satu contoh lengkap, dan pesan terakhirnya jawaban yang kamu mau (assistant):
{"messages":[{"role":"system","content":"Kamu asisten Toko Buku."},{"role":"user","content":"<data_stok>\nLaskar Pelangi | 12\nBumi Manusia | 0\nCantik Itu Luka | 5\nRonggeng Dukuh Paruk | 3\n</data_stok>\n<pertanyaan>Laskar Pelangi masih ada?</pertanyaan>"},{"role":"assistant","content":"Masih ada, Kak: Laskar Pelangi stoknya 12. Mau sekalian lihat Cantik Itu Luka?"}]}
Lalu file di-upload dan job dibuat (panduan "Supervised fine-tuning" OpenAI, dicek Oktober 2026):
const file = await client.files.create({ file: fs.createReadStream("gaya-toko.jsonl"), purpose: "fine-tune" });
const job = await client.fineTuning.jobs.create({
training_file: file.id,
model: "gpt-4.1-mini-2025-04-14",
method: { type: "supervised", supervised: { hyperparameters: { n_epochs: 3 } } },
});
// Setelah selesai: job.fine_tuned_model, misalnya "ft:gpt-4.1-mini-2025-04-14:tokobuku::abc123"
- Minimal 10 baris. OpenAI menyarankan mulai dengan 50 contoh yang ditulis dengan teliti, dan menulis bahwa perbaikan biasanya terlihat di 50 sampai 100 contoh.
- Satu epoch adalah satu kali lewat seluruh dataset. Biaya training dihitung per token yang dilatih: token di file × jumlah epoch.
- Data baru gak berarti melatih dari nol:
modelboleh diisi ID model yang sudah di-fine-tune, lalu dilatih lagi dengan contoh tambahan.
Kelemahan utamanya ada di sini: butuh data training yang berkualitas (contoh yang ditulis atau diperiksa manusia), waktu untuk evaluasi, dan biaya komputasi untuk training dan untuk tiap request model hasilnya.
Siapa yang masih menerima fine-tuning (Oktober 2026)
Halaman "Deprecations" OpenAI menulis platform fine-tuning self-serve sedang ditutup:
| Tanggal | Yang berubah |
|---|---|
| 7 Mei 2026 | organisasi yang belum pernah fine-tuning gak bisa membuat job lagi |
| 2 Juli 2026 | organisasi yang gak memakai model fine-tuned dalam 60 hari terakhir gak bisa membuat job |
| 6 Januari 2027 | gak ada job fine-tuning baru untuk siapa pun; model yang sudah jadi tetap bisa dipakai sampai base model-nya dimatikan |
Model yang masih bisa dilatih dan harganya (halaman "Pricing", per 1 juta token):
| Base model | Training | Input / output model hasilnya |
|---|---|---|
gpt-4.1-2025-04-14 |
$25 | $3 / $12 |
gpt-4.1-mini-2025-04-14 |
$5 | $0,80 / $3,20 |
gpt-4.1-nano-2025-04-14 |
$1,50 | $0,20 / $0,80 (dimatikan 23 Oktober 2026) |
Untuk model open-weight (misalnya lewat Ollama di pelajaran nanti), kamu bisa fine-tune sendiri, tapi GPU dan pekerjaannya kamu yang tanggung.
Evaluasi sebelum dan sesudah
Panduan OpenAI menulis: siapkan evaluasi dulu, baru fine-tuning. Caranya:
- Kumpulkan 30 sampai 50 pertanyaan nyata yang gak ada di data training.
- Tulis pemeriksaan yang bisa dihitung kode: paling banyak 2 kalimat, ada sapaan "Kak", angka stok sama dengan hasil SQL.
- Jalankan versi prompt, versi prompt + few-shot, dan (kalau ada) versi fine-tuned dengan pertanyaan yang sama, lalu bandingkan berapa persen yang lolos.
Kalau prompt + few-shot sudah lolos hampir semua, fine-tuning gak punya apa-apa lagi untuk diperbaiki. OpenAI juga menutup platform Evals-nya (jadi read-only 31 Oktober 2026, mati 30 November 2026), jadi simpan set evaluasi dan skripnya di repo sendiri.
Hitung biayanya untuk Toko Buku
Pertanyaan stok biasa (dari pelajaran pertama): 400 token input, 40 token output. Tiga contoh few-shot, masing-masing sekitar 120 token (baris JSONL di atas 119 token dengan tokenizer o200k_base), menambah 3 × 120 = 360 token input. Model fine-tuned gak butuh contoh, jadi tetap 400 token.
| Pilihan | Per pertanyaan | 10.000 pertanyaan sehari, 30 hari |
|---|---|---|
gpt-6-luna + 3 contoh: (760 × $0,10 + 40 × $0,50) / 1 juta |
$0,000096 | $28,80 |
fine-tuned gpt-4.1-nano: (400 × $0,20 + 40 × $0,80) / 1 juta |
$0,000112 | $33,60 |
fine-tuned gpt-4.1-mini: (400 × $0,80 + 40 × $3,20) / 1 juta |
$0,000448 | $134,40 |
Pilihan A, gpt-6-luna dengan 3 contoh, lebih murah. Itu jawaban tebakannya. Prompt pendek gak menolong kalau harga per token model fine-tuned lebih mahal. Biaya training-nya sendiri kecil (50 contoh × 120 token × 3 epoch = 18.000 token × $5 / 1 juta = $0,09 untuk mini), tapi karena tiap pertanyaan malah lebih mahal, fine-tuning gak pernah balik modal di toko ini, berapa pun volumenya. Biaya yang lebih besar justru waktu menulis 50 contoh dan evaluasinya. Di Lab, coba 5 contoh di prompt (1.000 token input): prompting jadi $0,00012 dan nano $0,000112, jadi nano baru menang. Tapi nano dimatikan 23 Oktober 2026, dan toko yang belum pernah fine-tuning sudah gak bisa membuat job sejak 7 Mei 2026.
⚠️ Jebakan yang sering ketemu
- Fine-tuning untuk fakta. Stok, harga, dan buku baru berubah tiap hari. Pakai RAG atau SQL; model hasil training membeku di data training-nya.
- Lompat ke fine-tuning tanpa evaluasi. Tanpa set uji, kamu gak tahu apakah hasilnya lebih baik dari prompt + few-shot.
- Lupa menghitung harga per request. Model fine-tuned bisa lebih mahal per token daripada model kecil terbaru. Hitung per pertanyaan × volume, bukan cuma biaya training.
- Mengandalkan platform yang sedang ditutup. Cek dulu halaman Deprecations: per Oktober 2026, fine-tuning self-serve OpenAI berhenti menerima job baru pada 6 Januari 2027.
TL;DR: Prompting memberi instruksi dan contoh di tiap request; fine-tuning melatih bobot model dengan contoh JSONL ({"messages":[system, user, assistant]} per baris, minimal 10, mulai dengan 50). Urutannya: instruksi, few-shot, RAG atau SQL untuk pengetahuan, Structured Outputs untuk format JSON, baru fine-tuning kalau butuh konsistensi format atau gaya di volume besar dan evaluasi tetap gagal. Kelemahannya: butuh data berkualitas, evaluasi, dan biaya komputasi; data baru bisa melanjutkan model fine-tuned yang ada. Per Oktober 2026 OpenAI menutup fine-tuning self-serve (gak ada job baru mulai 6 Januari 2027); gpt-4.1-mini training $5 per 1 juta token, inference $0,80 / $3,20. Untuk Toko Buku, gpt-6-luna + 3 contoh ($0,000096 per pertanyaan) lebih murah daripada fine-tuned nano ($0,000112) atau mini ($0,000448), jadi fine-tuning gak pernah balik modal.
