Kalibrasi, Identifiabilitas, Validasi, dan Ketidakpastian Model

Satu pertanyaan, satu batas klaim

Pertanyaan operasional modul ini adalah: “Dapatkah model pertumbuhan yang dikalibrasi dengan pengamatan hari ke-0 sampai hari ke-16 memprediksi populasi pada hari ke-18 sampai hari ke-24?” Pertanyaan tersebut menetapkan besaran yang diprediksi, jendela kalibrasi, dan jendela data uji sebelum hasil dilihat.

Contoh memakai populasi kultur sintetis dalam juta sel. Data dibuat oleh kode dari model logistik dan galat acak dengan benih tetap. Data itu berguna untuk memeriksa alur inferensi karena kebenaran pembangkitnya diketahui, tetapi bukan bukti biologis tentang organisme, laboratorium, atau proses nyata apa pun.

Klaim yang diuji sengaja sempit: perbandingan dua model kandidat pada satu rancangan data sintetis. Keberhasilan optimasi, AICc yang lebih kecil, atau cakupan data uji tidak menjadikan model benar secara universal dan tidak menggantikan validasi eksternal.

Kontrak model dan pengamatan

Misalkan $N(t)$ menyatakan populasi laten pada waktu $t$ hari. Pengamatan mengikuti $y_i=N(t_i)+\varepsilon_i$, dengan $\varepsilon_i$ saling bebas dan berdistribusi normal dengan rerata nol serta varians $\sigma^2$. Nilai awal $N_0=5$ juta sel dianggap diketahui dari rancangan eksperimen; karena $y_0$ tetap mengandung galat ukur, pengamatan pada hari ke-0 tidak harus sama persis dengan $N_0$.

Dua model kandidat memakai nilai awal yang sama. Model eksponensial memiliki satu parameter dinamik, sedangkan model logistik menambahkan daya dukung:

$N_E(t;r)=N_0e^{rt},\qquad N_L(t;r,K)=\frac{K}{1+(K/N_0-1)e^{-rt}}.$

Identifiabilitas diperiksa sebelum optimasi

Bayangkan mekanisme awal ditulis sebagai $dN/dt=\alpha\beta N(1-N/K)$, dengan $\alpha$ frekuensi pertemuan dan $\beta$ keberhasilan pertumbuhan per pertemuan. Jika hanya $N(t)$ yang diamati, data hanya melihat hasil kali $r=\alpha\beta$. Untuk setiap $c>0$, pasangan baru $(c\alpha,\beta/c)$ menghasilkan lintasan yang sama. Karena data ideal tanpa galat pun tidak dapat memilih satu pasangan, $\alpha$ dan $\beta$ tidak teridentifikasi secara struktural.

Setelah reparameterisasi menjadi $r=\alpha\beta$, parameter $r$ dan $K$ dapat teridentifikasi secara struktural pada lintasan ideal yang berubah terhadap waktu. Memang, $(1/N)dN/dt=r-(r/K)N$: intersep menentukan $r$, sedangkan kemiringan menentukan $-r/K$. Kesimpulan ini bergantung pada pengamatan skala populasi, variasi nilai $N$, dan ketepatan bentuk persamaan.

Identifiabilitas struktural tidak menjamin estimasi yang tajam dari data terbatas dan bising. Ketika $N/K\ll1$, faktor $1-N/K$ mendekati satu sehingga model logistik hampir tidak dapat dibedakan dari model eksponensial. Dalam keadaan itu, banyak nilai $K$ yang besar dapat memberi lintasan awal yang hampir sama: masalahnya praktis, bukan lagi struktural.

Rancangan data dibekukan sebelum estimasi

Notebook membuat tiga belas pengamatan pada hari $0,2,\ldots,24$ dengan parameter pembangkit $r=0.28$ hari$^{-1}$, $K=180$ juta sel, dan simpangan baku galat 2.5 juta sel. Benih data adalah 20260823. Nilai dibulatkan menjadi enam angka di belakang koma sebelum diserialisasi dan sebelum dianalisis, sehingga hash mengikat byte data yang benar-benar masuk ke estimasi.

Serialisasi memakai kepala kolom time_day,population_million_cells, satu angka desimal untuk waktu, enam angka desimal untuk populasi, pengodean UTF-8, akhir baris LF, dan satu baris akhir. Panjangnya 228 byte dengan SHA-256 932d0d27c2917936b0aa51d283d7b2fe2a5eba95989a6c785fa32d3d18dd2811.

Sembilan titik hingga hari ke-16 menjadi data kalibrasi. Empat titik pada hari ke-18 sampai ke-24 disisihkan sebagai data uji temporal. Enam titik hingga hari ke-10 hanya dipakai untuk mendemonstrasikan akibat berhenti mengamati terlalu dini; subset itu tidak menggantikan pembagian utama.

Kalibrasi dan perbandingan dua kandidat

Untuk setiap kandidat $m$, parameter dipilih dengan meminimalkan jumlah kuadrat residu pada data kalibrasi saja:

$\operatorname{RSS}_m(\theta_m)=\sum_{i\in\mathcal I_{\mathrm{kal}}}\left[y_i-N_m(t_i;\theta_m)\right]^2.$

Pencarian dibatasi oleh $0.01\le r\le1$ hari$^{-1}$ dan $10\le K\le1000$ juta sel. Batas mencegah langkah numerik yang tidak bermakna, tetapi tidak boleh menciptakan kesan bahwa parameter diketahui. Solusi yang menempel pada batas harus dilaporkan sebagai tanda masalah.

Kriteria informasi Akaike terkoreksi (AICc) dihitung dengan $k=2$ untuk model eksponensial dan $k=3$ untuk model logistik karena varians residu yang diestimasi turut dihitung sebagai parameter. Konstanta Gaussian yang sama bagi kedua model dihilangkan. Nilai mutlak bergantung pada konvensi ini; selisih hanya membandingkan kandidat yang dihitung dengan data dan konvensi yang sama.

Akar rerata kuadrat galat (RMSE) merangkum residu kalibrasi dan memberi bobot lebih besar pada galat yang besar. Rerata galat absolut (MAE) merangkum besar galat data uji tanpa mempertahankan tandanya; bias dipakai secara terpisah untuk menunjukkan arah rata-rata.

Selisih AICc sebesar 25.72927985 dan galat data uji yang jauh lebih kecil mendukung model logistik di antara dua kandidat ini. Kesimpulan itu tidak menilai model yang tidak dimasukkan, mekanisme kausal, atau populasi di luar domain contoh.

Sensitivitas menunjukkan kapan data menjadi informatif

Dengan $D=1+(K/N_0-1)e^{-rt}$, sensitivitas analitik model logistik adalah

$\frac{\partial N}{\partial r}=\frac{K(K/N_0-1)t e^{-rt}}{D^2},\qquad \frac{\partial N}{\partial K}=\frac{1-e^{-rt}}{D^2}.$

Notebook membentuk matriks sensitivitas terhadap parameter logaritmik, dengan kolom $r\,\partial N/\partial r$ dan $K\,\partial N/\partial K$. Bilangan kondisi dua-norma $\kappa_2(S)=\sigma_{\max}/\sigma_{\min}$ membandingkan seberapa terpisah kedua arah sensitivitas. Nilai yang lebih besar menandakan arah yang lebih sulit dibedakan, tetapi tidak ada ambang universal yang sendirian membuktikan identifiabilitas.

Pada estimasi dari jendela kalibrasi penuh, jadwal hari 0–10 memberi $\kappa_2=32.66379816$, sedangkan jadwal hari 0–16 memberi $\kappa_2=6.93948506$. Pengamatan mendekati daerah perlambatan pertumbuhan meningkatkan sensitivitas terhadap $K$.

Menggandakan batas atas tidak menambahkan informasi, tetapi menggandakan estimasi $K$ subset awal. Sebaliknya, estimasi jendela penuh tetap sekitar 175.706. Perbedaan ini merupakan tanda praktis yang lebih bermakna daripada pesan “optimasi berhasil”.

Residu dan data uji menguji kegunaan yang berbeda

Residu didefinisikan sebagai $e_i=y_i-\widehat N(t_i)$. Untuk model logistik, rerata residu kalibrasi adalah −0.37700728 juta sel dan kemiringan residu terhadap waktu adalah 0.04181566 juta sel per hari. Nilai kecil tersebut tidak menjamin ketiadaan pola lain, sehingga tabel harus dibaca bersama gambar residu.

Pada empat data uji, residu logistik adalah 1.41663001, 1.09893040, −0.66877831, dan 2.84222916 juta sel. MAE merangkum besar galat tanpa tanda; bias mempertahankan tanda dan positif di sini berarti pengamatan rata-rata berada di atas prediksi.

Model eksponensial memperkirakan sekitar 779.90 juta sel pada hari ke-24, sementara pengamatan sintetisnya 172.006445 juta sel. Kegagalan ini bukan sekadar perbedaan digit: bentuk model tidak memiliki mekanisme perlambatan sehingga kesalahan meningkat tajam ketika diekstrapolasi.

Data uji hanya boleh disebut independen dari keputusan kalibrasi selama hasilnya belum dipakai untuk mengubah prosedur. Jika hasil hari 18–24 memicu revisi, data itu menjadi bagian dari pengembangan dan evaluasi akhir berikutnya memerlukan data baru.

Ketidakpastian bergantung pada asumsi

Dari residu model logistik, $\widehat\sigma=2.55908097$ juta sel. Pendekatan linear lokal memberi galat baku 0.00573816 hari$^{-1}$ untuk $r$, 9.07618829 juta sel untuk $K$, dan korelasi parameter −0.90997414. Korelasi kuat mengingatkan bahwa perubahan $r$ dan $K$ dapat saling mengimbangi, walaupun solusi tidak lagi berada pada batas.

Bootstrap parametrik membuat 400 data kalibrasi semu dari model logistik terestimasi dengan benih 20260824, mengestimasi ulang parameter, lalu membuat pengamatan masa depan baru. Interval persentil berikut bersifat kondisional pada bentuk logistik, galat normal yang saling bebas dan bervarians konstan, serta rancangan waktu yang sama.

Interval respons laten hari ke-24 mempropagasi ketidakpastian estimasi parameter tanpa menambahkan galat pengamatan baru. Interval pengamatan hari ke-24 juga memasukkan satu realisasi galat pengamatan baru; keduanya menjawab pertanyaan yang berbeda.

Keempat pengamatan data uji berada di dalam interval prediksi titik-demi-titik 95%. Cakupan itu konsisten dengan contoh sintetis, tetapi bukan peluang 95% bahwa seluruh kurva benar, bukan interval simultan, dan tidak memasukkan ketaksesuaian bentuk model atau perubahan proses di luar hari ke-24.

Gambar dan analisis kegagalan

Deskripsi panjang gambar: Panel A menampilkan sembilan lingkaran data kalibrasi hingga hari ke-16, empat persegi data uji pada hari ke-18 sampai ke-24, kurva logistik utuh yang mendatar mendekati 176 juta sel, dan kurva eksponensial putus-putus yang meningkat hingga sekitar 780 juta sel pada hari ke-24. Panel B menampilkan residu kalibrasi: residu logistik berupa lingkaran tersebar dekat garis nol, sedangkan residu eksponensial berupa tanda silang membentuk pola melengkung dan menjadi sangat negatif pada akhir jendela. Panel C menampilkan besar sensitivitas terskala terhadap $r$ dengan lingkaran dan terhadap $K$ dengan persegi; sensitivitas $K$ hampir nol pada waktu awal lalu meningkat ketika pertumbuhan melambat. Panel D menampilkan pita prediksi titik-demi-titik 95% dengan batas bawah putus-putus dan batas atas titik-garis, garis median utuh dengan penanda lingkaran, dan pengamatan data uji dengan penanda persegi; semua persegi berada di dalam pita. Batas interval tetap dapat dibedakan tanpa mengandalkan arsiran atau warna.

Komunikasikan keputusan beserta batasnya

Laporan minimum harus menyebutkan pertanyaan, satuan, model kandidat, asumsi galat, pembagian data, batas parameter, algoritma, versi perangkat lunak, estimasi, diagnostik residu, metrik data uji, interval ketidakpastian, tanda kegagalan, dan domain klaim. Angka tanpa unsur tersebut tidak cukup untuk keputusan yang dapat diaudit.

Alur lengkapnya adalah: periksa apakah parameter mungkin diidentifikasi; bekukan rancangan dan data uji; kalibrasi kandidat; periksa sensitivitas serta batas; bandingkan residu dan prediksi; kuantifikasi ketidakpastian kondisional; lalu nyatakan dengan jelas apa yang belum diketahui. Validasi bukan stempel akhir, melainkan percobaan terencana untuk menemukan cara model dapat gagal.