Perintah dan konteks yang berlaku
Anda mengelola aplikasi GenAI yang mengambil dokumen, memanggil model, dan mengeksekusi alat. Tim perlu mengetahui versi model mana yang meningkatkan time to first token, apakah suatu alat meningkatkan kegagalan, apakah biaya terkonsentrasi pada beberapa penyewa (tenant), dan apakah regresi kualitas dapat diputar ulang (replay) tanpa mengekspos data pribadi dalam prompt. Rancang trace, metrik, peristiwa, dan gerbang kualitas data menggunakan konvensi semantik OpenTelemetry.
Ini adalah masalah pemodelan dan validasi data telemetri, bukan latihan pemilihan vendor. OpenTelemetry mendefinisikan konvensi semantik sebagai nama atribut dan makna yang dibagikan di seluruh basis kode, pustaka, dan platform. Konvensi GenAI mencakup model, percakapan, panggilan alat, penggunaan token, dan evaluasi, tetapi beberapa bagian masih berkembang, sehingga tidak semua atribut harus diperlakukan sebagai kontrak yang stabil.
Apa yang dinilai oleh pewawancara
Pewawancara menginginkan sinyal yang diturunkan dari pertanyaan bisnis, bukan log yang penuh dengan parameter model. Jawaban yang kuat mengorelasikan satu permintaan pengguna dengan pekerjaan pengambilan (retrieval), model, alat, dan hasil akhir sambil mempertahankan dimensi versi dan penyewa yang cukup untuk menjelaskan regresi.
Anda harus menentukan batasan data. Prompt, respons, argumen alat, dan dokumen yang diambil dapat berisi data sensitif; ID sesi berkardinalitas tinggi, ID pengguna, atau konten lengkap tidak boleh menjadi label metrik tanpa batas. Pengumpulan harus menyeimbangkan privasi, biaya penyimpanan, pengambilan sampel (sampling), dan retensi.
Terakhir, tentukan gerbang kualitas. Jika span induk, versi model, alasan selesai (finish reason), atau jumlah token hilang, tandai rekaman tersebut tidak lengkap dan pantau daripada menyajikan dasbor yang tampak presisi padahal tidak.
Pertanyaan klarifikasi
Pertama, tanyakan hasil apa yang paling penting: time to first token, total latensi, biaya per permintaan, keberhasilan alat, recall pengambilan, atau kualitas jawaban. Pilihan tersebut menentukan trace, metrik, dan peristiwa evaluasi mana yang esensial.
Kemudian tanyakan tentang sensitivitas dan yurisdiksi. Bolehkah prompt dan respons disimpan? Apakah isolasi regional atau penghapusan tingkat penyewa diperlukan? Jika konten mentah dilarang, gunakan hash, ringkasan yang telah diredaksi (redacted), ID referensi, dan pemutaran ulang offline yang aman.
Terakhir, tanyakan tentang volume dan retensi. Tingkat permintaan, jumlah panggilan model, kedalaman alat, tingkat sampling, dan periode retensi menentukan kolektor, antrean, partisi penyimpanan, dan batasan biaya.
Kerangka jawaban 30 detik
Anda dapat mengatakan:
“Saya akan memodelkan setiap permintaan pengguna sebagai satu trace, dengan pengambilan, pembuatan (generation), panggilan alat, dan evaluasi sebagai child span atau peristiwa yang memiliki versi. Metrik menggunakan dimensi berkardinalitas rendah seperti model, penyedia, alur kerja, dan status hasil. Prompt, respons, dan argumen alat masuk ke aliran peristiwa terkontrol dengan penyuntingan, sampling, dan akses yang diaudit. Setiap rekaman diperiksa untuk korelasi trace, urutan, versi model, dan jumlah token; bidang yang hilang menjadi kegagalan kualitas data. Dasbor menghubungkan latensi, biaya, kesalahan, dan skor kualitas, sementara sampel permintaan tetap tersedia untuk pemutaran ulang yang aman.”
Jawaban mendalam langkah demi langkah
Gambarkan grafik sinyal end-to-end
Span masuk mencatat ID permintaan, ringkasan penyewa, dan versi alur kerja. Span pengambilan mencatat ID sumber, ringkasan kueri, dan jumlah hasil. Span model mencatat penyedia, model permintaan, model respons, flag streaming, time to first token, dan penggunaan token. Span alat mencatat jenis alat, ID panggilan, dan status hasil. Peristiwa evaluasi mencatat nama evaluator, skor, dan referensi penjelasan.
Gunakan dimensi metrik berkardinalitas rendah
Agregasikan latensi, token, biaya, dan keberhasilan berdasarkan model, penyedia, alur kerja, wilayah, status hasil, dan kelas kesalahan. Simpan ID sesi, ID pengguna, ID dokumen, dan teks kesalahan lengkap dalam trace atau peristiwa alih-alih label metrik untuk menghindari ledakan time-series.
Pisahkan peristiwa konten dari metrik runtime
Panduan GenAI OpenTelemetry menjelaskan trace, metrik, dan peristiwa sebagai tiga sinyal. Prompt dan respons cocok untuk aliran peristiwa karena berukuran besar, sensitif, dan tunduk pada retensi yang berbeda. Metrik runtime menyimpan hitungan, latensi, dan biaya; peristiwa konten menggunakan penyimpanan terkontrol, enkripsi, dan retensi yang lebih pendek.
Catat versi dan kausalitas
Setiap span mencatat versi model, template prompt, retriever, definisi alat, dan evaluator. Investigasi regresi harus menghubungkan skor dengan permintaan model dan versi data input yang tepat; satu nama model tidak dapat membedakan penyimpangan alias, perubahan perutean, dan perubahan prompt.
Kontrol sampling dan biaya
Simpan trace lengkap pada tingkat tetap, lalu tingkatkan sampling untuk kesalahan, latensi ekstrem, skor rendah, dan versi baru. Agregasikan jumlah token dan panggilan alat secara real-time; tegakkan anggaran penyewa dengan throttling atau degradasi layanan. Aturan sampling harus dimasukkan ke dalam metadata kualitas agar perbandingan antarversi tetap valid.
Terapkan kontrol privasi dan akses
Sunting bidang pada SDK atau kolektor agar kata sandi, data pribadi, dan kunci tidak pernah masuk ke atribut. Otorisasikan peristiwa konten secara terpisah dari metrik runtime, menggunakan cakupan penyewa, referensi terenkripsi, dan indeks penghapusan. Label «hanya internal» bukanlah pembenaran untuk mempertahankan konten sensitif.
Validasi kelengkapan dan urutan
Periksa hubungan induk-anak, stempel waktu monotonik, status penyelesaian, versi model, dan ID panggilan alat untuk setiap trace. Untuk metrik, periksa unit, batas bucket, penghitung monotonik, dan laporan duplikat. Untuk peristiwa, periksa versi skema, status penyuntingan, dan batas ukuran. Kirim kegagalan ke antrean data buruk beserta kode alasannya.
Hubungkan kualitas melalui peristiwa evaluasi
Peristiwa evaluasi berisi nama evaluator, skor, label, dan referensi penjelasan. Jangan perlakukan skor otomatis sebagai kebenaran mutlak; catat versi evaluator dan dataset serta sampel manusia. Regresi kualitas harus ditinjau bersama dengan latensi, biaya, dan kesalahan daripada mengoptimalkan satu sinyal saja.
Contoh jawaban berkualitas tinggi
“Saya akan merepresentasikan setiap permintaan sebagai trace yang berkorelasi: entri, pengambilan, model, alat, dan evaluasi adalah span atau peristiwa yang memiliki versi. Metrik menggunakan dimensi berkardinalitas rendah untuk model, penyedia, alur kerja, dan hasil untuk mengagregasikan time to first token, total latensi, token, biaya, dan kesalahan. Prompt, respons, dan argumen alat masuk ke aliran konten yang diredaksi dan diaudit aksesnya, bukan label metrik. Lapisan pengumpulan memeriksa tautan induk-anak, urutan, skema, versi model, dan jumlah token; rekaman yang tidak valid masuk ke antrean data buruk. Trace lengkap disampling secara tetap, sementara kesalahan, permintaan lambat, dan regresi kualitas menerima lebih banyak sampling. Dasbor menggabungkan metrik runtime dengan skor evaluasi dan data pemutaran ulang menggunakan versi dataset dan evaluator.”
Kesalahan umum
Memasukkan semua konten ke dalam label metrik
Pola kegagalan: menggunakan ID pengguna, ID sesi, atau prompt lengkap sebagai label. Mengapa gagal: kardinalitas tinggi dapat membebani penyimpanan dan kueri sekaligus meningkatkan eksposur privasi. Perbaikan: pertahankan metrik berkardinalitas rendah dan tempatkan konten dalam peristiwa terkontrol.
Hanya mencatat nama model
Pola kegagalan: membandingkan setiap hasil hanya dengan satu bidang nama model. Mengapa gagal: perutean alias, template prompt, retriever, dan versi alat menjadi tidak dapat dibedakan. Perbaikan: catat model permintaan, model respons, alur kerja, dan versi dependensi.
Hanya mengoptimalkan biaya token
Pola kegagalan: menyatakan keberhasilan saat biaya turun. Mengapa gagal: time to first token, keberhasilan alat, atau kualitas jawaban mungkin menurun. Perbaikan: pantau biaya, latensi, kesalahan, pengambilan, dan evaluasi secara bersamaan.
Menyimpan prompt dan respons mentah
Pola kegagalan: mempertahankan teks mentah tanpa batas waktu untuk pemutaran ulang. Mengapa gagal: konten dapat mencakup data pribadi, kunci, atau informasi lintas-penyewa. Perbaikan: sunting bidang, gunakan retensi pendek, referensi terenkripsi, akses tingkat penyewa, dan indeks penghapusan.
Mengabaikan data buruk
Pola kegagalan: menyertakan rekaman dengan induk atau jumlah token yang hilang dalam penyebut. Mengapa gagal: dasbor tampak lengkap tetapi tidak dapat menjelaskan angkanya. Perbaikan: tentukan gerbang kelengkapan, antrean data buruk, dan dasbor kualitas yang membedakan nilai yang hilang dari nol yang sebenarnya.
Pertanyaan lanjutan dan tanggapan
Bagaimana jika tim meminta untuk mencatat seluruh proses penalaran (reasoning)?
Klarifikasi apakah bisnis memerlukan bukti yang dapat diaudit, trace alat, atau penalaran model internal. Utamakan referensi input, panggilan alat, versi, bukti evaluasi, dan ringkasan hasil; jangan menyimpan konten sensitif yang tidak perlu atau teks penalaran internal.
Bagaimana jika konvensi GenAI mengalami migrasi?
Simpan versi skema di kolektor dan gudang data, petakan bidang lama ke baru, dan gunakan penulisan ganda (dual writes) atau tampilan kompatibilitas selama migrasi. Kelompokkan dasbor berdasarkan versi konvensi alih-alih mencampuradukkan maknanya.
Bagaimana jika lonjakan lalu lintas membuat trace lengkap terlalu mahal?
Pertahankan trace lengkap untuk kesalahan dan latensi ekstrem, lakukan sampling lalu lintas normal pada tingkat tetap, dan pertahankan metrik agregat beserta ringkasan peristiwa. Catat tingkat sampling, aturan pemicu, dan alasan pengabaian sebagai metadata kualitas.
Bagaimana jika skor evaluasi turun saat latensi membaik?
Iris berdasarkan model, template prompt, dataset pengambilan, versi alat, dan penyewa, serta verifikasi bahwa dataset dan evaluator tidak berubah. Biarkan gerbang rilis menimbang regresi kualitas terhadap peningkatan performa alih-alih hanya menerima satu metrik.
Bagaimana Anda membuktikan trace tidak melintasi batas penyewa?
Jalankan pengujian batas penyewa pada lapisan pengumpulan, transportasi, penyimpanan, dan kueri. Data sintetis harus memverifikasi cakupan penyewa pada atribut, peristiwa, dan referensi; kueri anomali harus memancarkan peringatan audit. Permintaan penghapusan harus dapat menemukan setiap peristiwa turunan melalui indeks.