Pengembangan AI Agent untuk Tugas Web3 dengan Tinjauan Manusia

Apa yang harus ditangani agen terlebih dahulu dalam tim Web3?

Kartu tugas menunjukkan apakah suatu alur kerja cocok untuk agen. Kartu tersebut mencatat pemicu, informasi yang diperlukan, hasil yang diharapkan, dan orang yang bertanggung jawab untuk meninjau. Kami menggunakan catatan penerimaan 7 bidang: tugas, pemilik, input, sumber, output, pengecualian, dan persetujuan.

Triase dukungan dapat menyortir permintaan yang masuk dan menyiapkan draf untuk ditinjau. Alur kerja riset dapat mengumpulkan materi dari sumber yang disetujui dan mengatur temuan. Operasi konten dapat menyiapkan atau merutekan materi melalui jalur tinjauan yang ada. Monitoring on-chain dapat menampilkan informasi untuk diperiksa oleh anggota tim. Dalam setiap kasus, agen mendukung tugas yang terdefinisi. Agen tidak menggantikan kepemilikan keputusan.

Tugas pertama yang berguna memiliki input yang berulang dan hasil yang dapat diperiksa tim. Jika alur kerja berubah berdasarkan permintaan, dokumentasikan variasinya sebelum pengembangan. Jika persyaratan utamanya adalah antarmuka percakapan, bandingkan lingkupnya dengan pengembangan chatbot AI. Untuk agen yang tertanam dalam produk, petakan antarmuka dan pekerjaan aplikasi melalui pengembangan dApp atau pengembangan situs web Web3.

Sebelum menentukan lingkup, bawa satu contoh nyata dari awal hingga akhir. Tandai di mana seseorang saat ini memeriksa fakta, menyetujui tindakan, atau menangani pengecualian. Contoh itu membantu memisahkan pekerjaan otomatisasi dari keputusan yang harus tetap berada di tim Anda.

Alat dan sumber pengetahuan mana yang dapat digunakan agen?

Peta sumber mengidentifikasi apa yang dapat dibaca agen, apa yang dapat diubahnya, dan siapa yang mengontrol setiap koneksi. Kami mencatat sumber kebenaran untuk setiap bidang yang diperlukan, ditambah izin yang diperlukan untuk mengaksesnya. Peta juga mencatat apa yang harus dilakukan alur kerja ketika suatu sumber hilang atau tidak tersedia.

Basis pengetahuan dapat menggunakan dokumen produk yang disetujui, kebijakan dukungan, prosedur internal, atau materi riset. Kami mengatur konten yang disepakati di sekitar tugas. Kemudian kami menentukan siapa yang memeliharanya dan bagaimana pembaruan masuk ke alur kerja. Ini memberi tim titik referensi yang jelas saat meninjau output agen.

Akses alat harus sesuai dengan pekerjaan. Alur kerja riset dapat mengambil informasi dan menyiapkan laporan. Alur kerja operasional dapat membuat draf atau merutekan tugas. Untuk tindakan yang memengaruhi pelanggan, dana, atau sistem produksi, tetapkan titik persetujuan manusia sebelum implementasi. Jika agen membutuhkan antarmuka berbasis Telegram, lingkupkan koneksi itu bersama pengembangan antarmuka Telegram. Antarmuka dan logika agen adalah bagian yang berbeda dari pembangunan.

Untuk tinjauan akses pertama, daftarkan 3 hal untuk setiap sistem: pemiliknya, data yang diperlukan, dan tindakan yang diizinkan. Sertakan contoh input dan output. Redaksi informasi rahasia atau pribadi kecuali penggunaannya telah disetujui. Tinjauan ini mengungkapkan akses yang hilang atau kepemilikan data yang tidak jelas sebelum asumsi tersebut membentuk desain.

Bagaimana cara memeriksa perilaku agen sebelum rilis?

Set evaluasi mengubah sampel tugas menjadi pemeriksaan yang dapat ditinjau tim. Kami mulai dengan 4 jenis kasus: permintaan biasa, input tidak lengkap, informasi yang bertentangan, dan kasus di luar wewenang agen. Untuk setiap kasus, respons yang diharapkan harus eksplisit. Respons tersebut dapat menyiapkan draf, meminta klarifikasi, melakukan eskalasi, atau berhenti.

Kami membandingkan output agen dengan ekspektasi yang disepakati. Kami juga memeriksa jalur yang digunakannya: apakah ia menggunakan sumber yang disetujui, tetap dalam aksesnya, dan memberikan konteks yang cukup kepada peninjau. Jawaban yang lancar bukanlah bukti yang cukup jika sumber atau tindakan tidak dapat diperiksa.

Set evaluasi harus mencakup contoh dari pemilik alur kerja, bukan hanya permintaan yang diidealkan. Simpan catatan kasus yang perlu direvisi. Ketika dokumen produk, kebijakan, atau aturan tugas berubah, perbarui contoh yang relevan dan tinjau kembali perilakunya. Ini memberi tim Anda cara yang dapat diulang untuk memeriksa perubahan daripada hanya mengandalkan ingatan.

Sebelum pengujian, sepakati 3 keputusan tinjauan: siapa yang menyetujui output sensitif, siapa yang dapat mengubah izin, dan siapa yang menerima eskalasi. Jika pekerjaan menyentuh perilaku kontrak, koordinasikan batas agen dengan pengembangan kontrak pintar. Peran yang diizinkan agen harus jelas sebelum koneksi apa pun dibuat ke fungsi produk itu.

Artefak apa yang disertakan dengan pembangunan agen kustom?

Catatan penayangan membuat lingkup yang disepakati terlihat sebelum implementasi. Ini menghubungkan definisi tugas dengan alat, materi sumber, pemeriksaan evaluasi, dan rencana rilis. Hasil kerja dipilih untuk alur kerja daripada diasumsikan dari daftar fitur standar.

Pembangunan tipikal mencakup:

• Brief alur kerja: peran pengguna, jalur tugas, dan penanganan pengecualian.
• Peta integrasi: sistem yang disetujui, bidang data, dan izin.
• Basis pengetahuan: sumber yang disepakati dan pemilik pembaruan yang dinyatakan.
• Pagar pengaman: eskalasi, kasus sensitif, dan titik persetujuan.
• Set evaluasi: sampel tugas, respons yang diharapkan, dan kasus tepi.
• Paket rilis: deployment, pendekatan monitoring, catatan teknis, dan serah terima.

Kami juga menandai pekerjaan yang tidak termasuk dalam lingkup awal. Ini dapat mencakup sumber data tambahan, antarmuka pengguna baru, perilaku multibahasa, atau tindakan yang diotorisasi secara terpisah. Jika agen membutuhkan permukaan produk percakapan, chatbot AI Web3 dapat menjadi bagian dari pekerjaan. Ini tidak diperlukan untuk pelaporan latar belakang atau monitoring.

Catatan serah terima 5 bagian dapat mencakup alur kerja, koneksi, izin, jalur eskalasi, dan pemilik pemeliharaan. Rencana rilis mengidentifikasi lingkungan untuk pengujian dan orang yang bertanggung jawab atas akses. Jika agen berada di dalam produk yang lebih besar, koordinasikan kepemilikan rilis dengan pengembangan aplikasi seluler atau tim aplikasi yang relevan. Tim Anda harus meninggalkan dokumentasi yang cukup untuk memeriksa output dan meminta perubahan yang terlingkup.

Di mana izin dan layanan eksternal membatasi agen?

Peta akses mendefinisikan wewenang agen. Ini mendaftarkan setiap sumber yang disetujui, tindakan yang diizinkan, dan titik pemeriksaan manusia, sehingga operator dapat melihat di mana sistem harus berhenti. Set izin yang sempit lebih mudah diawasi daripada akses luas yang tidak terkait dengan tugas.

Untuk monitoring on-chain, tentukan informasi yang tersedia mana yang penting dan siapa yang memeriksa catatan yang mendasarinya. Perlakukan ringkasan agen sebagai petunjuk untuk ditinjau, bukan pengganti untuk memeriksa catatan itu. Untuk dukungan dan riset, pertahankan rute dari output ke sumbernya yang disetujui. Jika layanan yang terhubung mengubah aksesnya atau mengembalikan informasi yang tidak lengkap, alur kerja membutuhkan fallback ke manusia.

Agen Web3 hanya dapat menggunakan data dan tindakan yang diotorisasi yang diekspos oleh layanan yang terhubung. Layanan tersebut dapat berubah. Instruksi yang tidak jelas atau materi sumber yang tidak lengkap juga dapat memengaruhi output. Penayangan mencakup pembangunan yang disepakati, bukan akses integrasi tanpa gangguan atau perilaku yang benar dalam setiap kasus.

Sebelum rilis, sebutkan siapa yang dapat menjeda alur kerja dan siapa yang menangani eskalasi. Konfirmasi akses data, ekspektasi retensi, dan kepemilikan insiden dengan tim proyek. Tambahkan keputusan ini ke catatan operasi, bersama dengan proses untuk melaporkan masalah. Untuk tindakan sensitif, pertahankan langkah persetujuan yang berarti dan cara untuk memeriksa informasi di balik tindakan yang diusulkan.

Bagaimana tim dapat memutuskan apakah akan membangun agen sekarang?

Kartu tugas dan peta sumber yang lengkap memberikan bukti keputusan pertama. Jika tugas memiliki pemilik, input yang dapat diakses, hasil yang dapat diperiksa, dan pengecualian yang terdefinisi, tim dapat menentukan lingkup implementasi. Jika salah satu dari bagian itu hilang, dokumentasikan alur kerja atau siapkan data terlebih dahulu.

Bandingkan tugas kandidat di 4 poin praktis: pengulangan, akses sumber, kepemilikan tinjauan, dan biaya tindakan yang salah. Tugas dengan tinjauan yang jelas dan output berdampak rendah lebih mudah dievaluasi sebagai pembangunan awal. Tindakan berdampak tinggi membutuhkan izin yang lebih ketat dan persetujuan eksplisit. Tujuannya adalah lingkup terbatas yang dapat diperiksa tim Anda, bukan daftar fitur yang panjang.

Jika produk Anda menggabungkan beberapa kebutuhan pengembangan, tempatkan pekerjaan agen di dalam rencana pengembangan Web3 yang lebih luas. Untuk perilaku aplikasi, identifikasi apakah pengembangan kontrak pintar atau antarmuka yang menghadap pengguna memiliki pemilik terpisah. Ini mencegah brief agen secara diam-diam menyerap pekerjaan produk yang membutuhkan lingkupnya sendiri.

GeoMarketing Experts meninjau catatan tugas, memeriksa data dan peta akses, lalu mengembalikan lingkup yang diusulkan dengan hasil kerja dan pendekatan rilis. Kirimkan kepada kami satu alur kerja, contoh input dan output, sistem yang terlibat, dan tindakan yang harus tetap berada di bawah kendali manusia. Kami akan menggunakan materi tersebut untuk menentukan pembangunan pertama dan pemeriksaan evaluasinya.

Cara kerja

1. Catat satu alur kerjaBagikan pemiliknya, pemicu, input, dan hasil yang diharapkan. Tandai keputusan atau kasus yang membutuhkan manusia.
2. Petakan data dan aksesKami mengidentifikasi dokumen sumber, sistem yang terhubung, izin, dan pemilik integrasi. Ini mendefinisikan apa yang dapat dibaca atau dilakukan agen.
3. Tetapkan lingkup dan evaluasiKami menyepakati hasil kerja, jalur pengecualian, titik persetujuan, dan kasus uji representatif sebelum implementasi.
4. Bangun dan tinjauKami mengembangkan agen, basis pengetahuan, dan koneksi yang disetujui, lalu memeriksanya terhadap tugas yang disepakati dan kasus tepi.
5. Deploy dan serah terimaKami merilis dalam lingkup yang disepakati dan mendokumentasikan operasi, eskalasi, dan tinjauan output untuk tim Anda.