AI atau kecerdasan buatan tidak siap menggantikan profesional keuangan, tetapi dapat mempengaruhi peran entry-level.
(Gambar ilustrasi dibuat oleh AI/Pikaso/Freepik)Ringkasan:
- ChatGPT efektif dalam tugas keuangan dasar, tetapi lemah dalam hal nuansa.
- Kesulitan menjawab pertanyaan kompleks dan spesifik.
- Kurang akurat dalam menentukan cakupan asuransi dan status pajak klien.
- Tidak efektif dalam menilai potensi penggabungan bisnis.
ngarahNyaho - Sebuah studi yang dipimpin oleh Washington State University (WSU) mengevaluasi lebih dari 10.000 respons dari model AI BARD, Llama, dan ChatGPT untuk pertanyaan ujian keuangan.
Para peneliti tidak hanya menilai kemampuan model untuk memilih jawaban yang benar, tetapi juga meminta mereka untuk memberikan penjelasan atas pilihan mereka.
Respons-respons ini kemudian dibandingkan dengan penjelasan dari para profesional manusia.
Di antara model-model yang diuji, dua versi ChatGPT memiliki kinerja terbaik secara keseluruhan. Akan tetapi, model ini pun menunjukkan ketidakakuratan yang signifikan saat membahas topik yang lebih kompleks dan tingkat lanjut.
"Masih terlalu dini untuk khawatir ChatGPT akan mengambil alih pekerjaan keuangan sepenuhnya," kata penulis studi DJ Fairhurst dari Carson College of Business, WSU.
"Untuk konsep-konsep umum yang sudah lama dijelaskan dengan baik di internet, ChatGPT dapat melakukan pekerjaan yang sangat baik dalam mensintesis konsep-konsep tersebut.
"Jika ini adalah masalah yang spesifik dan khusus, ChatGPT akan benar-benar kesulitan," Fairhurst menambahkan sebagaimana dikutip dari Scitech Daily.
Untuk studi yang diterbitkan dalam Financial Analysts Journal ini, Fairhurst dan rekan penulis Daniel Greene dari Clemson University menggunakan pertanyaan-pertanyaan dari ujian lisensi termasuk ujian Securities Industry Essentials serta Seri 6, 7, 65, dan 66.
Untuk melangkah lebih jauh dari kemampuan model AI untuk sekadar memilih jawaban yang benar, para peneliti meminta model-model tersebut untuk memberikan penjelasan tertulis.
Mereka juga memilih pertanyaan berdasarkan tugas-tugas pekerjaan tertentu yang mungkin benar-benar dilakukan oleh para profesional keuangan.
“Lulus ujian sertifikasi saja tidak cukup. Kita perlu menggali lebih dalam untuk mengetahui apa saja yang dapat dilakukan model-model ini,” kata Fairhurst.
Dari semua model, ChatGPT versi berbayar, versi 4.0, memiliki performa terbaik, memberikan jawaban yang paling mirip dengan jawaban pakar manusia. Akurasinya juga 18 hingga 28 poin persentase lebih tinggi daripada model lainnya.
Namun, hal ini berubah ketika para peneliti menyempurnakan ChatGPT 3.5 versi gratis sebelumnya, dengan memberikan contoh jawaban dan penjelasan yang benar.
Setelah penyempurnaan ini, akurasinya mendekati ChatGPT 4.0 dan bahkan melampauinya dalam hal memberikan jawaban yang mirip dengan jawaban profesional manusia.
Kelemahan
Namun, kedua model tersebut masih kurang dalam hal jenis pertanyaan tertentu.
Meskipun berhasil meninjau transaksi sekuritas dan memantau tren pasar keuangan, model tersebut memberikan jawaban yang lebih tidak akurat untuk situasi khusus seperti menentukan cakupan asuransi dan status pajak klien.
Fairhurst dan Greene, bersama dengan mahasiswa doktoral WSU Adam Bozman, kini tengah berupaya menemukan cara lain untuk menentukan apa yang dapat dan tidak dapat dilakukan ChatGPT untuk mengevaluasi potensi kesepakatan merger.
Untuk itu, mereka memanfaatkan fakta bahwa ChatGPT dilatih pada data hingga September 2021, dan menggunakan kesepakatan yang dibuat setelah tanggal tersebut saat hasilnya diketahui.
Temuan awal menunjukkan bahwa sejauh ini, model AI tidak begitu baik dalam tugas ini.
Secara keseluruhan, para peneliti mengatakan bahwa ChatGPT mungkin masih lebih baik digunakan sebagai alat bantu daripada sebagai pengganti profesional keuangan yang mapan.
Di sisi lain, AI dapat mengubah cara beberapa bank investasi mempekerjakan analis tingkat pemula.
"Praktik mendatangkan sekelompok orang sebagai analis junior, membiarkan mereka bersaing, dan mempertahankan para pemenang – itu menjadi jauh lebih mahal," kata Fairhurst.
“Jadi ini mungkin berarti penurunan dalam jenis pekerjaan tersebut, tetapi bukan karena ChatGPT lebih baik daripada para analis, melainkan karena kami telah meminta para analis junior untuk melakukan tugas-tugas yang lebih kasar.” |
Sumber: Scitech Daily
Posting Komentar