Azərbaycanda data məktəbləri hələ böyük tələbə qruplarının özündə işlətdikləri texnologiyalardan çox geri qalır. Towards Data Science-de dərc olunan yeni məqalə bu boşluğu doldurmaq üçün zəruri olan mimarı prinsipləri açıqlayır.
RAG Sisteminin Daxili Problemi
Retrieval-Augmented Generation (RAG) — əlamətdar bir texnologiya olsa da, əsas məsələsi var: hər sorğuya sıfırdan cavab verir. Nəticə? Sistem dünən cavablandırdığı suala bir həftə sonra yenidən aynı işi görür. Səmərəsizlik bu deyil — təhlükə ondadır: bir cümlə iki dəfə çıxsa da, sistemin tutarlı cavab verməsi heç təmin edilmir.
Məqalənin müəllifi bu problemi ilk dəfə semantik keşləmə (semantic caching) ilə həll etməyə çalışdı — gelen suala əvvəlki cavablar yoxlanılır, oxşar olsa cavab təkrarlanır. Lakin bu yalnız cavabları keşlədi, anlayışı deyil. Sistem hələ də dərinləşən bilikləri yığmırdı.
Üç Qatlı Arxitektura: Evidence, Knowledge, Orchestrator
Evidence qatı (Sübut qatı) — klassik RAG-dır: vektoru indeksinə sual qoyulur, rəlləvant sənədlər çıxarılır, tam mətnə istiqamət verilir. Burada dəqiqlik, sitat, mətn tarixçəsi vacibdir.
Knowledge qatı (Bilgi qatı) — sistemin insan oxuya biləcəyi, strukturlaşdırılmış modeli. Burada qərarlar, anlayışlar, anlam bağlantıları saxlanılır. Məsələn: "15 illik çatı müayinəsi yalnız N rüzgar zonasında tətbiq edilir" — və bu qayda dəqiq kim tərəfindən qəbul edilib, nə vaxt fəal olub, əsaslandırması harada yazılıb, hamısı izlənir.
Orchestrator qatı — router. Sual gəlsə: bunun cavabı Evidence-dən mi, yoxsa Knowledge-dən mi gəlməlidir? Əgər iki cənabanı sənəd ziddiyyət edirsə, hansı gözəməlidir?
Ziddiyyətlər: Sözləşmə Yox, Mötəriş Kimi İşlənir
Bəzi şirkətlər iki fərqli sənədə, iki fərqli komanda tərəfindən ziddiyyət yazır. Klassik RAG bunu sədərdir: modeli "kömək olmaq" istəsinə sahibini, iki sənəddən birini seçir (adətən yeniyi) və etiraz-sız cavab verir. Nəticə? Səhv, qəbul edilməmiş qərar, sorğular.
Davamlı bilgi qatında ziddiyyət birinci sıf-olayıdır. Sistem onu saxlayır: "Sənəd A bunu der, Sənəd B bunu deyir, bunlar eyniliyə gəlmir, nəbə səbəbi?" Cavab istibdad edilmiş qəzaya yol açmaz, əvəzinə sahib/məsuliyyətçi birinə imtiyaz verilir.
Mənbə: Towards Data Science