A saját dokumentumokra épülő chatbot akkor hasznos, ha a megfelelő forrásból keres, jelzi, mire támaszkodik, és bizonytalan helyzetben nem talál ki választ. Ehhez rendezett tudásanyag, jogosultságkezelés, visszakereshető források és világos továbbadási pont kell.
Bemutatjuk a tudásanyag előkészítését, a keresés és válaszadás kapcsolatát, a jogosultsági határokat, valamint azokat a teszteket, amelyekkel az élesítés előtt ellenőrizhető a működés.
Hogyan áll össze egy tudásbázisú chatbot?
A rendszer először a kérdéshez kapcsolódó forrásrészleteket keresi meg, majd ezek alapján készít választervezetet. Ez javíthatja a relevanciát, de önmagában nem garantálja a helyességet vagy a jogosultságok betartását.
Kép megnyitása teljes méretben 1. Tedd kereshetővé a tudásanyagot
- Távolítsd el vagy jelöld az elavult és egymásnak ellentmondó dokumentumokat.
- Minden anyagnak legyen címe, felelőse, érvényességi ideje és hozzáférési szintje.
- A hosszú dokumentumokat logikai egységekre bontsd úgy, hogy a részlet önmagában is értelmezhető legyen.
- A táblázatok, mellékletek és képek információit külön ellenőrizd; nem minden feldolgozó őrzi meg jól a szerkezetüket.
2. A keresés is tartsa be a jogosultságokat
- A felhasználó azonosítása után határozd meg, mely forrásokat láthatja.
- A keresési réteg csak ebből a jogosult körből válasszon dokumentumot.
- A válasz mellé jelenítsd meg a ténylegesen felhasznált forrást, ha a felület és a jogosultság ezt lehetővé teszi.
- A naplókban ne tárolj indokolatlanul teljes kérdéseket, dokumentumrészleteket vagy érzékeny választartalmat.
3. Tervezd meg a bizonytalan választ
| Helyzet | Helyes viselkedés |
|---|---|
| Nincs megfelelő forrás | Jelezze, hogy a tudásanyagban nem talált választ. |
| A források ellentmondanak | Mutassa az eltérést, és kérjen emberi ellenőrzést. |
| Személyes ügyet kell intézni | Azonosított ügyintézési csatornára adja tovább. |
| Műveletet kérnek | Külön jogosultság- és paraméterellenőrzés után, szükség esetén jóváhagyással induljon. |
4. Számolj közvetlen és közvetett prompt injectionnel
- A felhasználói kérdést, feltöltött fájlt, weboldalt és külső rendszerből érkező szöveget kezeld nem megbízható adatként.
- A modell által javasolt eszközhívást a kód ellenőrizze a felhasználó jogosultsága és az eredeti kérés alapján.
- A lekért tartalom ne tudjon titkot, belső utasítást vagy más felhasználó adatát elérni.
- Magas kockázatú vagy visszafordíthatatlan művelethez kérj konkrét emberi jóváhagyást.
5. Teszteld kérdéskészlettel, ne bemutatóval
- Készíts gyakori, ritka, félreérthető és szándékosan hibás kérdéseket.
- Ellenőrizd a válasz állításait, a forrásokat, a jogosultsági határt és a megfelelő visszautasítást.
- Mérd, milyen arányban kell emberhez továbbítani, és mennyi idő a hibás válasz javítása.
- Dokumentumfrissítés után futtasd újra a fontos teszteket, mert a tudásanyag változása a találatokat is módosítja.
