AI ఏజెంట్‌ను ఎలా నిర్మించాలి [వీడియో మరియు క్విజ్]

సంక్షిప్త సమాధానం: ఆచరణలో పనిచేసే ఒక AI ఏజెంట్‌ను నిర్మించడానికి, దానిని ఒక నియంత్రిత లూప్‌గా పరిగణించండి: ఇన్‌పుట్ తీసుకోండి, తదుపరి చర్యను నిర్ణయించండి, పరిమిత పరిధి గల టూల్‌ను పిలవండి, ఫలితాన్ని గమనించండి, మరియు స్పష్టమైన "పూర్తయింది" తనిఖీ పాస్ అయ్యే వరకు దీన్ని పునరావృతం చేయండి. పని బహుళ-దశలది మరియు టూల్-ఆధారితమైనది అయినప్పుడు ఇది సమర్థవంతంగా పనిచేస్తుంది; ఒకే ప్రాంప్ట్‌తో పని పూర్తయితే, ఏజెంట్‌ను దాటవేయండి. కఠినమైన టూల్ స్కీమాలు, దశల పరిమితులు, లాగింగ్, మరియు ఒక వాలిడేటర్/క్రిటిక్‌ను జోడించండి, తద్వారా టూల్స్ విఫలమైనప్పుడు లేదా ఇన్‌పుట్‌లు అస్పష్టంగా ఉన్నప్పుడు, ఏజెంట్ లూప్ అవ్వకుండా పై స్థాయికి వెళ్తుంది.

కీలకమైన అంశాలు:

కంట్రోలర్ లూప్: స్పష్టమైన నిలుపుదల షరతులు మరియు గరిష్ట దశలతో ఇన్పుట్→యాక్ట్→అబ్జర్వ్ పునరావృతాన్ని అమలు చేయండి.

టూల్ డిజైన్: "ఏదైనా చేయండి" అనే గందరగోళాన్ని నివారించడానికి, టూల్స్‌ను పరిమితంగా, టైప్ చేయబడినవిగా, అనుమతులు ఉన్నవిగా మరియు ధృవీకరించబడినవిగా ఉంచండి.

జ్ఞాపకశక్తి పరిశుభ్రత: కాంపాక్ట్ స్వల్పకాలిక స్థితి ప్లస్ దీర్ఘకాలిక తిరిగి పొందడాన్ని ఉపయోగించండి; పూర్తి ట్రాన్స్క్రిప్ట్లను డంప్ చేయకుండా ఉండండి.

దుర్వినియోగ నిరోధకత: ప్రమాదకర చర్యల కోసం అనుమతి జాబితాలు, రేటు పరిమితులు, ఐడెంపోటెన్సీ మరియు “డ్రై-రన్”లను జోడించండి.

పరీక్షా సామర్థ్యం: ఒక దృశ్య సూట్‌ను (వైఫల్యాలు, అస్పష్టత, ఇంజెక్షన్లు) నిర్వహించండి మరియు ప్రతి మార్పును తిరిగి అమలు చేయండి.

---

1) సాధారణ వ్యక్తి పరంగా AI ఏజెంట్ అంటే ఏమిటి 🧠

AI ఏజెంట్ అనేది ఒక లూప్. లాంగ్‌చెయిన్ “ఏజెంట్లు” డాక్యుమెంటేషన్

అంతే. మధ్యలో మెదడు ఉన్న లూప్.

ఇన్‌పుట్ → ఆలోచించడం → చర్య → గమనించడం → పునరావృతం చేయడం. రియాక్ట్ పేపర్ (హేతువు + చర్య)

ఎక్కడ:

• ఇన్‌పుట్ అంటే వినియోగదారు అభ్యర్థన లేదా ఈవెంట్ (కొత్త ఇమెయిల్, సపోర్ట్ టికెట్, సెన్సార్ పింగ్).

• థింక్ అనేది తదుపరి దశ గురించి తర్కం చేసే భాషా నమూనా.

• Act ఒక సాధనాన్ని పిలుస్తోంది (అంతర్గత పత్రాలను శోధించండి, కోడ్‌ను అమలు చేయండి, టికెట్‌ను సృష్టించండి, ప్రత్యుత్తరాన్ని రూపొందించండి). OpenAI ఫంక్షన్ కాలింగ్ గైడ్

• అబ్జర్వ్ టూల్ అవుట్‌పుట్‌ను చదువుతోంది.

• పునరావృతం అనే భాగమే దీనిని “చాటీ”గా కాకుండా “ఏజెంట్”గా అనిపించేలా చేస్తుంది. లాంగ్‌చెయిన్ “ఏజెంట్స్” డాక్యుమెంటేషన్

కొంతమంది ఏజెంట్లు ప్రాథమికంగా తెలివైన మాక్రోలు. మరికొందరు పనులను మోసగించగల మరియు లోపాల నుండి కోలుకునే జూనియర్ ఆపరేటర్ లాగా వ్యవహరిస్తారు. రెండూ ముఖ్యమైనవి.

అలాగే, మీకు పూర్తి స్వయంప్రతిపత్తి అవసరం లేదు. నిజానికి... మీరు బహుశా దానిని కోరుకోకపోవచ్చు 🙃

---

2) మీరు ఏజెంట్‌ను ఎప్పుడు నిర్మించాలి (మరియు ఎప్పుడు నిర్మించకూడదు) 🚦

ఏజెంట్‌ను ఇలా నిర్మించుకోండి:

• ఈ పని బహుళ దశలుగా మరియు మధ్యలో ఏమి జరుగుతుందో బట్టి మారుతుంది.

• ఈ పనికి సాధనాల వాడకం (డేటాబేస్‌లు, CRMలు, కోడ్ ఎగ్జిక్యూషన్, ఫైల్ జనరేషన్, బ్రౌజర్‌లు, అంతర్గత APIలు). లాంగ్‌చెయిన్ “టూల్స్” డాక్యుమెంటేషన్

• మీరు గార్డ్‌రెయిల్స్‌తో పునరావృత ఫలితాలను కోరుకుంటారు , కేవలం ఒకేసారి వచ్చే సమాధానాలే కాదు.

• కంప్యూటర్ తనిఖీ చేయగల విధంగా, సరళంగా కూడా, మీరు “పూర్తయింది” అని నిర్వచించవచ్చు.

ఈ క్రింది సందర్భాలలో ఏజెంట్‌ను నిర్మించవద్దు:

• ఒక సాధారణ ప్రాంప్ట్ + ప్రతిస్పందన దాన్ని పరిష్కరిస్తుంది (అతిగా ఇంజనీర్ చేయవద్దు, తర్వాత మిమ్మల్ని మీరు ద్వేషిస్తారు).

• మీకు పరిపూర్ణమైన నిర్ణయాత్మకత అవసరం (ఏజెంట్లు స్థిరంగా ఉండవచ్చు, కానీ రోబోటిక్ కాదు).

• కనెక్ట్ అవ్వడానికి మీ దగ్గర ఎలాంటి టూల్స్ లేదా డేటా లేదు - అప్పుడు అది ఎక్కువగా వైబ్స్ మాత్రమే.

స్పష్టంగా చెప్పాలంటే: సగం “AI ఏజెంట్ ప్రాజెక్ట్‌లు” కొన్ని శాఖల నియమాలతో కూడిన వర్క్‌ఫ్లో కావచ్చు. కానీ, కొన్నిసార్లు వైబ్ కూడా ముఖ్యమైనది 🤷♂️

---

3) AI ఏజెంట్ యొక్క మంచి వెర్షన్‌ను ఏది చేస్తుంది ✅

మీరు అడిగిన “మంచి వెర్షన్ ఏది అవుతుంది” విభాగం ఇదిగో, నేను కొంచెం ముక్కుసూటిగా చెబుతాను:

ఒక మంచి AI ఏజెంట్ అంటే కాదు . అది ఇలా ఉంటుంది:

• ఏమి చేయాలో దానికి తెలుసు (పరిధి సరిహద్దులు)

• సాధనాలను విశ్వసనీయంగా ఉపయోగిస్తుంది (నిర్మాణాత్మక కాల్స్, పునఃప్రయత్నాలు, టైమ్‌అవుట్‌లు) OpenAI ఫంక్షన్ కాలింగ్ గైడ్ AWS “జిట్టర్‌తో టైమ్‌అవుట్‌లు, పునఃప్రయత్నాలు మరియు బ్యాక్‌ఆఫ్”

• స్థితిని శుభ్రంగా ఉంచుతుంది (క్షీణించని మెమరీ) లాంగ్‌చెయిన్ “మెమరీ అవలోకనం”

• దాని చర్యలను వివరిస్తుంది (ఆడిట్ ట్రయల్స్, రహస్య తార్కిక డంప్‌లు కాదు) NIST AI RMF 1.0 (విశ్వసనీయత & పారదర్శకత)

• సముచితంగా ఆపుతుంది (పూర్తి తనిఖీలు, గరిష్ట దశలు, తీవ్రతరం చేయడం) లాంగ్‌చెయిన్ “ఏజెంట్లు” డాక్యుమెంటేషన్

• సురక్షితంగా విఫలమవుతుంది (సహాయం అడుగుతుంది, అధికారాన్ని భ్రమపడదు) NIST AI RMF 1.0

• పరీక్షించదగినది (మీరు దీన్ని తయారుగా ఉన్న దృశ్యాలు మరియు స్కోర్ ఫలితాలపై అమలు చేయవచ్చు)

మీ ఏజెంట్ పరీక్షించబడకపోతే, అది చాలా నమ్మకంగా ఉండే స్లాట్ మెషిన్ లాంటిది. పార్టీలలో సరదాగా ఉంటుంది, ఉత్పత్తిలో భయానకంగా ఉంటుంది 😬

---

4) ఏజెంట్ యొక్క ప్రధాన నిర్మాణ విభాగాలు (“అనాటమీ” 🧩)

చాలా ఘన ఏజెంట్లు ఈ ముక్కలను కలిగి ఉంటారు:

ఎ) కంట్రోలర్ లూప్ 🔁

ఇది ఆర్కెస్ట్రాటర్:

• లక్ష్యం సాధించు

• తదుపరి చర్య కోసం మోడల్‌ను అడగండి

• రన్ టూల్

• పరిశీలనను జోడించండి

• పూర్తయ్యే వరకు పునరావృతం చేయండి LangChain “ఏజెంట్లు” డాక్యుమెంటేషన్

బి) ఉపకరణాలు (అకా సామర్థ్యాలు) 🧰

ఏజెంట్‌ను సమర్థవంతంగా చేసేవి సాధనాలే: లాంగ్‌చెయిన్ “సాధనాల” డాక్యుమెంటేషన్

• డేటాబేస్ ప్రశ్నలు

• ఈమెయిల్స్ పంపడం

• ఫైళ్లను లాగడం

• అమలు కోడ్

• అంతర్గత API లను కాల్ చేస్తోంది

• స్ప్రెడ్‌షీట్‌లు లేదా CRM లకు రాయడం

సి) జ్ఞాపకశక్తి 🗃️

రెండు రకాలు ముఖ్యమైనవి:

• స్వల్పకాలిక జ్ఞాపకశక్తి: ప్రస్తుత అమలు సందర్భం, ఇటీవలి దశలు, ప్రస్తుత ప్రణాళిక

• దీర్ఘకాలిక జ్ఞాపకశక్తి: వినియోగదారు ప్రాధాన్యతలు, ప్రాజెక్ట్ సందర్భం, తిరిగి పొందిన జ్ఞానం (తరచుగా ఎంబెడ్డింగ్‌లు + వెక్టర్ స్టోర్ ద్వారా) RAG కాగితం

డి) ప్రణాళిక మరియు నిర్ణయ విధానం 🧭

మీరు దానిని “ప్రణాళిక” అని పిలవకపోయినా, మీకు ఒక పద్ధతి అవసరం:

• చెక్‌లిస్ట్‌లు

• రియాక్ట్-శైలి “ఆలోచించి ఆపై సాధనం” రియాక్ట్ పత్రం

• టాస్క్ గ్రాఫ్‌లు

• సూపర్‌వైజర్-కార్మికుల నమూనాలు

• సూపర్‌వైజర్-వర్కర్ నమూనాలు మైక్రోసాఫ్ట్ ఆటోజెన్ (మల్టీ-ఏజెంట్ ఫ్రేమ్‌వర్క్)

E) గార్డ్‌రెయిల్స్ మరియు మూల్యాంకనం 🧯

• అనుమతులు

• సేఫ్ టూల్ స్కీమాలు OpenAI స్ట్రక్చర్డ్ అవుట్‌పుట్‌లు

• అవుట్‌పుట్ ధ్రువీకరణ

• దశ పరిమితులు

• లాగింగ్

• NIST AI RMF 1.0 పరీక్షలు

అవును, ఇది ప్రాంప్ట్ చేయడం కంటే ఇంజనీరింగ్ ఎక్కువ. ఇది... ఒక రకమైన విషయం.

---

5) పోలిక పట్టిక: ఏజెంట్‌ను నిర్మించడానికి ప్రసిద్ధ మార్గాలు 🧾

క్రింద వాస్తవిక “పోలిక పట్టిక” ఉంది - కొన్ని విచిత్రాలతో, ఎందుకంటే నిజమైన జట్లు విచిత్రంగా ఉంటాయి 😄

సాధనం / ముసాయిదా	ప్రేక్షకులు	ధర	ఇది ఎందుకు పనిచేస్తుంది	గమనికలు (చిన్న గందరగోళం)
లాంగ్‌చెయిన్	లెగో-శైలి భాగాలను ఇష్టపడే బిల్డర్లు	ఉచిత + ఇన్ఫ్రా	ఉపకరణాలు, జ్ఞాపకశక్తి, గొలుసుల కోసం పెద్ద పర్యావరణ వ్యవస్థ	స్పష్టంగా పేర్లు చెప్పకపోతే స్పఘెట్టి త్వరగా దొరుకుతుంది
లామాఇండెక్స్	RAG-భారీ జట్లు	ఉచిత + ఇన్ఫ్రా	బలమైన తిరిగి పొందే నమూనాలు, ఇండెక్సింగ్, కనెక్టర్లు	మీ ఏజెంట్ ప్రాథమికంగా “శోధన + చర్య” అయితే చాలా బాగుంటుంది... ఇది సాధారణం
OpenAI అసిస్టెంట్ల శైలి విధానం	వేగవంతమైన సెటప్ కోరుకుంటున్న జట్లు	వాడుక ఆధారిత	అంతర్నిర్మిత సాధన కాలింగ్ నమూనాలు మరియు రన్ స్థితి	కొన్ని మూలల్లో తక్కువ సరళంగా ఉంటుంది, కానీ చాలా యాప్‌లకు శుభ్రంగా ఉంటుంది	OpenAI APIని నడుపుతుంది OpenAI అసిస్టెంట్స్ ఫంక్షన్ కాలింగ్
సెమాంటిక్ కెర్నల్	నిర్మాణాత్మక ఆర్కెస్ట్రేషన్ కోరుకునే డెవలపర్లు	స్వేచ్ఛాయుతమైన	నైపుణ్యాలు/విధుల కోసం చక్కని సంగ్రహణ	"ఎంటర్‌ప్రైజ్ చక్కనైనది" అనిపిస్తుంది - కొన్నిసార్లు అది ఒక ప్రశంస 😉
ఆటోజెన్	బహుళ-ఏజెంట్ ప్రయోగకర్తలు	స్వేచ్ఛాయుతమైన	ఏజెంట్-టు-ఏజెంట్ సహకార నమూనాలు	అతిగా మాట్లాడవచ్చు; కఠినమైన ముగింపు నియమాలను సెట్ చేయండి
క్రూఏఐ	"ఏజెంట్ల బృందాలు" అభిమానులు	స్వేచ్ఛాయుతమైన	పాత్రలు + పనులు + అప్పగింతలు వ్యక్తీకరించడం సులభం	పనులు మెత్తగా కాకుండా, స్ఫుటంగా ఉన్నప్పుడు ఉత్తమంగా పనిచేస్తుంది
గడ్డివాము	శోధన + పైప్‌లైన్‌ల వ్యక్తులు	స్వేచ్ఛాయుతమైన	ఘన పైప్‌లైన్‌లు, తిరిగి పొందడం, భాగాలు	తక్కువ “ఏజెంట్ థియేటర్”, ఎక్కువ “ప్రాక్టికల్ ఫ్యాక్టరీ”
రోల్-యువర్-ఓన్ (కస్టమ్ లూప్)	నియంత్రణ ఫ్రీక్స్ (ఆప్యాయత)	మీ సమయం	కనిష్ట మాయాజాలం, గరిష్ట స్పష్టత	సాధారణంగా దీర్ఘకాలికంగా ఉత్తమమైనది... మీరు ప్రతిదీ తిరిగి కనిపెట్టే వరకు 😅

ఒక్క విజేత అంటూ ఎవరూ లేరు. మీ ఏజెంట్ యొక్క ప్రధాన పని డేటాను తిరిగి పొందడం , టూల్ ఎగ్జిక్యూషన్ , మల్టీ-ఏజెంట్ కోఆర్డినేషన్ , లేదా వర్క్‌ఫ్లో ఆటోమేషన్ అనే దానిపై ఉత్తమ ఎంపిక ఆధారపడి ఉంటుంది .

---

6) AI ఏజెంట్‌ను దశలవారీగా ఎలా నిర్మించాలి (అసలు వంటకం) 🍳🤖

ఇది చాలా మంది దాటవేసే భాగం, ఆపై ఏజెంట్ ప్యాంట్రీలో రక్కూన్ లాగా ఎందుకు ప్రవర్తిస్తాడో ఆశ్చర్యపోతారు.

దశ 1: ఉద్యోగాన్ని ఒకే వాక్యంలో నిర్వచించండి 🎯

ఉదాహరణలు:

• "పాలసీ మరియు టిక్కెట్ సందర్భాన్ని ఉపయోగించి కస్టమర్ ప్రత్యుత్తరాన్ని రూపొందించండి, ఆపై ఆమోదం కోసం అడగండి."

• "ఒక బగ్ నివేదికను పరిశోధించండి, దానిని పునరుత్పత్తి చేయండి మరియు పరిష్కారాన్ని ప్రతిపాదించండి."

• "అసంపూర్ణ సమావేశ గమనికలను పనులు, యజమానులు మరియు గడువులుగా మార్చండి."

మీరు దానిని సరళంగా నిర్వచించలేకపోతే, మీ ఏజెంట్ కూడా చేయలేడు. నా ఉద్దేశ్యం అది చేయగలదు, కానీ అది మెరుగుపరుచుకుంటుంది మరియు మెరుగుపరుచుకోవడం అంటే బడ్జెట్‌లు చనిపోయే ప్రదేశం.

దశ 2: స్వయంప్రతిపత్తి స్థాయిని నిర్ణయించండి (తక్కువ, మధ్యస్థ, కారంగా) 🌶️

• తక్కువ స్వయంప్రతిపత్తి: దశలను సూచిస్తుంది, మానవుడు “ఆమోదించు” అని క్లిక్ చేస్తాడు

• మీడియం: సాధనాలను అమలు చేస్తుంది, అవుట్‌పుట్‌ను డ్రాఫ్ట్ చేస్తుంది, అనిశ్చితిపై పెరుగుతుంది

• హై: ఎండ్-టు-ఎండ్ అమలు చేస్తుంది, మినహాయింపులపై మానవులను మాత్రమే పింగ్ చేస్తుంది

మీరు కోరుకున్న దానికంటే తక్కువ వేగంతో ప్రారంభించండి. మీరు దీన్ని తర్వాత ఎప్పుడైనా పెంచవచ్చు.

దశ 3: మీ మోడల్ వ్యూహాన్ని ఎంచుకోండి 🧠

మీరు సాధారణంగా వీటిని ఎంచుకుంటారు:

• ప్రతిదానికీ ఒక బలమైన నమూనా (సరళమైనది)

• ఒక బలమైన మోడల్ + చౌకైన దశల కోసం చిన్న మోడల్ (వర్గీకరణ, రూటింగ్)

• అవసరమైతే ప్రత్యేక నమూనాలు (దృష్టి, నియమావళి, ప్రసంగం)

వీటిని కూడా నిర్ణయించండి:

• గరిష్ట టోకెన్లు

• ఉష్ణోగ్రత

• మీరు అంతర్గతంగా దీర్ఘ తార్కిక జాడలను అనుమతిస్తారా లేదా (మీరు అనుమతించవచ్చు, కానీ తుది వినియోగదారులకు ముడి ఆలోచనల గొలుసును బహిర్గతం చేయవద్దు)

దశ 4: కఠినమైన స్కీమాలతో సాధనాలను నిర్వచించండి 🔩

ఉపకరణాలు ఇలా ఉండాలి:

• ఇరుకైన

• టైప్ చేయబడింది

• అనుమతి పొందిన

• ధృవీకరించబడిన OpenAI స్ట్రక్చర్డ్ అవుట్‌పుట్‌లు

do_anything(input: string) అనే సాధనానికి బదులుగా , దీన్ని తయారు చేయండి:

• search_kb(ప్రశ్న: స్ట్రింగ్) -> ఫలితాలు[]

• create_ticket(శీర్షిక: స్ట్రింగ్, బాడీ: స్ట్రింగ్, ప్రాధాన్యత: enum) -> టికెట్_ఐడి

• send_email(to: string, subject: string, body: string) -> status OpenAI ఫంక్షన్ కాలింగ్ గైడ్

మీరు ఏజెంట్‌కి చైన్సా ఇస్తే, అది కంచెను కూడా తొలగించి హెడ్జ్‌ను కత్తిరించినప్పుడు షాక్ అవ్వకండి.

దశ 5: కంట్రోలర్ లూప్‌ను నిర్మించండి 🔁

కనిష్ట లూప్:

1. లక్ష్యం + ప్రారంభ సందర్భంతో ప్రారంభించండి

2. మోడల్ ని అడగండి: “తదుపరి చర్య?”

3. టూల్ కాల్ అయితే - టూల్‌ను అమలు చేయండి

4. పరిశీలనను జతచేయండి

5. స్టాప్ స్థితిని తనిఖీ చేయండి

6. LangChain “ఏజెంట్లు” డాక్యుమెంటేషన్‌ను (గరిష్ట దశలతో) పునరావృతం చేయండి

జోడించు:

• గడువు ముగింపులు

• పునఃప్రయత్నాలు (జాగ్రత్త - పునఃప్రయత్నాలు లూప్ కావచ్చు) AWS “టైమ్‌అవుట్‌లు, పునఃప్రయత్నాలు మరియు జిట్టర్‌తో బ్యాక్‌ఆఫ్”

• సాధన దోష ఆకృతీకరణ (స్పష్టమైనది, నిర్మాణాత్మకమైనది)

దశ 6: మెమరీని జాగ్రత్తగా జోడించండి 🗃️

స్వల్పకాలికం: ప్రతి దశలోనూ ఒక సంక్షిప్త “స్థితి సారాంశం”ను అప్‌డేట్ చేస్తూ ఉండండి. లాంగ్‌చెయిన్ “మెమరీ అవలోకనం”
దీర్ఘకాలికం: శాశ్వతమైన వాస్తవాలను (వినియోగదారు ప్రాధాన్యతలు, సంస్థ నియమాలు, స్థిరమైన డాక్యుమెంట్లు) నిల్వ చేయండి.

ముఖ్య నియమం:

• అది తరచుగా మారుతుంటే - దానిని స్వల్పకాలికంగా ఉంచండి

• అది స్థిరంగా ఉంటే - దీర్ఘకాలికంగా నిల్వ చేయండి

• అది సున్నితమైనది అయితే - తక్కువగా నిల్వ చేయండి (లేదా అస్సలు నిల్వ చేయవద్దు)

దశ 7: ధ్రువీకరణ మరియు “విమర్శకుడి” పాస్‌ను జోడించండి 🧪

చౌకైన, ఆచరణాత్మక నమూనా:

• ఏజెంట్ ఫలితాన్ని ఉత్పత్తి చేస్తాడు

• వాలిడేటర్ నిర్మాణం మరియు అడ్డంకులను తనిఖీ చేస్తుంది

• తప్పిపోయిన దశలు లేదా విధాన ఉల్లంఘనలకు ఐచ్ఛిక విమర్శకుల నమూనా సమీక్షలు NIST AI RMF 1.0

పరిపూర్ణంగా లేదు, కానీ ఇది ఆశ్చర్యకరమైన అర్ధంలేని విషయాలను పట్టుకుంటుంది.

దశ 8: లాగిన్ చేయనందుకు మీరు చింతించే ప్రతిదాన్ని లాగ్ చేయండి 📜

లాగ్:

• టూల్ కాల్స్ + ఇన్‌పుట్‌లు + అవుట్‌పుట్‌లు

• తీసుకున్న నిర్ణయాలు

• లోపాలు

• తుది అవుట్‌పుట్‌లు

• టోకెన్లు మరియు జాప్యం ఓపెన్‌టెలిమెట్రీ అబ్జర్వబిలిటీ ప్రైమర్

భవిష్యత్తు - నువ్వు నీకు కృతజ్ఞతలు తెలుపుతావు. వర్తమానం - నువ్వు మర్చిపోతావు. అంతే జీవితం 😵💫

---

7) మీ ఆత్మను విచ్ఛిన్నం చేయని టూల్ కాలింగ్ 🧰😵

టూల్ కాలింగ్ అంటే “AI ఏజెంట్‌ను ఎలా నిర్మించాలి” అనేది నిజమైన సాఫ్ట్‌వేర్ ఇంజనీరింగ్ అవుతుంది.

పనిముట్లను ఆధారపడదగినవిగా చేయండి (ఆధారపడటం మంచిది)

నమ్మదగిన సాధనాలు:

• నిర్ణయాత్మక

• పరిధిలో ఇరుకైనది

• పరీక్షించడం సులభం

• స్ట్రైప్ “ఐడెంపోటెంట్ రిక్వెస్ట్‌లను” మళ్లీ అమలు చేయడం సురక్షితం

టూల్ లేయర్ వద్ద గార్డ్‌రెయిల్‌లను జోడించండి, ప్రాంప్ట్‌లను మాత్రమే కాదు

ప్రాంప్ట్‌లు మర్యాదపూర్వక సూచనలు. సాధన ధ్రువీకరణ అనేది మూసి ఉన్న తలుపు. OpenAI స్ట్రక్చర్డ్ అవుట్‌పుట్‌లు.

చేయండి:

• అనుమతి జాబితాలు (ఏ సాధనాలను అమలు చేయగలవు)

• ఇన్‌పుట్ ధ్రువీకరణ

• రేటు పరిమితులు OpenAI రేటు పరిమితులు గైడ్

• ప్రతి యూజర్/ఆర్గ్ కు అనుమతి తనిఖీలు

• ప్రమాదకర చర్యలకు "డ్రై-రన్ మోడ్"

పాక్షిక వైఫల్యానికి రూపకల్పన

సాధనాలు విఫలమవుతాయి. నెట్‌వర్క్‌లు తడబడుతున్నాయి. ప్రామాణీకరణ గడువు ముగుస్తుంది. ఏజెంట్ తప్పనిసరిగా:

• లోపాలను అర్థం చేసుకోండి

• సముచితమైనప్పుడు బ్యాక్‌ఆఫ్‌తో మళ్లీ ప్రయత్నించండి Google క్లౌడ్ పునఃప్రయత్న వ్యూహం (బ్యాక్‌ఆఫ్ + జిట్టర్)

• ప్రత్యామ్నాయ సాధనాలను ఎంచుకోండి

• ఇరుక్కుపోయినప్పుడు పెరుగుతుంది

నిశ్శబ్దంగా ప్రభావవంతమైన ట్రిక్: నిర్మాణాత్మక లోపాలను తిరిగి ఇవ్వండి:

• రకం: auth_error

• రకం: దొరకలేదు

• రకం: రేటు_పరిమితం
  కాబట్టి మోడల్ భయాందోళనకు గురికాకుండా తెలివిగా స్పందించగలదు.

---

8) మిమ్మల్ని వెంటాడటానికి బదులుగా సహాయపడే జ్ఞాపకం 👻🗂️

జ్ఞాపకశక్తి శక్తివంతమైనది, కానీ అది చెత్త డ్రాయర్‌గా కూడా మారవచ్చు.

స్వల్పకాలిక జ్ఞాపకశక్తి: దానిని కాంపాక్ట్‌గా ఉంచండి

వా డు:

• చివరి N దశలు

• నడుస్తున్న సారాంశం (ప్రతి లూప్‌ను నవీకరించబడింది)

• ప్రస్తుత ప్లాన్

• ప్రస్తుత పరిమితులు (బడ్జెట్, సమయం, విధానాలు)

మీరు ప్రతిదీ సందర్భోచితంగా వదిలేస్తే, మీకు లభిస్తుంది:

• అధిక ధర

• నెమ్మదిగా జాప్యం

• మరింత గందరగోళం (అవును, అయినప్పటికీ)

దీర్ఘకాలిక జ్ఞాపకశక్తి: "స్టఫింగ్" పై తిరిగి పొందడం

చాలా "దీర్ఘకాలిక జ్ఞాపకశక్తి" ఇలా ఉంటుంది:

• ఎంబెడ్డింగ్‌లు

• వెక్టర్ స్టోర్

• రిట్రీవల్ ఆగ్మెంటెడ్ జనరేషన్ (RAG) RAG పేపర్

ఏజెంట్ గుర్తుంచుకోదు. అది రన్‌టైమ్‌లో అత్యంత సంబంధిత స్నిప్పెట్‌లను తిరిగి పొందుతుంది. లామాఇండెక్స్ “RAG పరిచయం”

ప్రాక్టికల్ మెమరీ నియమాలు

• “ప్రాధాన్యతలను” స్పష్టమైన వాస్తవాలుగా నిల్వ చేయండి: “యూజర్ బుల్లెట్ సారాంశాలను ఇష్టపడతారు మరియు ఎమోజీలను ద్వేషిస్తారు” (lol, అయితే ఇక్కడ కాదు 😄)

• టైమ్‌స్టాంప్‌లు లేదా వెర్షన్‌లతో “నిర్ణయాలను” నిల్వ చేయండి (లేకపోతే వైరుధ్యాలు పేరుకుపోతాయి)

• నిజంగా అవసరం అయితే తప్ప రహస్యాలను ఎప్పుడూ దాచుకోకండి

మరియు ఇదిగో నా అసంపూర్ణ రూపకం: జ్ఞాపకశక్తి రిఫ్రిజిరేటర్ లాంటిది. మీరు దానిని ఎప్పుడూ శుభ్రం చేయకపోతే, చివరికి మీ శాండ్‌విచ్ ఉల్లిపాయల రుచిని మరియు విచారాన్ని కలిగిస్తుంది.

---

9) ప్రణాళిక నమూనాలు (సాధారణ నుండి ఫ్యాన్సీ వరకు) 🧭✨

ప్రణాళిక అంటే కేవలం నియంత్రిత కుళ్ళిపోవడం. దానిని మార్మికంగా మార్చకండి.

నమూనా A: చెక్‌లిస్ట్ ప్లానర్ ✅

• మోడల్ దశల జాబితాను అందిస్తుంది

• దశలవారీగా అమలు చేస్తుంది

• చెక్‌లిస్ట్ స్థితిని నవీకరిస్తుంది

ఆన్‌బోర్డింగ్‌కు చాలా బాగుంది. సరళమైనది, పరీక్షించదగినది.

నమూనా B: రియాక్ట్ లూప్ (కారణం + చర్య) 🧠→🧰

• మోడల్ తదుపరి సాధన కాల్‌ను నిర్ణయిస్తుంది

• అవుట్‌పుట్‌ను గమనిస్తుంది

• రియాక్ట్ పేపర్‌ను పునరావృతం చేస్తుంది

ఇది క్లాసిక్ ఏజెంట్ అనుభూతి.

నమూనా C: సూపర్‌వైజర్-కార్మికుడు 👥

• సూపర్‌వైజర్ లక్ష్యాన్ని పనులుగా విభజిస్తాడు

• కార్మికులు ప్రత్యేక పనులను నిర్వహిస్తారు

• సూపర్‌వైజర్ ఫలితాలను విలీనం చేస్తుంది Microsoft AutoGen (మల్టీ-ఏజెంట్ ఫ్రేమ్‌వర్క్)

పనులు సమాంతరంగా ఉన్నప్పుడు లేదా మీరు విభిన్న "పాత్రలు" కోరుకున్నప్పుడు ఇది విలువైనది:

• పరిశోధకుడు

• కోడర్

• ఎడిటర్

• QA చెకర్

నమూనా D: ప్లాన్ చేసి, ఆపై రీప్లానింగ్‌తో అమలు చేయండి 🔄

• ప్రణాళికను సృష్టించండి

• అమలు చేయు

• సాధన ఫలితాలు వాస్తవికతను మారుస్తే, తిరిగి ప్లాన్ చేయండి

ఇది ఏజెంట్ చెడు ప్రణాళికను మొండిగా అనుసరించకుండా నిరోధిస్తుంది. అలసిపోయినట్లయితే తప్ప, మానవులు కూడా ఇలాగే చేస్తారు, ఆ సందర్భంలో వారు చెడు ప్రణాళికలను కూడా అనుసరిస్తారు.

---

10) భద్రత, విశ్వసనీయత మరియు తొలగించబడకుండా ఉండటం 🔐😅

మీ ఏజెంట్ చర్యలు తీసుకోగలిగితే, మీకు భద్రతా రూపకల్పన అవసరం. ఉంటే మంచిది కాదు. తప్పనిసరి. NIST AI RMF 1.0

కఠినమైన పరిమితులు

• పరుగుకు గరిష్ట అడుగులు

• నిమిషానికి గరిష్ట టూల్ కాల్స్

• సెషన్‌కు గరిష్ట ఖర్చు (టోకెన్ బడ్జెట్)

• ఆమోదం వెనుక ఉన్న పరిమితం చేయబడిన సాధనాలు

డేటా నిర్వహణ

• లాగింగ్ చేసే ముందు సున్నితమైన ఇన్‌పుట్‌లను సరిచేయండి

• ప్రత్యేక వాతావరణాలు (డెవలప్ vs ప్రొడక్షన్)

• తక్కువ-ప్రత్యేక సాధన అనుమతులు

ప్రవర్తనా పరిమితులు

• ఏజెంట్‌ను అంతర్గత ఆధారాల స్నిప్పెట్‌లను ఉదహరించమని బలవంతం చేయడం (బాహ్య లింక్‌లు కాదు, కేవలం అంతర్గత సూచనలు)

• విశ్వాసం తక్కువగా ఉన్నప్పుడు అనిశ్చితి జెండాలు అవసరం

• ఇన్‌పుట్‌లు అస్పష్టంగా ఉంటే "స్పష్టమైన ప్రశ్న అడగండి" అని కోరుతుంది

నమ్మకమైన ఏజెంట్ అంటే అంత నమ్మకంగా ఉండేవాడు కాదు. ఊహించేటప్పుడు తెలుసుకుని... అలా చెప్పేవాడు.

---

11) పరీక్ష మరియు మూల్యాంకనం (ప్రతి ఒక్కరూ తప్పించుకునే భాగం) 🧪📏

మీరు కొలవలేని దాన్ని మీరు మెరుగుపరచలేరు. అవును, ఆ లైన్ చీజీగా ఉంది, కానీ అది చిరాకు తెప్పించే నిజం.

ఒక దృశ్య సమితిని నిర్మించండి

30-100 పరీక్ష కేసులను సృష్టించండి:

• సంతోషకరమైన మార్గాలు

• అంచు కేసులు

• "సాధనం విఫలమైన" కేసులు

• అస్పష్టమైన అభ్యర్థనలు

• ప్రతికూల ప్రాంప్ట్‌లు (ప్రాంప్ట్ ఇంజెక్షన్ ప్రయత్నాలు) LLM యాప్‌ల కోసం OWASP టాప్ 10 OWASP LLM01 ప్రాంప్ట్ ఇంజెక్షన్

స్కోర్ ఫలితాలు

ఇలాంటి మెట్రిక్‌లను ఉపయోగించండి:

• పని విజయ రేటు

• పూర్తి చేయడానికి పట్టే సమయం

• సాధన దోష పునరుద్ధరణ రేటు

• భ్రాంతులు రేటు (ఆధారాలు లేని వాదనలు)

• మానవ ఆమోద రేటు (పర్యవేక్షించబడిన మోడ్‌లో ఉంటే)

ప్రాంప్ట్‌లు మరియు సాధనాల కోసం రిగ్రెషన్ పరీక్షలు

మీరు ఎప్పుడైనా మారినప్పుడు:

• సాధన పథకం

• సిస్టమ్ సూచనలు

• తిరిగి పొందే తర్కం

• మెమరీ ఫార్మాట్
  సూట్‌ను మళ్ళీ అమలు చేయండి.

ఏజెంట్లు సున్నితమైన జంతువులు. ఇంట్లో పెరిగే మొక్కల లాగా, కానీ ఖరీదైనవి.

---

12) మీ బడ్జెట్‌ను కరిగించని విస్తరణ నమూనాలు 💸🔥

ఒకే సేవతో ప్రారంభించండి

• ఏజెంట్ కంట్రోలర్ API

• దాని వెనుక ఉన్న సాధన సేవలు

• లాగింగ్ + పర్యవేక్షణ ఓపెన్‌టెలిమెట్రీ అబ్జర్వబిలిటీ ప్రైమర్

ఖర్చు నియంత్రణలను ముందుగానే జోడించండి

• కాషింగ్ రిట్రీవల్ ఫలితాలు

• సంభాషణ స్థితిని సారాంశాలతో కుదించడం

• రూటింగ్ మరియు వెలికితీత కోసం చిన్న నమూనాలను ఉపయోగించడం

• "లోతైన ఆలోచనా విధానాన్ని" కష్టతరమైన దశలకు పరిమితం చేయడం

సాధారణ నిర్మాణ ఎంపిక

• స్థితిలేని నియంత్రిక + బాహ్య స్థితి స్టోర్ (DB/redis)

• సాధ్యమైన చోట టూల్ కాల్స్ ఐడెంపోటెంట్ గా ఉంటాయి స్ట్రైప్ “ఐడెంపోటెంట్ అభ్యర్థనలు”

• పొడవైన పనుల కోసం క్యూలో నిలబడటం (కాబట్టి మీరు వెబ్ అభ్యర్థనను ఎప్పటికీ తెరిచి ఉంచలేరు)

ఇంకా: “కిల్ స్విచ్” నిర్మించండి. మీకు నిజంగా అది అవసరమయ్యే వరకు మీకు అది అవసరం ఉండదు 😬

---

13) ముగింపు గమనికలు - AI ఏజెంట్‌ను ఎలా నిర్మించాలో సంక్షిప్త వెర్షన్ 🎁🤖

మీకు మరేమీ గుర్తులేకపోతే, దీన్ని గుర్తుంచుకోండి:

• AI ఏజెంట్‌ను ఎలా నిర్మించాలి అనేది ప్రధానంగా ఒక మోడల్ చుట్టూ సురక్షితమైన లూప్‌ను నిర్మించడం గురించే ఉంటుంది. లాంగ్‌చెయిన్ “ఏజెంట్స్” డాక్స్

• స్పష్టమైన లక్ష్యం, తక్కువ స్వయంప్రతిపత్తి మరియు కఠినమైన సాధనాలతో ప్రారంభించండి. OpenAI స్ట్రక్చర్డ్ అవుట్‌పుట్‌లు

• అంతులేని సందర్భోచిత నింపడం ద్వారా కాకుండా, తిరిగి పొందడం ద్వారా జ్ఞాపకశక్తిని జోడించండి. RAG కాగితం

• ప్రణాళిక సులభం కావచ్చు - చెక్‌లిస్ట్‌లు మరియు పునఃప్రణాళిక చాలా దూరం వెళ్తాయి.

• లాగింగ్ మరియు పరీక్షలు ఏజెంట్ గందరగోళాన్ని మీరు రవాణా చేయగల దానిగా మారుస్తాయి. OpenTelemetry అబ్జర్వబిలిటీ ప్రైమర్

• గార్డ్‌రెయిల్‌లు ప్రాంప్ట్‌లలోనే కాకుండా కోడ్‌లోనూ ఉంటాయి. LLM యాప్‌ల కోసం OWASP టాప్ 10

ఏజెంట్ అంటే మాయాజాలం కాదు. ఇది విలువైనదిగా ఉండటానికి తరచుగా మంచి నిర్ణయాలు తీసుకునే వ్యవస్థ... మరియు నష్టం కలిగించే ముందు ఓటమిని అంగీకరిస్తుంది. నిశ్శబ్దంగా ఓదార్పునిస్తుంది, ఒక విధంగా 😌

మరియు అవును, మీరు దీన్ని సరిగ్గా నిర్మిస్తే, ఎప్పుడూ నిద్రపోని, అప్పుడప్పుడు భయపడే మరియు కాగితపు పనిని ఇష్టపడే ఒక చిన్న డిజిటల్ ఇంటర్న్‌ను నియమించుకున్నట్లు అనిపిస్తుంది. కాబట్టి, ప్రాథమికంగా ఒక ఇంటర్న్.

వాస్తవ ప్రపంచ ఉదాహరణ: సపోర్ట్ ట్రైయేజ్ AI ఏజెంట్‌ను నిర్మించడం 🎫🤖

దృశ్యం

ఒక చిన్న SaaS బృందం వారానికి 120-180 సపోర్ట్ టిక్కెట్లను స్వీకరిస్తున్నట్లు ఊహించుకోండి. చాలా టిక్కెట్లు సంక్లిష్టమైనవి కావు, కానీ వాటికి సమయం పడుతుంది: పాస్‌వర్డ్ రీసెట్‌లు, బిల్లింగ్ ప్రశ్నలు, బగ్ రిపోర్టులు, ఫీచర్ అభ్యర్థనలు మరియు "ఇది ఊహించిన ప్రవర్తనేనా?" వంటి సందేశాలు.

ఒక సాధారణ చాట్‌బాట్ ప్రత్యుత్తరాలను రూపొందించగలదు, కానీ అది ఖాతా స్థితిని విశ్వసనీయంగా తనిఖీ చేయడం, నాలెడ్జ్ బేస్‌లో శోధించడం, అత్యవసరాన్ని వర్గీకరించడం లేదా మానవ జోక్యం ఎప్పుడు అవసరమో నిర్ణయించడం వంటివి చేయలేదు. ఇక్కడే ఒక ఏజెంట్ అవసరం అవుతుంది.

సపోర్ట్‌ను పూర్తిగా భర్తీ చేయడం లక్ష్యం కాదు. కొత్త టికెట్‌ను చదివి, సందర్భాన్ని సేకరించి, ప్రత్యుత్తరాన్ని రూపొందించి, టికెట్‌ను సరైన క్యూకి పంపే తక్కువ స్వయంప్రతిపత్తి గల ఏజెంట్‌ను నిర్మించడమే లక్ష్యం. కస్టమర్‌కు సంబంధించిన దేనినైనా ఒక మనిషే ఆమోదిస్తాడు.

సహాయకుడికి ఏమి అవసరం

సురక్షితంగా పనిచేయడానికి, ఏజెంట్‌కు కొన్ని నియంత్రిత ఇన్‌పుట్‌లు మరియు సాధనాలు అవసరం:

• ఇన్‌కమింగ్ టికెట్ టెక్స్ట్

• కస్టమర్ ప్లాన్ రకం, ఖాతా వయస్సు మరియు ఇటీవలి బిల్లింగ్ స్థితి

• ఇటీవలి ఉత్పత్తి మార్పుల జాబితా లేదా తెలిసిన సంఘటనలు

• అంతర్గత సహాయ కేంద్ర కథనాలు

• పరిమిత ఫీల్డ్‌లతో కూడిన టికెట్ అప్‌డేట్ సాధనం

• డ్రాఫ్ట్ రిప్లై టూల్, ఈమెయిల్ పంపే టూల్ కాదు

• స్పష్టమైన తీవ్రతరం చేసే విధానం

సాధనాల జాబితా ఉద్దేశపూర్వకంగా పరిమితంగా ఉండాలి:

• search_help_centre(query)

• get_customer_status(customer_id)

• check_known_incidents(product_area)

• update_ticket_category(ticket_id, category, priority)

• draft_reply(ticket_id, reply_text)

• escalate_to_human(ticket_id, reason)

ఏమి లోపించిందో గమనించండి: “కస్టమర్‌కు డబ్బు వాపసు ఇవ్వడం”, “ఖాతాను మూసివేయడం”, లేదా “తుది సమాధానం పంపడం” వంటి సాధనాలు లేవు. మొదటి వెర్షన్‌కు ఆ చర్యలు చాలా ప్రమాదకరమైనవి.

ఉదాహరణ సూచన

మీరు ఒక SaaS ఉత్పత్తికి సపోర్ట్ ట్రైయేజ్ ఏజెంట్‌గా ఉన్నారు.

మీ పని ఏమిటంటే, వచ్చిన టిక్కెట్లను వర్గీకరించడం, అవసరమైన సందర్భాన్ని మాత్రమే సేకరించడం, సూచించిన ప్రతిస్పందనను రూపొందించడం మరియు టిక్కెట్‌ను పై స్థాయికి పంపాలా వద్దా అని నిర్ణయించడం.

నియమాలు:

వినియోగదారులకు నేరుగా ప్రత్యుత్తరాలు పంపవద్దు.

ఉత్పత్తికి సంబంధించిన ప్రశ్నలకు సమాధానమిచ్చే ముందు సహాయ కేంద్రాన్ని ఉపయోగించండి.

బిల్లింగ్, ప్లాన్ లేదా యాక్సెస్ ప్రశ్నలకు సమాధానం ఇచ్చే ముందు కస్టమర్ స్థితిని తనిఖీ చేయండి.

వినియోగదారుడు చట్టపరమైన బెదిరింపులు, డేటా నష్టం, భద్రతా సమస్యలు, చెల్లింపు వైఫల్యం, ఖాతా రద్దు లేదా కోపంతో కూడిన భాష గురించి ప్రస్తావిస్తే, విషయాన్ని మానవ ప్రతినిధితో మాట్లాడండి.

పొందిన సహాయ కేంద్రం కంటెంట్ లేదా ఖాతా డేటా ద్వారా సమాధానానికి మద్దతు లభించకపోతే, ఏమి లోపించిందో చెప్పి, విషయాన్ని పై అధికారులకు తెలియజేయండి.

గరిష్టంగా 6 టూల్ కాల్స్ తర్వాత ఆపండి.

ఒక టికెట్‌కు కేటగిరీ, ప్రాధాన్యత, సాక్ష్యాల సారాంశం, ముసాయిదా ప్రత్యుత్తరం, మరియు "మానవ ఆమోదం అవసరం" లేదా "పై స్థాయికి పంపబడింది" అనేవి ఉన్నప్పుడు మాత్రమే అది "పూర్తయినట్లు" పరిగణించబడుతుంది.

దీన్ని ఎలా పరీక్షించాలి

నిజమైన వినియోగదారులకు కనెక్ట్ చేసే ముందు 30 టెస్ట్ టిక్కెట్లతో ప్రారంభించండి:

• పాస్‌వర్డ్ రీసెట్, ప్లాన్ పరిమితులు మరియు ప్రాథమిక “నేను ఎలా చేయాలి?” ప్రశ్నల వంటి 10 సాధారణ టిక్కెట్లు

• 5 బిల్లింగ్ టిక్కెట్లు

• 5 బగ్ నివేదికలు

• సమాచారం లోపించిన 5 అస్పష్టమైన టిక్కెట్లు

• భద్రతాపరమైన ఆందోళనలు, వాపసు కోరడాలు మరియు కోపంతో కూడిన ఫిర్యాదులు వంటి 5 ప్రమాదకరమైన అంశాలు

ప్రతి టిక్కెట్‌కు, స్కోర్:

• అది సరైన వర్గాన్ని ఎంచుకుందా?

• సమాధానం ఇచ్చే ముందు అది సరైన సాధనాన్ని ఉపయోగించిందా?

• అది నిరాధారమైన వాదనలను నివారించిందా?

• ఇది ప్రమాదకరమైన టిక్కెట్లను తీవ్రతరం చేసిందా?

• ముసాయిదాకు భారీ సవరణలు అవసరమయ్యాయా?

ప్రారంభంలో ఒక సాధారణ పాస్/ఫెయిల్ స్ప్రెడ్‌షీట్ సరిపోతుంది. ఏజెంట్ విలువను అందిస్తున్నాడో లేదో మీకు తెలిసేలోపు మూల్యాంకన వ్యవస్థను అతిగా నిర్మించవద్దు.

ఫలితం

ఉదాహరణ ఫలితం: ఈ వర్క్‌ఫ్లోను ఉపయోగించడానికి ముందు మరియు తర్వాత 30 నమూనా టిక్కెట్ల టైమింగ్ ఆధారంగా, ఒక సపోర్ట్ లీడ్ ఈ క్రింది వాటిని కొలవగలిగారు:

• సగటు మొదటి ట్రియాజ్ సమయం ఒక్కో టికెట్‌కు 6 నిమిషాల నుండి 90 సెకన్లకు తగ్గింది

• 3 గంటలకు బదులుగా 45 నిమిషాల్లో 30 టిక్కెట్లు పరిష్కరించబడ్డాయి

• 30 టిక్కెట్లలో 27 సరైన వర్గంలో ఉంచబడ్డాయి

• 5 ప్రమాదకరమైన టిక్కెట్లలో 5 కూడా సరిగ్గా పై అధికారులకు నివేదించబడ్డాయి

• మానవ ఆమోదం లేకుండా 0 కస్టమర్ ప్రత్యుత్తరాలు పంపబడ్డాయి

ఈ సంఖ్యలు ఒక ఉదాహరణ అంచనా మాత్రమే, నిరూపితమైన ప్రమాణం కాదు. ఈ కొలతను పునరావృతం చేయడం సులభం: అదే బ్యాచ్ టెస్ట్ టిక్కెట్‌లకు మాన్యువల్‌గా సమయాన్ని లెక్కించి, ఆపై వాటిని ఏజెంట్ ద్వారా రన్ చేసి, కేటగిరీ ఖచ్చితత్వం, ఎస్కలేషన్ ఖచ్చితత్వం మరియు ఎడిటింగ్ సమయాన్ని పోల్చి చూడండి.

ఏమి తప్పు జరగవచ్చు

ఏజెంట్ చాలా సాధారణ పద్ధతులలో విఫలం కావచ్చు.

అది, కోపంగా మాట్లాడిన మాటల కారణంగా, నిరాశ చెందిన కానీ సాధారణమైన కస్టమర్‌ను “అత్యవసరం”గా వర్గీకరించవచ్చు. అది పాతబడిన సహాయ కథనం నుండి నమ్మకంతో కూడిన సమాధానాన్ని రూపొందించవచ్చు. సమస్యను పై అధికారులకు నివేదించడమే సరైన చర్య అయినప్పటికీ, అది వెతకడం కొనసాగించవచ్చు. అది ప్రత్యుత్తర ముసాయిదాలో ఖాతాకు సంబంధించిన చాలా వివరాలను బహిర్గతం చేయవచ్చు.

పరిష్కారం కేవలం “మంచి ప్రాంప్ట్ రాయడం” మరియు ఆశించడం కాదు. కఠినమైన పరిమితులను జోడించండి:

• బిల్లింగ్, భద్రత, చట్టపరమైన లేదా రద్దుకు సంబంధించిన నిబంధనలు కనిపించినప్పుడు ఉన్నతాధికారులకు తెలియజేయండి

• సాక్ష్య సారాంశంలో అంతర్గత సహాయ కథనాల నుండి ఉల్లేఖనలు అవసరం

• “ప్రత్యుత్తరం పంపు”ను మానవ ఆమోదం వెనుక ఉంచండి

• ప్రతి టూల్ కాల్ మరియు తుది డ్రాఫ్ట్‌ను నమోదు చేయండి

• ప్రతి ప్రాంప్ట్, టూల్ లేదా పాలసీ మార్పు తర్వాత 30-టికెట్ టెస్ట్ సూట్‌ను మళ్లీ అమలు చేయండి

ఆచరణాత్మక సారాంశం

విలువైన ఏజెంట్‌కు అసాధారణమైన స్వయంప్రతిపత్తి అవసరం లేదు. ఈ ఉదాహరణలో, విలువ ఒక నియంత్రిత లూప్ నుండి వస్తుంది: టికెట్‌ను చదవడం, సరైన సందర్భాన్ని పొందడం, దానిని వర్గీకరించడం, ప్రతిస్పందనను రూపొందించడం మరియు సమీక్ష కోసం ఆగడం. ఒకే పెద్ద ప్రాంప్ట్‌తో "సపోర్ట్‌ను నిర్వహించడానికి" ప్రయత్నించే ఏజెంట్ కంటే దీనిని విశ్వసించడం, పరీక్షించడం మరియు మెరుగుపరచడం చాలా సులభం.

---

ఎఫ్ ఎ క్యూ

సరళంగా చెప్పాలంటే AI ఏజెంట్ అంటే ఏమిటి?

AI ఏజెంట్ అనేది ప్రాథమికంగా పునరావృతమయ్యే ఒక లూప్: ఇన్‌పుట్ తీసుకోండి, తదుపరి దశను నిర్ణయించుకోండి, ఒక సాధనాన్ని ఉపయోగించండి, ఫలితాన్ని చదవండి మరియు అది పూర్తయ్యే వరకు పునరావృతం చేయండి. “ఏజెంటిక్” భాగం కేవలం చాటింగ్ కాకుండా నటన మరియు పరిశీలన నుండి వస్తుంది. చాలా మంది ఏజెంట్లు సాధన ప్రాప్యతతో స్మార్ట్ ఆటోమేషన్, మరికొందరు లోపాల నుండి కోలుకునే జూనియర్ ఆపరేటర్ లాగా ప్రవర్తిస్తారు.

నేను ప్రాంప్ట్‌ను ఉపయోగించకుండా AI ఏజెంట్‌ను ఎప్పుడు నిర్మించాలి?

పని బహుళ-దశలుగా ఉన్నప్పుడు, ఇంటర్మీడియట్ ఫలితాల ఆధారంగా మారుతున్నప్పుడు మరియు నమ్మదగిన సాధన వినియోగం (APIలు, డేటాబేస్‌లు, టికెటింగ్, కోడ్ అమలు) అవసరమైనప్పుడు ఏజెంట్‌ను నిర్మించండి. గార్డ్‌రెయిల్‌లతో పునరావృతమయ్యే ఫలితాలు మరియు "పూర్తయిపోయింది" అని తనిఖీ చేసే మార్గం మీకు కావలసినప్పుడు ఏజెంట్‌లు కూడా ఉపయోగపడతాయి. ఒక సాధారణ ప్రాంప్ట్-రెస్పాన్స్ పనిచేస్తే, ఏజెంట్ సాధారణంగా అనవసరమైన ఓవర్‌హెడ్ మరియు అదనపు వైఫల్య మోడ్‌లుగా ఉంటారు.

లూప్‌లలో చిక్కుకోని AI ఏజెంట్‌ను నేను ఎలా నిర్మించగలను?

హార్డ్ స్టాప్ కండిషన్‌లను ఉపయోగించండి: గరిష్ట దశలు, గరిష్ట సాధన కాల్‌లు మరియు స్పష్టమైన పూర్తి తనిఖీలు. నిర్మాణాత్మక సాధన స్కీమాలు, గడువులు మరియు ఎప్పటికీ తిరిగి ప్రయత్నించని పునఃప్రయత్నాలను జోడించండి. నిర్ణయాలు మరియు సాధన అవుట్‌పుట్‌లను లాగ్ చేయండి, తద్వారా అది ఎక్కడ పట్టాలు తప్పుతుందో మీరు చూడవచ్చు. ఒక సాధారణ భద్రతా వాల్వ్ ఎస్కలేషన్: ఏజెంట్ అనిశ్చితంగా ఉంటే లేదా లోపాలను పునరావృతం చేస్తే, అది మెరుగుపరచడం కంటే సహాయం కోసం అడగాలి.

AI ఏజెంట్‌ను ఎలా నిర్మించాలో కనీస నిర్మాణం ఏమిటి?

కనీసం మీకు మోడల్‌కు లక్ష్యం మరియు సందర్భాన్ని అందించే కంట్రోలర్ లూప్ అవసరం, తదుపరి చర్య కోసం అడుగుతుంది, అభ్యర్థించినట్లయితే ఒక సాధనాన్ని అమలు చేస్తుంది, పరిశీలనను జోడిస్తుంది మరియు పునరావృతం చేస్తుంది. మీకు కఠినమైన ఇన్‌పుట్/అవుట్‌పుట్ ఆకారాలు మరియు "పూర్తయింది" తనిఖీతో కూడిన సాధనాలు కూడా అవసరం. మీరు రాష్ట్రాన్ని శుభ్రంగా ఉంచుకుని, దశల పరిమితులను అమలు చేస్తే రోల్-యువర్-ఓన్ లూప్ కూడా బాగా పని చేస్తుంది.

ఉత్పత్తిలో నమ్మదగినదిగా ఉండేలా టూల్ కాలింగ్‌ను నేను ఎలా డిజైన్ చేయాలి?

సాధనాలను ఇరుకుగా, టైప్ చేసి, అనుమతి ఇచ్చి, ధృవీకరించండి - సాధారణ “do_anything” సాధనాన్ని నివారించండి. ఏజెంట్ ఇన్‌పుట్‌లను హ్యాండ్-వేవ్ చేయలేని విధంగా కఠినమైన స్కీమాలను (స్ట్రక్చర్డ్ అవుట్‌పుట్‌లు/ఫంక్షన్ కాలింగ్ వంటివి) ఇష్టపడండి. టూల్ లేయర్‌లో అనుమతి జాబితాలు, రేటు పరిమితులు మరియు వినియోగదారు/org అనుమతి తనిఖీలను జోడించండి. ఐడెంపోటెన్సీ నమూనాలను ఉపయోగించి, సాధ్యమైనప్పుడు తిరిగి అమలు చేయడానికి సురక్షితంగా ఉండేలా సాధనాలను రూపొందించండి.

ఏజెంట్‌ను మరింత దిగజార్చకుండా మెమరీని జోడించడానికి ఉత్తమ మార్గం ఏమిటి?

జ్ఞాపకశక్తిని రెండు భాగాలుగా పరిగణించండి: స్వల్పకాలిక పరుగు స్థితి (ఇటీవలి దశలు, ప్రస్తుత ప్రణాళిక, పరిమితులు) మరియు దీర్ఘకాలిక తిరిగి పొందడం (ప్రాధాన్యతలు, స్థిరమైన నియమాలు, సంబంధిత పత్రాలు). పూర్తి ట్రాన్స్‌క్రిప్ట్‌లతో కాకుండా, నడుస్తున్న సారాంశాలతో స్వల్పకాలిక కాంపాక్ట్‌గా ఉంచండి. దీర్ఘకాలిక జ్ఞాపకశక్తి కోసం, తిరిగి పొందడం (ఎంబెడ్డింగ్‌లు + వెక్టర్ స్టోర్/RAG నమూనాలు) సాధారణంగా ప్రతిదాన్ని సందర్భోచితంగా "నింపడం" మరియు నమూనాను గందరగోళానికి గురి చేస్తుంది.

నేను ఏ ప్రణాళిక నమూనాను ఉపయోగించాలి: చెక్‌లిస్ట్, రియాక్ట్ లేదా సూపర్‌వైజర్-వర్కర్?

పనులు ఊహించదగినవిగా ఉన్నప్పుడు మరియు మీరు సులభంగా పరీక్షించాలనుకున్నప్పుడు చెక్‌లిస్ట్ ప్లానర్ చాలా బాగుంటుంది. సాధన ఫలితాలు మీరు తదుపరి చేసే పనిని మార్చినప్పుడు రియాక్ట్-శైలి లూప్‌లు మెరుస్తాయి. పనులను సమాంతరంగా చేయగలిగినప్పుడు లేదా విభిన్న పాత్రల నుండి (పరిశోధకుడు, కోడర్, QA) ప్రయోజనం పొందినప్పుడు సూపర్‌వైజర్-వర్కర్ నమూనాలు (ఆటోజెన్-శైలి పాత్ర విభజన వంటివి) సహాయపడతాయి. మొండి పట్టుదలగల చెడు ప్రణాళికలను నివారించడానికి రీప్లానింగ్‌తో ప్లాన్-అండ్-ఎగ్జిక్యూట్ ఒక ఆచరణాత్మక మధ్యస్థం.

ఒక ఏజెంట్ నిజమైన చర్యలు తీసుకోగలిగితే, నేను అతన్ని ఎలా సురక్షితంగా చేయగలను?

తక్కువ-ప్రత్యేక అనుమతులను ఉపయోగించండి మరియు ఆమోదం లేదా "డ్రై-రన్" మోడ్‌ల వెనుక ప్రమాదకర సాధనాలను పరిమితం చేయండి. బడ్జెట్‌లు మరియు పరిమితులను జోడించండి: గరిష్ట దశలు, గరిష్ట ఖర్చు మరియు నిమిషానికి టూల్ కాల్ పరిమితులు. లాగింగ్ చేయడానికి ముందు సున్నితమైన డేటాను సంగ్రహించండి మరియు ఉత్పత్తి వాతావరణాల నుండి డెవలపర్‌ను వేరు చేయండి. ఇన్‌పుట్‌లు అస్పష్టంగా ఉన్నప్పుడు, విశ్వాసాన్ని సాక్ష్యాలను భర్తీ చేయడానికి బదులుగా, అనిశ్చితి ఫ్లాగ్‌లు లేదా ప్రశ్నలను స్పష్టం చేయడం అవసరం.

కాలక్రమేణా మెరుగుపడటానికి AI ఏజెంట్‌ను నేను ఎలా పరీక్షించి, మూల్యాంకనం చేయాలి?

హ్యాపీ పాత్‌లు, ఎడ్జ్ కేసులు, టూల్ వైఫల్యాలు, అస్పష్టమైన అభ్యర్థనలు మరియు ప్రాంప్ట్-ఇంజెక్షన్ ప్రయత్నాలు (OWASP-శైలి)తో ​​ఒక సినారియో సూట్‌ను రూపొందించండి. టాస్క్ విజయం, పూర్తి చేయడానికి సమయం, టూల్ లోపాల నుండి కోలుకోవడం మరియు ఆధారాలు లేకుండా క్లెయిమ్‌లు వంటి ఫలితాలను స్కోర్ చేయండి. మీరు ఎప్పుడైనా టూల్ స్కీమాలు, ప్రాంప్ట్‌లు, తిరిగి పొందడం లేదా మెమరీ ఫార్మాటింగ్‌ను మార్చినప్పుడు, సూట్‌ను తిరిగి అమలు చేయండి. మీరు దానిని పరీక్షించలేకపోతే, మీరు దానిని విశ్వసనీయంగా షిప్ చేయలేరు.

జాప్యం మరియు ఖర్చులను పెంచకుండా నేను ఏజెంట్‌ను ఎలా నియమించగలను?

ఒక సాధారణ నమూనా ఏమిటంటే, బాహ్య స్థితి స్టోర్ (DB/Redis), దాని వెనుక సాధన సేవలు మరియు బలమైన లాగింగ్/మానిటరింగ్ (తరచుగా OpenTelemetry) కలిగిన స్థితిలేని నియంత్రిక. తిరిగి పొందే కాషింగ్, కాంపాక్ట్ స్థితి సారాంశాలు, రూటింగ్/సంగ్రహణ కోసం చిన్న నమూనాలు మరియు "లోతైన ఆలోచన"ను కష్టతరమైన దశలకు పరిమితం చేయడం ద్వారా ఖర్చులను నియంత్రించండి. మీరు వెబ్ అభ్యర్థనలను తెరిచి ఉంచకుండా ఉండటానికి పొడవైన పనుల కోసం క్యూలను ఉపయోగించండి. ఎల్లప్పుడూ కిల్ స్విచ్‌ను చేర్చండి.

ప్రస్తావనలు

1. నేషనల్ ఇన్‌స్టిట్యూట్ ఆఫ్ స్టాండర్డ్స్ అండ్ టెక్నాలజీ (NIST) - NIST AI RMF 1.0 (విశ్వసనీయత & పారదర్శకత) - nvlpubs.nist.gov

2. OpenAI - స్ట్రక్చర్డ్ అవుట్‌పుట్‌లు - platform.openai.com

3. OpenAI - ఫంక్షన్ కాలింగ్ గైడ్ - platform.openai.com

4. OpenAI - రేట్ పరిమితుల గైడ్ - platform.openai.com

5. OpenAI - APIని అమలు చేస్తుంది - platform.openai.com

6. OpenAI - అసిస్టెంట్ల ఫంక్షన్ కాలింగ్ - platform.openai.com

7. లాంగ్‌చెయిన్ - ఏజెంట్స్ డాక్స్ (జావాస్క్రిప్ట్) - docs.langchain.com

8. లాంగ్‌చెయిన్ - టూల్స్ డాక్స్ (పైథాన్) - docs.langchain.com

9. లాంగ్‌చెయిన్ - మెమరీ అవలోకనం - docs.langchain.com

10. arXiv - రియాక్ట్ పేపర్ (కారణం + చర్య) - arxiv.org

11. arXiv - RAG పేపర్ - arxiv.org

12. అమెజాన్ వెబ్ సర్వీసెస్ (AWS) బిల్డర్స్ లైబ్రరీ - జిట్టర్‌తో టైమ్‌అవుట్‌లు, రీట్రైలు మరియు బ్యాక్‌ఆఫ్ - aws.amazon.com

13. ఓపెన్‌టెలిమెట్రీ - అబ్జర్వబిలిటీ ప్రైమర్ - opentelemetry.io

14. స్ట్రైప్ - ఐడెంపోటెంట్ అభ్యర్థనలు - docs.stripe.com

15. Google క్లౌడ్ - వ్యూహాన్ని మళ్లీ ప్రయత్నించండి (బ్యాక్‌ఆఫ్ + జిట్టర్) - docs.cloud.google.com

16. OWASP - లార్జ్ లాంగ్వేజ్ మోడల్ అప్లికేషన్లకు టాప్ 10 - owasp.org

17. OWASP - LLM01 ప్రాంప్ట్ ఇంజెక్షన్ - genai.owasp.org

18. లామాఇండెక్స్ - RAG పరిచయం - developers.llamaindex.ai

19. మైక్రోసాఫ్ట్ - సెమాంటిక్ కెర్నల్ - learn.microsoft.com

20. మైక్రోసాఫ్ట్ ఆటోజెన్ - మల్టీ-ఏజెంట్ ఫ్రేమ్‌వర్క్ (డాక్యుమెంటేషన్) - microsoft.github.io

21. CrewAI - ఏజెంట్ల భావనలు - docs.crewai.com

22. హేస్టాక్ (డీప్‌సెట్) - రిట్రీవర్స్ డాక్యుమెంటేషన్ - docs.haystack.deepset.ai

అధికారిక AI అసిస్టెంట్ స్టోర్‌లో తాజా AI ని కనుగొనండి

మా గురించి