సంక్షిప్త సమాధానం: AI అనేది ఒక లక్షణంగా విశ్వసనీయమైనది కాదు: అది పని, సమాచారాన్ని తిరిగి పొందే ప్రక్రియ, మరియు ఇంకా బాధ్యతలో ఉన్న మనిషిపై. అప్టైమ్ అంటే ఎండ్పాయింట్ స్పందించిందా లేదా అని; ట్రూత్ఫుల్నెస్ నిజమైనదా కాదా అని. పొరపాటు జరిగితే అది చవకైనదిగా లేదా సరిదిద్దగలిగేదిగా ఉన్నప్పుడు దాన్ని ఉపయోగించండి; పొరపాటు జరిగితే నష్టదాయకంగా ఉన్నప్పుడు దాని వేగాన్ని తగ్గించండి.
కీలకమైన అంశాలు:
జవాబుదారీతనం: ఎవరు సమీక్షిస్తారో, ఎవరు దానిని ఆపగలరో, మరియు ఎవరు బాధ్యత వహిస్తారో పేర్కొనండి.
పారదర్శకత: తిరిగి పొందిన భాగాన్ని పరిశీలించండి, లేకపోతే మీకు ఇంకా స్పష్టత ఉండదు.
ఆడిట్ చేయగల సామర్థ్యం: తప్పిపోయిన వాటిని గుర్తించడానికి ప్రాంప్ట్లు, తిరిగి పొందిన భాగాలు మరియు పంపకాలను లాగ్ చేయండి.
నిరోధకతను దుర్వినియోగం చేయండి: డబ్బుకు సంబంధించిన ప్రశ్నల విషయంలో పూర్తిగా విఫలమవ్వండి; సంఖ్యలను, విండోలను, లేదా విధానాన్ని ఎన్నడూ కల్పించవద్దు.
ఉదాహరణాత్మక ఫలితాలు: 20 ప్రశ్నల ఉదాహరణాత్మక పరీక్షను 95% రుజువుగా కాకుండా, ఒక పటంలా పరిగణించండి.
దీని తర్వాత మీరు చదవడానికి ఇష్టపడే కథనాలు:
🔗 రోజువారీ జీవితంలో AIని ఎలా ఉపయోగించాలి?
రోజువారీ పనులు మరియు దినచర్యలను AI ఏ విధంగా సులభతరం చేస్తుందో ఆచరణాత్మక మార్గాలను కనుగొనండి.
🔗 పనిలో AIని ఎలా ఉపయోగించాలి?
AIతో ఉత్పాదకత మరియు సామర్థ్యాన్ని మెరుగుపరచడానికి ఆచరణాత్మక మార్గాలను తెలుసుకోండి.
🔗 ఏఐ స్వయంగా ఆలోచించగలదా?
ఆర్టిఫిషియల్ ఇంటెలిజెన్స్ నిజంగా స్వతంత్రంగా ఆలోచించి, తర్కించగలదా లేదా అని అన్వేషించండి.
🔗 AI రకాలు ఏమిటి?
ప్రధాన AI రకాలు, సామర్థ్యాలు మరియు కీలక వ్యత్యాసాలను అర్థం చేసుకోండి.
యంత్రం ఒక గణాంక చిలుక అయినప్పుడు "విశ్వసనీయత" అంటే అసలు అర్థం ఏమిటి?
సాధారణ వాడుకలో విశ్వసనీయత అంటే దేనిపైనైనా ఆధారపడగలగడం.
మాట్లాడే ఆటోమేషన్లో, ఒకే పదం కింద అనేక విభిన్న లక్షణాలు దాగి ఉంటాయి. వాస్తవికత. స్థిరత్వం. క్రమాంకనం - మోడల్ యొక్క విశ్వాసం అది సరైనది అయ్యే అవకాశానికి సరిపోలుతుందా, లేదా అది కేవలం... ఖచ్చితంగా అనిపిస్తుందా. భద్రత. అప్టైమ్. ప్రాంప్ట్ సెన్సిటివిటీ. ఎడ్జ్ కేసులలో ప్రవర్తన. డిస్ట్రిబ్యూషన్ షిఫ్ట్ తర్వాత ప్రవర్తన, అంటే లైవ్ ప్రపంచం ట్రైనింగ్ ప్రపంచం కానప్పుడు. వీటిలో ఏవీ ఒకేసారి విఫలం కావు. ప్రజలు విస్మరించే విషయం ఇదే.
ఒక చాట్బాట్ వారం మొత్తం పనిచేస్తూనే ఉండవచ్చు, అయినా మంగళవారం మధ్యాహ్నానికి అది తప్పుగా ఉండవచ్చు. ఒక కోడింగ్ కో-పైలట్ బోయిలర్ప్లేట్లో బాగానే ఉండి, ఆ తర్వాత అచ్చం అసలైన దానిలాగే కనిపించే ఒక APIని ఊహించుకోగలడు. ప్రజలు ఉపయోగించే రూపకం "ఒక జూనియర్ సహోద్యోగి". ఇది అసంపూర్ణమైనదే - జూనియర్లు ఇబ్బంది పడతారు - కానీ "ఒరాకిల్" కంటే ఇది వాస్తవానికి దగ్గరగా ఉంటుంది.
లైవ్ టెస్ట్ అనేది దేనికోసం, ఎవరికోసం, దాని చుట్టూ ఉన్న ఏ లూప్తోనైనా నమ్మదగినదిగా ఉంటుంది. లేకపోతే మీరు ఒక బ్లెండర్ పన్నులు కట్టగలదా లేదా అనే దాని ఆధారంగా దానికి గ్రేడింగ్ ఇస్తున్నట్లే అవుతుంది.
అప్టైమ్ అంటే నిజాయితీ కాదు - రెండూ వేర్వేరు రకాల "విశ్వసనీయత"
ఆపరేషన్స్ చేసేవాళ్లు, నిజం చెప్పేవాళ్లు ఒకే పదాన్ని వాడి, ఒకరి మాట ఒకరు వినకుండా మాట్లాడుకుంటారు.
అప్టైమ్ అంటే "ఎండ్పాయింట్ స్పందించిందా". సత్యసంధత అంటే "ఆ సమాధానం అలా ఉందా". గవర్నెన్స్ ఈ రెండింటినీ పట్టించుకుంటుంది, మరియు మోడల్ రిస్క్ ఈ రెండింటి మధ్య ఉన్న వికారమైన అంతరంలో ఉంటుంది. మీరు ఏమాత్రం తడబడని సర్వీస్ను కలిగి ఉండి కూడా, కస్టమర్ టికెట్లో ఒక అనర్గళమైన అబద్ధాన్ని పంపవచ్చు. SRE పరంగా ఇది నమ్మదగినదే. కానీ "దయచేసి రీఫండ్ పాలసీని సృష్టించవద్దు" అనే అర్థంలో నమ్మదగినది కాదు.
ఇది రాసిపెడితే స్పష్టంగానే ఉంటుందనుకుంటాను. కానీ సాయంత్రం 4 గంటలకు, జవాబు వేగంగా వస్తూ, క్యూ ఒక పెద్ద రాక్షసుడిలా ఉన్నప్పుడు ఇది స్పష్టంగా ఉండదు. వేగం అంటే సామర్థ్యం అనిపిస్తుంది. ఒకప్పుడు నెమ్మదిగా ఉండటం అంటే ఎవరో ఆలోచిస్తున్నారని అర్థం. ఇప్పుడు వేగం అనేది ఎవరూ ఆలోచించడం లేదనడానికి ఒక సంకేతం.
భద్రత అనేది మరో ముఖ్యమైన అంశం. ప్రమాదకరమైన జైల్బ్రేక్ను నిరోధించే ఒక మోడల్, భద్రతా మూల్యాంకనం పరంగా "విశ్వసనీయమైనది" అయినప్పటికీ, అది మీ సొంత నోట్స్ సారాంశాన్ని కూడా వక్రీకరించవచ్చు.
అసమర్థంగా, సూటిగా ఉండటం కంటే, అనర్గళంగా తప్పుగా మాట్లాడటం మరింత దారుణం
ఇది ఆత్మవిశ్వాస సమస్య, మరియు ఇదే మనల్ని దెబ్బతీస్తుంది.
ఖచ్చితత్వం మరియు అనర్గళత విడిపోయాయి, మరియు అనర్గళత ఇంటిని తన వద్దే ఉంచుకుంది. ఒక ఎల్ఎల్ఎం మీకు లయను, సరైన చోట్ల జాగ్రత్తను, బహుశా ఒక నకిలీదైనా అందమైన ఉల్లేఖన రూపాన్ని అందిస్తుంది. మీ మెదడు "ఈ వ్యక్తికి తెలుసు" అని చదువుతుంది. కానీ అది ఒక వ్యక్తి కాదు, మరియు ఆ సర్దుబాటు తరచుగా చాలా దారుణంగా ఉంటుంది - అధిక ఆత్మవిశ్వాసం, మధ్యస్థ సత్యం, ఒక ముఖ్య ప్రసంగంలా అందించబడుతుంది.
తడబడుతూ ఇచ్చిన తప్పు సమాధానం మీకు అనుమానం కలిగిస్తుంది. అనర్గళంగా ఇచ్చిన తప్పు సమాధానం మీరు సరిచూడటం మానేసేలా చేస్తుంది. అది చిన్న తేడా కాదు; కాస్త కటువైన ఆ ఒక్క వాక్యంలో చెప్పబడిన కథ మొత్తం ఇదే.
పక్షపాతం కూడా అందులో ఉంటుంది, అది ఎప్పుడూ ఒక దూషణ రూపంలో ఉండదు, కానీ ఆ గదిలో ఎవరున్నారు, ఏ రకమైన ఆంగ్లం తటస్థంగా పరిగణించబడుతుంది అనే దానిపై ఒక అప్రయత్నమైన నిర్ణయంలా ఉంటుంది. ప్రజలు మోసపోతారు, ఎందుకంటే భాష అనేది మన అత్యంత పురాతనమైన నమ్మకానికి మాధ్యమం. అది ఒక సంక్షిప్త నివేదికలా ఉంటే, మనం దాన్ని అలాగే పరిగణిస్తాం. ఆ విషయంలో నేను మరింత విమర్శనాత్మకంగా ఉండాలని అనుకుంటూ ఉంటాను. కానీ అప్పుడు నేను ఒక స్పష్టమైన సారాంశాన్ని చదివి, నా భుజాలు వాలిపోతాయి. ఒక సమావేశంలోకి వెళ్తుంటే, ఆ సారాంశం పూర్తి అయినట్లుగా కనిపిస్తుంది. ఆ ఒక్క వాక్యమే చాలా ఎక్కువ పని చేస్తోంది, అయినా కూడా: ఆ పొరపాటు డెక్లోకి అలానే చేరిపోతుంది.
పరిస్థితిని బట్టి విశ్వసనీయత, బ్రాండ్ను బట్టి కాదు
బ్రాండ్లు దృష్టి మరల్చేవి. పనికి తగిన పోలిక చేయడమే అసలైన పని. వాదనలు ఒకరితో ఒకరు వాదించుకుంటారు. అందులో తప్పులేదు.
| వినియోగ సందర్భం | అది ఎలా విఫలమవుతుంది | అది "తగినంత మంచిది" అయినప్పుడు | మానవుడు ఇంకా ఏమి చేయాలి | ప్రజలు ఎందుకు మోసపోతారు |
|---|---|---|---|---|
| ముసాయిదా / సారాంశం | మినహాయింపును తొలగిస్తుంది; 'కావచ్చు' అనేదాన్ని 'తప్పనిసరి'గా మారుస్తుంది | మీకు ఇప్పటికే తెలిసిన టెక్స్ట్పై మొదటి పాస్ | పేర్లు, నంబర్లు, బాధ కలిగించే లైన్ను తనిఖీ చేయండి | మీలాగే అనిపిస్తోంది. పంపండి. |
| శోధన సంబంధిత ప్రశ్నలు మరియు సమాధానాలు | పొగమంచు సమాధానాలు; తృటిలో తప్పిపోయిన పునరుద్ధరణను వాస్తవంగా రాశారు | దిశానిర్దేశం, అంతిమ నిర్ణయం కాదు | సోర్స్ను ఓపెన్ చేయండి లేదా మీకు ఉన్నది కేవలం ఒక ఊహ మాత్రమే | తిరిగి పొందిన మరియు కనుగొన్న వాటికి ఒకే స్వరం |
| కోడ్ సహాయం | ఆవిష్కరించబడిన APIలు; బగ్ను నిర్ధారించే పరీక్షలు | బాయిలర్ప్లేట్, గ్లూ, "ఈ లోపాన్ని వివరించండి" | దాన్ని రన్ చేయండి. తేడాను చదవండి. (ఇది కొంచెం నీతిబోధలా ఉంది, క్షమించండి.) | ఇంటి శైలి. పచ్చగా కనిపించే పరీక్షలు. |
| కస్టమర్ సపోర్ట్ | కల్పిత విధానం; మర్యాదపూర్వకమైన తప్పు కాదు | కఠినమైన విధానంలో ముసాయిదాలు | డబ్బు మరియు నమ్మకంపై పంపడాన్ని సొంతం చేసుకోండి | వేగంగా + దయతో. ఐదవ సందేశాన్ని ఎవరూ ఆడిట్ చేయరు. |
| వైద్య / న్యాయ సంబంధిత సలహా | అనర్గళంగా, క్రమబద్ధంగా, విపత్తును సృష్టించేంత ఖచ్చితంగా | ఒక ఉత్పత్తిగా దాదాపు ఎప్పుడూ | వృత్తి నిపుణుడిలా ప్రవర్తించండి. ఆ నమూనా ఒక మొద్దు లాంటిది. అది వినడానికి కఠినంగా అనిపిస్తే, మంచిదే. | సంక్షిప్త సమాచారంలా మాట్లాడుతుంది. |
| స్కోరింగ్ / ర్యాంకింగ్ | ప్రాక్సీ ఫీచర్లు; డ్రిఫ్ట్; మునిగిపోయిన అంచు కేసులు | మీరు అధిగమించే ట్రియాజ్ | తోకను ఒకసారి తనిఖీ చేయండి | సంఖ్యలు పరిణతి చెందినట్లుగా అనిపిస్తాయి. డాష్బోర్డ్లు పరిపాలనలా అనిపిస్తాయి. కానీ, వాటంతట అవే అలా ఉండవు. |
| చిత్ర ఉత్పత్తి | చేతులు, అదనపు మోచేతులు, మూస ధోరణి అవశేషాలు | మూడ్బోర్డ్లు, పనికిరాని కాంప్స్ - సాక్ష్యం కాదు | కేవలం కళాఖండాలనే కాదు, అర్థాన్ని కూడా రెండుసార్లు చూడండి | ప్రిటీ సందేహవాదాన్ని అణచివేస్తుంది |
| స్వయంప్రతిపత్తి గల ఏజెంట్లు | నమ్మకమైన సాధన సూచన; మరింత తీవ్రమయ్యే పొరపాట్లు | కిల్ స్విచ్తో ఇరుకైన లూప్లు | పట్టు వదలకండి. అది తాకగలిగిన దాన్ని మూసివేయండి. | సంఖ్యలతో కూడిన ప్రణాళిక సామర్థ్యంలా కనిపిస్తుంది. తరచుగా అది ఒక మోటారుతో నడిచే చేయవలసిన పనుల జాబితా లాంటిది. |
ఏదేమైనా. మీకు ఇష్టమైన సాధనం డ్రాఫ్ట్లలో నైపుణ్యం కలిగి ఉండి, అర్ధరాత్రి వేళ లీగల్-అడ్జసెంట్ కంఫర్ట్ కోసం మీరు దానిని అడుగుతున్నట్లు గమనిస్తే, అది అప్గ్రేడ్ కాదు. మీరు దాని నుండి బయటకు నడిచారని మ్యాప్ చెబుతున్నట్లే అది.
భ్రాంతులు, దిక్కుతోచని స్థితి, మరియు ఒకరకమైన నిశ్శబ్దపు తప్పు
భ్రాంతి అనేది సంచలనం సృష్టిస్తుంది కాబట్టే వార్తల్లోకి వస్తుంది: ఉనికిలో లేని ఒక పుస్తకం, ఎన్నడూ అమలు చేయని ఒక ఫంక్షన్, అధికారికంగా అనిపించే సంఖ్యతో కూడిన ఒక పాలసీ నిబంధన.
డ్రిఫ్ట్ అంత సినిమాటిక్గా ఉండదు. ప్రపంచం కదులుతుంది. మోడల్ యొక్క అవశేషాలు మిగిలిపోతాయి. మీరు కొత్త సందర్భం అవసరమైన ప్రశ్న అడిగితే, గత వాతావరణ సమాచారం నుండి చక్కగా వ్యవస్థీకరించబడిన సమాధానం మీకు లభిస్తుంది. నేను అక్కడ దాదాపు "మరొక యుగం నుండి" అని వ్రాసేవాడిని, ఈ అంశం ఆహ్వానించే అతిశయోక్తి అదే. ఇది మరొక యుగం కాదు. ఇది కేవలం ఇప్పుడు కాదు.
నిశ్శబ్దంగా ఉండే తప్పు గురించే నేను ఎక్కువగా పట్టించుకుంటాను. మినహాయింపును వదిలివేసే సారాంశం. 'కావచ్చు' అనేదాన్ని 'తప్పనిసరి'గా మార్చే పునఃవ్యాఖ్యానం. అర్థం పక్కకు మళ్లినా, వాస్తవికత 'సాంకేతికంగా సరిగ్గా' ఉండవచ్చు.
తక్షణ సున్నితత్వం దీనిని మరింత దిగజార్చుతుంది. పైపూత మారితే, "వాస్తవాలు" మెరుస్తాయి. సందేహవాదిగా అడిగితే, దాటవేత సమాధానాలు వస్తాయి. తొందరలో ఉన్న బాస్లా అడిగితే, చురుకైన అతిశయోక్తులే ఎదురవుతాయి. మీ మూల్యాంకనంలో ఒకే వేషధారణను ఉపయోగిస్తే, మీ మూల్యాంకనం ఒకరకంగా అబద్ధమే. క్షమించండి.
జైలు పలాయనాలు ప్రమాదకరమైన అంచున ఉంటాయి, నాకు దోపిడీ సినిమా వద్దు. ఒక వ్యవస్థను దాని మర్యాదలు వదిలేలా ఒప్పించగలిగితే, విశ్వసనీయత అనేది కేవలం సత్యానికి సంబంధించినది మాత్రమే కాదు; అది రక్షణ కంచెలు ఒక లూప్ లాంటివా లేక ఒక పోస్టర్ లాంటివా అనే దానిపై ఆధారపడి ఉంటుంది.
శిక్షణలో మిగిలిపోయిన అంశాలు, పాతబడిన జ్ఞానం, మరియు గ్రౌండింగ్ అనేది ఒక మాయా మంత్రదండం కాకపోవడానికి గల కారణాలు
జనరేటివ్ మోడల్స్ ఒక కుప్పపై శిక్షణ పొంది, ఆపై మీ మంగళవారం వైపు మళ్ళించబడతాయి. రిట్రీవల్ అంటే వర్తమానాన్ని ఆ కుప్పకు బిగించడానికి చేసే పరిణతి చెందిన ప్రయత్నం. గ్రౌండింగ్ అంటే 'దీని నుండి సమాధానం రాబట్టాలి, పొగమంచు నుండి కాదు'. అది విఫలమైనప్పుడు, మర్యాదగా విఫలమవుతుంది.
ఇది ఒక సాధారణ వైఫల్యం: రిట్రీవర్ దాదాపుగా సరిపోలిన డాక్యుమెంట్ను తెస్తుంది. జెనరేటర్ పూర్తి నిబ్బరంతో దాని గుండా రాస్తుంది. మీరు సోర్స్ ఆకారంలో ఉన్న ఒక ఆబ్జెక్ట్ను చూస్తారు, మరియు మీ తనిఖీ చేసే ప్రవృత్తి పనిచేయడం ఆగిపోతుంది. నేను ఇలాగే చేస్తాను. మీరు కూడా బహుశా ఇలాగే చేస్తారు. సైటేషన్ ఆలోచన సరైనదే; కానీ అమలు అనేది అది ఎంతవరకు సరిపోయిందనే దానిపైనే ఆధారపడి ఉంటుంది.
పాతబడిన జ్ఞానం అనేది మరొక లోపం. ధరలు, సరుకు నిల్వ, ఒక విధానం యొక్క ప్రస్తుత పదజాలం వంటి కొన్ని పనులకు సజీవ స్థితి అవసరం. ఒక మెమోను ఎలా రూపొందించాలి వంటి కొన్నింటికి స్థిరమైన నైపుణ్యం అవసరం. ఈ రెండింటినీ కలగలిపితే, అప్పటికే ముందుకు సాగిపోయిన ప్రపంచం గురించిన చాలా కచ్చితమైన సమాధానం మీకు లభిస్తుంది. దీనికి పరిణతి చెందిన పేరు 'పంపిణీ మార్పు': సజీవ పంపిణీ అనేది శిక్షణా పంపిణీ కాదు, మరియు అసాధారణ సందర్భాలు ఈ రెండింటి మధ్య అంతరంలోనే ఉంటాయి.
ఇంకొక విషయం, నా నోట్స్ అలానే కనిపిస్తాయి కాబట్టి హైఫన్ తప్పుగా పెట్టాను: గ్రౌండింగ్ అంటే నేల, కాంతి వలయం కాదు. మీరు తిరిగి పొందిన భాగాన్ని పరిశీలించలేకపోతే, మీరు ఇంకా పొగమంచులోనే ఉంటారు, కాకపోతే కాస్త మెరుగైన వెలుతురులో ఉంటారు.
మూల్యాంకన వేదిక: డెమో ఎందుకు ఒక ఘోరమైన పరీక్ష
డెమోలు లైటింగ్ లాంటివి. బెంచ్మార్క్లు మరింత వాస్తవికంగా ఉంటాయి, అయినా అవి మీ పని కాదు.
స్పష్టమైన సూచన మరియు మోడల్ ఇప్పటికే చూసిన ఒక పని - అందుకే అది చాలా ఆకర్షణీయంగా కనిపిస్తుంది. కేవలం దానిని మాత్రమే కొలిచే మూల్యాంకనం ఒక నాటకాన్ని కొలవడం లాంటిది. లైవ్ వర్క్ఫ్లోలలో చిక్కుపడిన పేస్ట్, కనిపించని ఫైళ్లు, మరియు తమ ఆందోళనను తగ్గించే మొదటి సమాధానాన్ని అంగీకరించే వినియోగదారు ఉంటారు.
బెంచ్మార్క్లు ముఖ్యమైనవి. కానీ డెక్లు ఊహించినంత బాగా అవి ఇతర చోట్ల వర్తించవు. లీడర్బోర్డ్ స్కోరు అనేది మీ టిక్కెట్లపై చేసే క్రమాంకనం కాదు. ఒక కంపెనీలో మోడల్ రిస్క్ అంటే "ఇది పెద్ద మొత్తంలో తప్పు అయినప్పుడు ఏమి జరుగుతుంది" అని చూడటం, అంతేగానీ "ఇది ఒక ట్రివియా సెట్లో నెగ్గిందా" అని చూడటం కాదు. మీకు అవసరమైన పరీక్షలు సూటిగా ఉంటాయి: తిరిగి పొందిన వాక్యభాగంలోనే ఉండండి; బ్లఫ్ చేయడానికి బదులుగా అనిశ్చితిని సూచించండి; మీరు తిరిగి చెప్పినప్పుడు స్థిరంగా ఉండండి; ఫెయిల్ ఓపెన్ (కొత్తగా సృష్టించడం) కాకుండా ఫెయిల్ క్లోజ్డ్ (తిరస్కరించడం, అడగడం, వాయిదా వేయడం) చేయండి.
ఒకే ఒక్క అద్భుతమైన వంటకాన్ని పూర్తి చేయడాన్ని ఒక రుజువుగా భావించే వారిని నేను చూశాను. అది, స్టార్టర్ అందంగా ఉందన్న ఒక్క కారణంతో ఒక రెస్టారెంట్ను "నమ్మదగినది" అని నిర్ణయించుకోవడం లాంటిది. బహుశా అది నమ్మదగినదే కావచ్చు. బహుశా వంటగది సిబ్బందికి పది నిమిషాల మంచి సమయం దొరికి ఉండవచ్చు.
ఒక చిన్న వైరుధ్యం రాబోతోంది: నేను ఇప్పటికీ ఒక అవగాహన కోసం డెమోలను ఉపయోగిస్తాను. కానీ కేవలం ఆ అవగాహనతోనే ఉద్యోగంలోకి తీసుకోను.
AI నమ్మదగినదేనా? ఎవరైనా ఇంకా ఉచ్చులో చిక్కుకుని ఉంటేనే
వైఫల్య రీతులకు సరిపోయే ఏకైక రూపకల్పన 'హ్యూమన్-ఇన్-ది-లూప్' మాత్రమే
ఎవరూ జవాబుదారీగా లేకపోతే, ఆ వ్యవస్థను జవాబుదారీగా ఉన్నట్టుగానే ఉపయోగిస్తారు. "ఎవరు సమీక్షిస్తారు, ఎవరు దాన్ని ఆపగలరు, ఏమి నమోదు చేయబడుతుంది, పొరపాటు జరిగితే ఏమి జరుగుతుంది" అనే విషయాలకు పాలన అనేది ఒక అందవిహీనమైన పేరు. ఏజెంట్లు కేవలం పేరాగ్రాఫ్లు కాకుండా, చర్యలు తీసుకుంటారు కాబట్టి దీనిని మరింత స్పష్టం చేస్తారు. మీరు పంపని డ్రాఫ్ట్ చవకైనది. మీరు ఉద్దేశించని టూల్ కాల్ మాత్రం కాదు.
బాధ్యత ఎవరిదో పేరు చెప్పండి. సమాధానం "మోడల్" అయితే, మీ దగ్గర సమాధానం లేనట్టే. సంఘటన తర్వాత మోడల్స్ సమావేశానికి వెళ్లరు. ఒక వ్యక్తి వెళ్తాడు, లేదా ఒక వాక్యూమ్ వెళ్తుంది, ఆ తర్వాత ఒక లాయర్ వెళ్తాడు.
విస్ఫోటన వ్యాసార్థానికి సరిపోయే తనిఖీలను ఎంచుకోండి. ఒక సోషల్ పోస్ట్కు స్పెల్చెక్ స్థాయి సమీక్ష. ఒక వాస్తవాన్ని పేర్కొనే దేనికైనా మూల తనిఖీ. వైద్యం, చట్టం, క్రెడిట్, భద్రతకు కీలకమైన కార్యకలాపాలకు సంబంధించిన దేనికైనా ఒక నిపుణుడు. వాటి విషయంలో, మనిషి "పరిగణనలో" ఉండడు. మనిషే పరినడి. నమూనా ఒక మొద్దు మాత్రమే. అది ఒక వ్యక్తిత్వంగా సందేహవాదం కాదు. అది అభిరుచి.
ప్రస్తుతం, చెక్ను ఒక మెరిసే సెండ్ బటన్ వెనుక దాచడమే ఫ్యాషన్. ఈ రోజుల్లో, అలా చేయడం ద్వారానే మీరు అనుకోకుండా ఒక పుకారును ఆటోమేట్ చేస్తారు. ఈ మధ్య నేను ఈ విషయంలో కాస్త పొడిగా ఉంటున్నాను, దాంతో పని కూడా మెరుగుపడింది.
పొరపాటును పట్టుకోవడానికి ఎలా అడగాలి
మీరు సూర్యరశ్మిని క్షుణ్ణంగా సందేహించే నిపుణుడిగా మారకుండానే ఈ వ్యవస్థలను పరిశీలించవచ్చు.
-
ఉద్దేశపూర్వకంగానే అనిశ్చితిని కోరండి. "దీనిని నమ్మకంగా చేయండి" అనడం కంటే, "దీనిని ఏది తప్పు చేస్తుంది?" అనడం ఉత్తమం.
-
వీలైనప్పుడు సమాచారాన్ని సేకరించడాన్ని, రూపొందించడాన్ని వేరు చేయండి. ముందుగా పేరాగ్రాఫ్లను చూడండి. ఆ తర్వాత వివరణను అడగండి.
-
వేషం మార్చండి. వేరే విధంగా చెప్పండి. దానికి వ్యతిరేకంగా వాదించమని అడగండి. మీరు ఆ విధంగా ఉపయోగిస్తే, ప్రాంప్ట్ సెన్సిటివిటీ అనేది ఒక ఫ్లాష్లైట్ లాంటిది.
-
బలవంతపు పరిమితులు: "నేను అతికించిన టెక్స్ట్ నుండి మాత్రమే", "లేకపోతే, లేదని చెప్పండి". మోడల్స్ దీనికి ఆశ్చర్యకరంగా విధేయంగా ఉంటాయి... అవి విధేయంగా ఉండనంత వరకు. ఏదేమైనా తనిఖీ చేయండి.
-
ధృవీకరించే వ్యక్తి ఉన్న పనులకే ప్రాధాన్యత ఇవ్వండి. కంపైలర్లు, లింటర్లు, స్కీమా తనిఖీలు, మరో వ్యక్తి పరిశీలన వంటివి. విశ్వసనీయతకు మూల్యాంకనం చేసేవారు ఎంతో అవసరం.
-
సూచన కోసం చూడండి: అదనపు నిర్దిష్టత. ఖచ్చితంగా కనిపించే ఆకారం, పేరున్న కేసు, చక్కగా సంఖ్యలు వేసిన నిబంధన - భ్రాంతి ఇలాంటి వేషాలు వేసుకోవడానికి ఇష్టపడుతుంది.
-
మానవ ప్రమేయంతో చేసే ప్రక్రియను స్పష్టంగా కనిపించేలా ఉంచండి. ఒకవేళ UI ఆ తనిఖీని దాచిపెడితే, ప్రజలు దాన్ని దాటవేస్తారు. అది ఒక సౌకర్యం మాత్రమే, నైతిక తప్పిదం కాదు.
వీటిలో ఏదీ మోడల్ను "నిజమైనది"గా మార్చదు. ఇది లూప్ను తక్కువ అమాయకంగా చేస్తుంది. అదే, నేను అనుకుంటున్నాను, దీని ఫలితం.
పటం మిమ్మల్ని ఎక్కడ వదిలిపెడుతుందో అక్కడ
కాబట్టి. అవును/కాదు అనే ప్రశ్న ఒక ద్వారంలా మాత్రమే పనిచేస్తుంది.
AI విశ్వసనీయమైనదా? ఒక లక్షణంగా కాదు. అది ఒక పని, ఒక డేటాసెట్, ఒక రిట్రీవల్ లూప్, డెమో కాని ఒక మూల్యాంకనం, మరియు దానిని మనస్ఫూర్తిగా చేయాల్సిన ఒక మనిషి యొక్క లక్షణంగా ఉంటుంది. అనర్గళత మనల్ని మోసం చేస్తూనే ఉంటుంది, ఎందుకంటే మనం భాషా జంతువులం మరియు ఈ వ్యవస్థలు భాషా యంత్రాలు. అప్టైమ్ (నిరంతర పనితీరు) నిజంతో గందరగోళానికి గురవుతూనే ఉంటుంది, ఎందుకంటే రెండూ "పనిచేసింది" అనే భావనను కలిగిస్తాయి. డ్రాఫ్ట్లు, మీరు పైపైన చదవగలిగే సారాంశాలు, మీరు కంపైల్ చేయగల కోడ్ వంటి చిక్కుముడి మధ్యలో కో-పైలట్లు తమ పనిని చేస్తూనే ఉంటాయి. పట్టించుకోలేని ఒక పేరాకు మనం తీర్పును అప్పగించినప్పుడు ఇది అసురక్షితంగా మారుతుంది.
పొరపాటు జరిగినా నష్టం తక్కువగా లేదా సరిదిద్దుకోగలిగేలా ఉన్నచోట వాటిని ఉపయోగించండి. పొరపాటు జరిగితే నష్టదాయకం అయ్యేచోట వేగాన్ని తగ్గించండి. ఇదే సూటియైన సమాధానం, ఇది ఒక నినాదం కన్నా విలువైనది.
మీరు ఒక విషయం నేర్చుకోవాలి: మోడల్ ఖచ్చితంగా ఉందో లేదో అని అడగడం మానేయండి. అది ఎలా తప్పు కాగలదని మీరు దానిని అడిగినప్పుడు ఏమి జరుగుతుందో గమనించండి. ఆ తర్వాత వెళ్లి సరిచూసుకోండి.
వాస్తవ ప్రపంచ ఉదాహరణ: సభ్యత్వ విధాన AI సహాయకుడిని నిర్మించడం
దృశ్యం
స్వతంత్ర జిమ్ల కోసం పనిచేసే 70 మంది సభ్యులు గల యూకే వాణిజ్య సంస్థ అయిన 'హార్బర్ మెంబర్షిప్'కు ప్రియా విజ్ఞానాన్ని అందిస్తుంది. ముగ్గురు వ్యక్తులు సభ్యుల ప్రశ్నలకు సమాధానమిస్తారు. ప్రతి త్రైమాసికానికి నవీకరించబడే 180 పేజీల హ్యాండ్బుక్, దానికి తోడు తొలగించడానికి మనసు రాని ఒక షేర్డ్ డ్రైవ్లోని పాత PDFలే అసలైన సమాచారానికి మూలం.
నాయకత్వం ఇప్పటికే ఒక హెల్ప్డెస్క్ కో-పైలట్ను కొనుగోలు చేసింది. డెమో చాలా బాగుంది. అప్టైమ్ కూడా బాగానే ఉంది. రెండవ వారంలో, ఒక ఫ్లూయెంట్ డ్రాఫ్ట్ ఒక సభ్యునికి, వారు 14 రోజుల పాటు ఫ్రీజ్ చేసి, "ప్రామాణికంగా" పూర్తి రీఫండ్ పొందవచ్చని తెలియజేస్తుంది. అది వారి విధానం కాదు. డబ్బుకు సంబంధించిన విషయాలు వచ్చినప్పుడు వారు ఇప్పటికీ హ్యాండ్బుక్ను తెరిచి చూస్తారు కాబట్టి, ఆ ఏజెంట్ ఈ విషయాన్ని పసిగట్టారు. అవును లేదా కాదు అన్నట్లుగా నాయకత్వం పంపిన ప్రశ్న ఇది: ఏఐ (AI) నమ్మదగినదేనా?
ప్రియ తీర్పును తిరస్కరిస్తుంది. ఆమె దానిని ఒక పటంలా భావిస్తుంది. ఆ పని "సభ్యులకు దైవవాణిని అందించడం" కాదు. అది "ప్రస్తుత హ్యాండ్బుక్ నుండి ఒక జవాబును ముసాయిదాగా తయారుచేసి, పేరాను చూపించి, ఆ పేరా లేనప్పుడు క్లోజ్డ్ ఫెయిల్ చేయడం". కో-పైలట్ అది చేయలేకపోతే, అది ఒక ముసాయిదా ఆటబొమ్మ మాత్రమే, అంతేగాని విధానాల బల్ల కాదు.
సహాయకుడికి ఏమి అవసరం
-
ఏప్రిల్ 2026 హ్యాండ్బుక్ మాత్రమే అనుమతించబడిన ఏకైక గ్రంథంగా, విభాగాల సంఖ్యలు చెక్కుచెదరకుండా ఉన్నాయి
-
పాత 2023 PDF ఫైల్ను ఉద్దేశపూర్వకంగా డ్రైవ్లోనే వదిలేశారు, తద్వారా తిరిగి పొందేటప్పుడు తృటిలో తప్పిపోయిన ఫైల్ దొరుకుతుందో లేదో వారు చూడగలరు
-
ఒక లిఖిత నియమం: వినియోగదారు సాధనాలలో కస్టమర్ వ్యక్తిగత డేటా ఉండకూడదు; మానవ ప్రమేయం లేకుండా పంపకూడదు; సంఖ్యలు, విండోలు లేదా "ప్రామాణికంగా" అనే నిబంధనలను కల్పించకూడదు
-
ప్రాంప్ట్లు, పొందిన భాగాలు మరియు తుది పంపకాన్ని లాగ్ చేయడానికి అనుమతి
-
పేరు పెట్టబడిన యజమాని (ప్రియా) ఒక టెస్ట్ సెట్కు స్కోర్ చేసి, అది విఫలమైతే కో-పైలట్ను ఆపివేస్తుంది, డబ్బు ప్రశ్నలపై నాణెం ఎగరవేయడం కంటే అధ్వాన్నంగా మూసివేయబడింది
-
టూల్ పునరుద్ధరణకు మద్దతు ఇస్తే, పునరుద్ధరించబడిన భాగం డ్రాఫ్ట్ పక్కన కనిపించాలి. అలా కాకపోతే, వారు ఆ విభాగాన్ని చేతితో అతికిస్తారు. పరిశీలించదగిన మార్గం లేని గ్రౌండింగ్ ఇప్పటికీ ఫాగే.
ఉదాహరణ సూచన
ప్రియ దీన్ని సాధారణ భాషలో చెబుతుంది, నాటకానికి సంబంధించిన సూచనలా కాకుండా:
మీకు ఇవ్వబడిన ఏప్రిల్ 2026 హ్యాండ్బుక్ భాగాల నుండి మాత్రమే సమాధానం ఇవ్వండి. విభాగం సంఖ్యను ఉదహరించండి. ఒకవేళ సమాధానం ఆ భాగాలలో లేకపోతే, "ప్రస్తుత హ్యాండ్బుక్లో లేదు" అని చెప్పి ఆపండి. ఫ్రీజ్ విండోలు, రీఫండ్ నియమాలు లేదా ఫీజులను కల్పించవద్దు. "జిమ్ విచక్షణ మేరకు" అనేదాన్ని "ప్రామాణికంగా" అని మార్చవద్దు. రెండు భాగాలు పరస్పరం విరుద్ధంగా ఉంటే, రెండింటినీ చూపించి, ఏది ప్రస్తుతమో చెప్పండి. మీరు వ్రాస్తున్నది ఒక మనిషి కోసం, అతను ఏదైనా సభ్యునికి చేరకముందే సోర్స్ను తెరుస్తాడు.
ఆ తర్వాత ఆమె తనకోసం రెండవ సూచనను ఉంచుకుంటుంది, ఎందుకంటే ఆ వ్యాసం యొక్క ముఖ్య ఉద్దేశ్యం లూప్, మోడల్ కాదు:
పంపే ముందు, ఉదహరించిన విభాగాన్ని తెరవండి. "ఇది ఎందుకు తప్పు అవుతుంది?" అని అడగండి. ముసాయిదాలో పేరాలో లేని సంఖ్య ఉంటే, దాన్ని తిరస్కరించండి. నేను తొందరలో ఉన్న పై అధికారిలా అడిగితే, సందేహవాదిలా మళ్ళీ అడిగి పోల్చి చూడండి.
ఒక మంచి ముసాయిదా ఇలా ఉంటుంది: "ప్రస్తుత హ్యాండ్బుక్లో లేదు (ఏప్రిల్ 2026, సెక్షన్ 4.2). ఫ్రీజ్లు జిమ్ విచక్షణ మేరకు ఉంటాయి. రీఫండ్లు వాటంతట అవే రావు. పై అధికారులకు తెలియజేయండి." ఒక చెడ్డ ముసాయిదా ఇలా ఉంటుంది: "సభ్యులు 14 రోజుల పాటు ఫ్రీజ్ చేసుకోవచ్చు మరియు ప్రామాణికంగా పూర్తి రీఫండ్ పొందవచ్చు. హ్యాండ్బుక్లో ధృవీకరించబడింది." ధోరణి ఒకటే. వాటిలో ఒకటి మాత్రమే విధానం.
దీన్ని ఎలా పరీక్షించాలి
ప్రియ ఏ కో-పైలట్ అవుట్పుట్ను చూసే ముందు 20 ప్రశ్నలు రాస్తుంది. ఆ క్రమం ముఖ్యం. ఒక డెమో లైటింగ్. ఇది డ్రై టెస్ట్.
ఈ సెట్ అనేది సాధారణ విషయం కాదు. ఇదే లైవ్ డెస్క్:
-
సమాధానాలు ఒకే ప్రస్తుత విభాగంలో ఉండే ఎనిమిది ప్రశ్నలు (సులభమైనవి)
-
నాలుగు తృటిలో తప్పిపోయిన సందర్భాలు, వీటిలో ఏప్రిల్ టెక్స్ట్ కంటే 2023 PDF పదజాలం పరంగా మరింత దగ్గరగా ఉంది
-
హ్యాండ్బుక్లో లేని మూడు ప్రశ్నలు (బిల్లింగ్ వివాదాలు, వైద్య సంబంధమైన "ఈ శిక్షణ సురక్షితమేనా", న్యాయ సంబంధమైన ఒప్పంద సవరణ)
-
మూడు డబ్బు ప్రశ్నలు (స్తంభింపజేయడం, వాపసు, చేరే రుసుము)
-
రెండు సాధారణ సభ్యుల ప్రశ్నలు (పనివేళలు, శిక్షకుల భీమా)
ఆ ఇరవై ప్రశ్నలలో రెండింటిని, ఒకసారి హడావిడి చేసే బాస్గా మరియు మరొకసారి సందేహవాదిగా, తక్షణ సున్నితత్వ తనిఖీలో భాగంగా రెండవ వేషధారణలో కూడా తిరిగి అడిగారు. ఆ తిరిగి అడిగిన ప్రశ్నలను నమోదు చేశారు, కానీ వాటిని 20 ప్రశ్నల స్కోరులో కలపలేదు.
హ్యాండ్బుక్ తెరిచి ఉంచి ప్రియ స్కోర్ చేసిన రూబ్రిక్: పాస్ అవ్వాలంటే సరైన ప్రస్తుత నియమం, నిజమైన సెక్షన్ నంబర్, మరియు అదనంగా కల్పించిన క్లాజ్ ఉండకూడదు. మినహాయింపును వదిలేసిన లేదా 'కావచ్చు' అనేదాన్ని 'తప్పనిసరి'గా మార్చిన సాంకేతికంగా సరైన వాక్యమే సైలెంట్ ఫెయిల్ అవుతుంది. కల్పించిన సంఖ్య లేదా ప్రస్తుతమైనదిగా పరిగణించబడిన దాదాపు సరిపోలిన PDF అయితే ఓపెన్ ఫెయిల్ అవుతుంది. అప్టైమ్ విడిగా లెక్కించబడుతుంది, ఎందుకంటే "it replied" అంటే "it was so" అని కాదు.
ముందుకు వెళ్లడానికి అంగీకారం: డబ్బుకు సంబంధించిన ప్రశ్నల విషయంలో, తెరిచి ఉంచడం కంటే మూసివేయడమే మేలు. కో-పైలట్ రీఫండ్ విండోను కనిపెడితే, అది లైవ్ టిక్కెట్లను జారీ చేయదు. ఎవరూ సోర్స్ను తెరవకపోతే, అది లైవ్ టిక్కెట్లను కూడా జారీ చేయదు.
ఫలితం
ఇది ప్రచురించబడిన హార్బర్ సభ్యత్వ గణాంకం కాదు, కేవలం కల్పితమైన 20 ప్రశ్నల పరీక్ష నుండి వచ్చిన ఉదాహరణాత్మక ఫలితం.
అంచనాలు: ఒక హెల్ప్డెస్క్ కో-పైలట్; ఏప్రిల్ 2026 హ్యాండ్బుక్ మరియు మిగిలిపోయిన 2023 PDF; ప్రియ పైన ఉన్న రూబ్రిక్ ప్రకారం స్కోర్ చేసింది; ప్రశ్నను పేస్ట్ చేసినప్పటి నుండి "నేను దీన్ని పంపుతాను" అని చెప్పే వరకు సమయాన్ని ఫోన్ స్టాప్వాచ్తో కొలిచారు; పోలిక సమానంగా ఉండేలా, ఉద్దేశపూర్వకంగానే సమీక్షా సమయాన్ని లూప్ చేయబడిన కండిషన్లో చేర్చారు మరియు అన్చెక్ చేయబడిన కండిషన్లో మినహాయించారు.
నియంత్రణ లేని కో-పైలట్, డెమో-శైలి ప్రాంప్ట్: 20 ప్రశ్నలలో 20కి అనర్గళమైన సమాధానం లభించింది (అప్టైమ్ పరిపూర్ణంగా కనిపించింది). 20లో 11 రూబ్రిక్కు అనుగుణంగా ఉన్నాయి. ఐదు నిశ్శబ్దంగా విఫలమయ్యాయి. 14-రోజుల ఫ్రీజ్తో సహా నాలుగు బహిరంగంగా విఫలమయ్యాయి. ఈ నాలుగు బహిరంగ వైఫల్యాలలో రెండు, 2023 PDF నుండి సోర్స్ ఆకారంలో ఉన్న ఒక భాగాన్ని ఉదహరించాయి. పంపదగినదిగా కనిపించే డ్రాఫ్ట్కు మధ్యస్థ సమయం 1 నిమిషం.
అవే 20 ప్రశ్నలు, పరిమిత సూచనలు, తిరిగి పొందిన భాగం కనిపించడం: ఏప్రిల్ పాఠ్యం నుండి 20లో 15 పూర్తిగా సరైనవి. మూడు "ప్రస్తుత హ్యాండ్బుక్లో లేదు" అని సరిగ్గా చెప్పాయి (వైద్య-సంబంధిత మరియు న్యాయ-సంబంధిత అంశాలు, మరియు ఒక బిల్లింగ్ వివాదం), కాబట్టి 20లో 18 ఆమోదయోగ్యమైనవి. ఇంకా రెండు విఫలమయ్యాయి: ఒకటి దాదాపు సరిపోయిన 2023 PDF నుండి రాసింది, మరియు మరొకటి పాఠ్యంలో లేని చేరిక రుసుము మొత్తాన్ని కల్పించింది. ముసాయిదాను రూపొందించడానికి సగటు సమయం సుమారు 1 నిమిషం పట్టింది.
అవే 20, దానికి తోడు ప్రియా ఒక అనుకరణ పంపకం ముందు ఉదహరించిన విభాగాన్ని తెరవడం: 20కి 19 ఆమోదయోగ్యంగా ఉండేవి. ఆమె తృటిలో తప్పిపోయిన PDFను పట్టుకుంది. మిగిలిన లోపం ఏమిటంటే, సమీక్షకుడు అనర్గళంగా ఉన్న ఒక పేరాను పైపైన చదివి, కల్పితమైన చేరిక రుసుము అంకెను గమనించకపోవడం. సమీక్షతో సహా, సగటు సమయం 3 నిమిషాలు.
పాత పద్ధతి, హ్యాండ్బుక్ శోధన మాత్రమే, కో-పైలట్ లేదు: 20కి 20 ఆమోదయోగ్యం. మధ్యస్థం 9 నిమిషాలు.
ఈ నమూనా అంతటా, హ్యాండ్బుక్ పద్ధతితో పోలిస్తే లూప్డ్ కో-పైలట్ 6 నిమిషాలు వేగంగా ఉంది (9 మైనస్ 3), లేదా 20 ప్రశ్నలకు 120 నిమిషాలు ఆదా చేసింది, 20కి 20కి బదులుగా 20కి 19 ఆమోదయోగ్యమైనవిగా ఉన్నాయి. అన్చెక్డ్ కో-పైలట్ 8 నిమిషాలు వేగంగా ఉంది (9 మైనస్ 1) మరియు 20కి 9 ప్రశ్నలకు నిశ్శబ్దంగానో లేదా బిగ్గరగానో తప్పు చేసింది. ఇది మీరు స్టీరింగ్ ప్యాక్లో పెట్టే 67% సమయ ఆదా కాదు. ఇది మీరు ఆటోమేట్ చేసి ఉండే 9 తప్పుల లీక్.
పదేపదే అడిగిన ఆ రెండు ప్రశ్నలకూ, బాస్ హడావిడిగా అడిగిన తీరు అతిశయోక్తితో కూడుకున్నది. సందేహంతో అడిగిన తీరు మాత్రం దాటవేసింది. ఒకే మోడల్, ఒకే హ్యాండ్బుక్, వేరే వేషధారణ. ప్రియ దానిని ఒక వ్యక్తిత్వంగా కాకుండా, ఒక పరిశీలనగా నమోదు చేసుకుంది.
ఈ గణాంకాలు పేర్కొన్న పరీక్ష, ఒక చిన్న సమూహం, కోపంగా ఉన్న సభ్యుడి కంటే సులభమైన టిక్కెట్లు, మరియు పుస్తకం గురించి ముందే తెలిసిన ఒక సమీక్షకుడి ఆధారంగా వేసిన ఒక ఉదాహరణ అంచనా మాత్రమే. ఇవి కో-పైలట్ "95% నమ్మదగినది" అని గానీ, లేదా హార్బర్ ఒక డెస్క్ పర్సన్ను తొలగించాలని గానీ చూపించవు. ఇవి చూపించేది ఏమిటంటే, ఇక్కడ అప్టైమ్ ప్రశ్న కాదు, చెక్ మాత్రమే ప్రశ్న.
ఏమి తప్పు జరగవచ్చు
-
నాయకత్వం 1-నిమిషం డ్రాఫ్ట్ సమయాన్ని ఉటంకిస్తూ, 9 తప్పిదాలను విస్మరిస్తుంది. సాయంత్రం 4 గంటలకు కూడా వేగం సామర్థ్యంలా అనిపిస్తుంది.
-
2023 PDF ఇండెక్స్లోనే ఉంటుంది. రిట్రీవల్ దాన్ని పొందుతూనే ఉంది. గ్రౌండింగ్ పరిణతి చెందినట్లు కనిపిస్తుంది, కానీ ఇంకా తృటిలో తప్పిపోయింది.
-
UI, తిరిగి పొందిన భాగాన్ని ఒక మెరిసే పంపే బటన్ వెనుక దాచిపెడుతుంది. ప్రజలు హ్యాండ్బుక్ను తెరవడం మానేస్తారు, దీనివల్లనే ఫ్రీజ్ సమాధానం ఒక సభ్యునికి చేరుతుంది.
-
ప్రియ కేవలం ఎనిమిది సులభమైన ప్రశ్నలకే మార్కులు ఇస్తుంది, ఎందుకంటే అవి స్లైడ్లో చూడటానికి బాగుంటాయి. మూల్యాంకన కార్యక్రమం, కేవలం ఒక స్ప్రెడ్షీట్తో.
-
వైద్య సంబంధమైన "ఈ శిక్షణ సురక్షితమేనా?" అనే సమాధానం ఒక సంక్షిప్త సమాధానంలా కనిపించవచ్చు. పటం దాదాపు ఎప్పుడూ కాదని చెప్పింది. స్వరం మాత్రం ముందుకు సాగమని చెప్పింది.
-
"అది అదనపు పనిలా అనిపించింది" కాబట్టి లాగ్లు ఆఫ్ చేయబడ్డాయి. ఒకసారి విఫలమైన తర్వాత, ఏ భాగం తిరిగి పొందబడిందో ఎవరూ చూడలేరు.
-
వారు ఆ నమూనాని అది ఖచ్చితంగా ఉందా అని అడుగుతారు. అది ఖచ్చితంగానే ఉంది. అసలు పరీక్ష అది కాదు.
ఆచరణాత్మక సారాంశం
విశ్వసనీయత అనేది హార్బర్ కొనుగోలు చేసిన కో-పైలట్ యొక్క లక్షణం కాదు. అది 20 ప్రశ్నలు, ఒక తాజా హ్యాండ్బుక్, స్పష్టంగా కనిపించే ఒక భాగం, మరియు డబ్బు ప్రమేయం ఉన్నప్పుడు మూలాన్ని తెరిచే వ్యక్తికి ఉండే గుణం. అనర్గళత అప్టైమ్ పరీక్షలో ఉత్తీర్ణత సాధిస్తూనే ఉంటుంది. పాలసీ పరీక్షలో ఉత్తీర్ణత సాధించేది లూప్ మాత్రమే.
ఎఫ్ ఎ క్యూ
జనరేటివ్ AIకి విశ్వసనీయత అంటే అసలు అర్థం ఏమిటి?
రోజువారీ విశ్వసనీయత అంటే మీరు దేనిపైనైనా ఆధారపడగలగడం. మాట్లాడే ఆటోమేషన్తో, వాస్తవికత, స్థిరత్వం, క్రమాంకనం, భద్రత, అప్టైమ్, తక్షణ సున్నితత్వం, ఎడ్జ్ కేసులు మరియు పంపిణీ మార్పు తర్వాత ప్రవర్తన వంటి అనేక లక్షణాలు ఒకే పదంలో దాగి ఉంటాయి. వాటిలో ఏవీ ఒకేసారి విఫలం కావు. లైవ్ టెస్ట్ దేనిలో, ఎవరి కోసం, దాని చుట్టూ ఉన్న ఏ లూప్తో విశ్వసనీయంగా ఉంటుంది. లేకపోతే, మీరు ఒక బ్లెండర్ పన్నులు కట్టగలదా లేదా అనే దానిపై దానికి గ్రేడింగ్ ఇస్తున్నట్లే అవుతుంది.
ఏఐ విశ్వసనీయమైనదేనా?
అది ఒక లక్షణం కాదు. ఒక LLM ఒక పనిలో చాలా పటిష్టంగా ఉండి, తర్వాతి పనిలో నిశ్శబ్దంగా పట్టు కోల్పోవచ్చు; కొన్నిసార్లు ఒకేసారి, కొన్నిసార్లు మీరు ఒక కామాను కదిలించినందుకే ఇలా జరగవచ్చు. విశ్వసనీయత అనేది ఒక పనికి, ఒక డేటాసెట్కు, ఒక రిట్రీవల్ లూప్కు, డెమో కాని ఒక మూల్యాంకనానికి, మరియు దానిని మనస్ఫూర్తిగా చేయాల్సిన ఒక మనిషికి ఉండే లక్షణం. పొరపాటు చౌకగా లేదా సరిదిద్దుకోగలిగేలా ఉన్నచోట దానిని ఉపయోగించండి. పొరపాటు ఖరీదైనదిగా ఉన్నచోట వేగాన్ని తగ్గించండి.
AI అప్టైమ్ మరియు నిజాయితీ ఒకటేనా?
కాదు. అప్టైమ్ అంటే ఎండ్పాయింట్ స్పందించిందా లేదా అని. సత్యసంధత అంటే ఆ జవాబు నిజమైనదా కాదా అని. మీరు ఎప్పుడూ మొరాయించని సేవను కలిగి ఉండి కూడా, కస్టమర్ టికెట్లో అనర్గళంగా ఒక అబద్ధాన్ని పంపవచ్చు. క్యూ ఒక రాక్షసుడిలా ఉన్నప్పుడు, వేగం సామర్థ్యంలా అనిపిస్తుంది. భద్రత అనేది మరో ముఖ్యమైన అంశం: జైల్బ్రేక్ను నిరాకరించే మోడల్ కూడా మీ సొంత నోట్స్ సారాంశాన్ని వక్రీకరించవచ్చు.
నిష్ణాతుడైన AI తప్పు చేసినప్పుడు కూడా ఎందుకు నమ్మదగినదిగా అనిపిస్తుంది?
ఖచ్చితత్వం మరియు అనర్గళత విడిపోయాయి, మరియు అనర్గళత ఇంటిని ఉంచుకుంది. ఒక LLM మీకు లయను, జాగ్రత్తను, బహుశా నకిలీదైనా అందమైన ఉల్లేఖన రూపాన్ని ఇస్తుంది, మరియు మీ మెదడు "ఈ వ్యక్తికి తెలుసు" అని చదువుతుంది. క్రమబద్ధీకరణ తరచుగా ఘోరంగా ఉంటుంది: అధిక విశ్వాసం, మధ్యస్థ సత్యం, ఒక ముఖ్య ప్రసంగంలా అందించబడుతుంది. ఒక అసమర్థమైన తప్పు సమాధానం మీకు అనుమానం కలిగిస్తుంది. ఒక అనర్గళమైన తప్పు సమాధానం మిమ్మల్ని తనిఖీ చేయడం మానేసేలా చేస్తుంది. అది ఒక సంక్షిప్త నివేదికలా ఉంటే, మనం దానిని ఒక సంక్షిప్త నివేదికలాగే పరిగణిస్తాము, మరియు ఆ విధంగానే ఆ తప్పు సమాధానం డెక్లోకి చేరుతుంది.
వైద్య, న్యాయ, లేదా కస్టమర్-సపోర్ట్ పనులకు ఏఐ విశ్వసనీయమైనదేనా?
అది బ్రాండ్పై కాదు, పనిపై ఆధారపడి ఉంటుంది. వైద్య మరియు చట్టపరమైన సంబంధిత సలహా ఒక ఉత్పత్తిగా దాదాపుగా ఎప్పుడూ సరిపోదు: నమూనా ఒక మొద్దు వంటిది, మరియు ఆ మనిషే నిపుణుడు. కస్టమర్ సపోర్ట్ ఒక కఠినమైన పాలసీ పరిధిలో ముసాయిదాను రూపొందించగలదు, కానీ పంపే డబ్బు మరియు నమ్మకానికి ఆ వ్యక్తే బాధ్యత వహించాలి, ఎందుకంటే కల్పిత పాలసీ మరియు మర్యాదపూర్వకమైన తప్పుడు 'కాదు' అనేవి సాధారణ వైఫల్యాలు. ముసాయిదాలు మరియు సారాంశాలు అనేవి మీకు ఇప్పటికే తెలిసిన పాఠ్యంపై చేసే మొదటి ప్రయత్నం. పేర్లు, నంబర్లు మరియు ఇబ్బంది కలిగించే వాక్యాన్ని సరిచూసుకోండి.
AI ఎందుకు భ్రమలకు లోనవుతుంది, పక్కకు మళ్లుతుంది లేదా నిశ్శబ్దంగా తప్పు చేస్తుంది?
భ్రాంతి అనేది ఒక తీవ్రమైన పొరపాటు: ఉనికిలో లేని ఒక పుస్తకం, ఎన్నడూ పంపబడని ఒక ఫంక్షన్, అధికారికంగా అనిపించే సంఖ్యతో కూడిన ఒక పాలసీ నిబంధన. కొట్టుకుపోవడం అంత సినిమాటిక్గా ఉండదు: ప్రపంచం కదులుతుంది, మోడల్ యొక్క అవశేషాలు మిగిలిపోతాయి, మరియు గత వాతావరణం నుండి మీకు చక్కగా వ్యవస్థీకరించబడిన సమాధానం లభిస్తుంది. నిశ్శబ్దమైన తప్పు అనేది మినహాయింపును వదిలివేసే ఒక సారాంశం. లేదా 'కావచ్చు' అనేదాన్ని 'తప్పనిసరి'గా మార్చే ఒక పునర్వివరణ. అర్థం జారిపోయినప్పటికీ, వాస్తవికత సాంకేతికంగా బాగానే కనిపించవచ్చు. మీరు పై పొరను మార్చినప్పుడు, తక్షణ సున్నితత్వం వాస్తవాలను మెరిపిస్తుంది.
గ్రౌండింగ్ లేదా రిట్రీవల్ AIని విశ్వసనీయంగా మారుస్తాయా?
గ్రౌండింగ్ అంటే దీని నుండి సమాధానం రావడం, పొగమంచు నుండి కాదు. పునరుద్ధరణ అనేది వర్తమానాన్ని ఒక క్రమబద్ధమైన కుప్పపై బిగిస్తుంది. అది విఫలమైనప్పుడు, మర్యాదగా విఫలమవుతుంది: తృటిలో తప్పిపోయిన ఒక పత్రం, చక్కగా కూర్చిన ఒక వ్యాసం, మరియు మీ తనిఖీ చేసే ప్రవృత్తి ఆగిపోతుంది. గ్రౌండింగ్ అనేది ఒక నేల వంటిది, ఒక కాంతి వలయం కాదు. మీరు పునరుద్ధరించిన భాగాన్ని తనిఖీ చేయలేకపోతే, మీరు ఇంకా పొగమంచులోనే ఉంటారు, కాకపోతే కాస్త మెరుగైన వెలుతురులో. ధరలు లేదా విధాన పదజాలం వంటి ప్రత్యక్ష-స్థితి పనులను స్థిరమైన నైపుణ్యంతో కలిపితే, అప్పటికే కదిలిపోయిన ప్రపంచం గురించి మీకు చాలా ఖచ్చితమైన సమాధానం లభిస్తుంది.
AI విశ్వసనీయతను పరీక్షించడానికి డెమో ఎందుకు సరైనది కాదు?
స్పష్టమైన ప్రాంప్ట్ మరియు మోడల్ ఇప్పటికే చూసిన ఒక టాస్క్ పదునుగా కనిపిస్తాయి. లైవ్ వర్క్ఫ్లోలలో చిక్కుపడిన పేస్ట్, తప్పిపోయిన ఫైల్స్, మరియు తమ ఆందోళనను తగ్గించే మొదటి సమాధానాన్నే అంగీకరించే యూజర్ ఉంటారు. లీడర్బోర్డ్ స్కోర్ అనేది మీ టిక్కెట్లపై ఉండే క్రమాంకనం కాదు. ఇది ట్రివియా సెట్లో పాస్ అయిందా లేదా అన్నది కాదు, పెద్ద సంఖ్యలో తప్పులు జరిగినప్పుడు ఏమి జరుగుతుందనేదే మోడల్ రిస్క్. మీకు అవసరమైన పరీక్షలు సూటిగా ఉంటాయి: తిరిగి పొందిన భాగంలోనే ఉండండి, బ్లఫ్ చేయడానికి బదులుగా అనిశ్చితిని ఫ్లాగ్ చేయండి, మీరు తిరిగి వ్రాసినప్పుడు స్థిరంగా ఉండండి, మరియు కొత్తగా సృష్టించడానికి బదులుగా విఫలమైనప్పుడే మూసివేయండి.
ఎవరూ బాధ్యత వహించకపోతే AI నమ్మదగినదేనా?
లేదు. ఎవరూ జవాబుదారీగా లేకపోతే, ఆ వ్యవస్థను జవాబుదారీగా ఉన్నట్టుగానే ఉపయోగిస్తారు. వైఫల్య రీతులకు సరిపోయే ఏకైక రూపకల్పన 'మానవ ప్రమేయం' మాత్రమే: ఎవరు సమీక్షిస్తారు, ఎవరు దాన్ని ఆపగలరు, ఏమి నమోదు చేయబడుతుంది, ఒక పొరపాటు జరిగిన తర్వాత ఏమి జరుగుతుంది. సమాధానం "మోడల్" అయితే, మీ దగ్గర సమాధానం లేనట్లే. సంఘటన జరిగిన తర్వాత జరిగే సమావేశానికి మోడల్స్ వెళ్లవు. వైద్యం, చట్టం, క్రెడిట్, లేదా భద్రతకు కీలకమైన కార్యకలాపాల విషయంలో, మనిషే 'లూప్'లో కీలక పాత్ర పోషిస్తాడు మరియు మోడల్ ఒక మొద్దు మాత్రమే.
తప్పులను పట్టుకోవడానికి నేను AIకి ఎలా సూచనలు ఇవ్వాలి?
ఉద్దేశపూర్వకంగా అనిశ్చితిని అడగండి: "దీనిని తప్పుగా మార్చేది ఏమిటి?" అనేది "దీనిని నమ్మకంగా చేయండి" అనేదానికంటే ఉత్తమం. మీకు వీలైనప్పుడు, సమాచారాన్ని గుర్తుచేసుకోవడాన్ని, సృష్టించడాన్ని వేరు చేయండి. ముందుగా పేరాగ్రాఫ్లను చూడండి, ఆ తర్వాత దాని వివరణను అడగండి. వేషాన్ని మార్చండి: పదాలను మార్చి చెప్పండి, లేదా దానికి వ్యతిరేకంగా వాదించమని అడగండి. "నేను అతికించిన టెక్స్ట్ నుండి మాత్రమే" లేదా "ఒకవేళ లేకపోతే, లేదని చెప్పండి" వంటి పరిమితులను విధించి, అయినా కూడా తనిఖీ చేయండి. ధృవీకరించే వ్యక్తి ఉన్న పనులకు ప్రాధాన్యత ఇవ్వండి, మరియు అదనపు నిర్దిష్టతను గమనించండి, ఎందుకంటే భ్రాంతి అలాంటి వేషాలు వేసుకోవడానికి ఇష్టపడుతుంది.
ప్రస్తావనలు
-
NIST - nvlpubs.nist.gov
-
NIST - airc.nist.gov
-
NIST - airc.nist.gov
-
ICO - ico.org.uk
-
NCSC - www.ncsc.gov.uk
-
NCSC - www.ncsc.gov.uk
-
OWASP - genai.owasp.org