మీరు ఎప్పుడైనా నోట్బుక్లో అబ్బురపరిచే మోడల్ను షిప్ చేసి, ఉత్పత్తిలో తడబడి ఉంటే, మీకు ఇప్పటికే రహస్యం తెలుసు: AI పనితీరును ఎలా కొలవాలి అనేది ఒక మ్యాజిక్ మెట్రిక్ కాదు. ఇది వాస్తవ ప్రపంచ లక్ష్యాలతో ముడిపడి ఉన్న తనిఖీల వ్యవస్థ. ఖచ్చితత్వం చాలా అందంగా ఉంటుంది. విశ్వసనీయత, భద్రత మరియు వ్యాపార ప్రభావం మెరుగ్గా ఉంటాయి.
దీని తర్వాత మీరు చదవడానికి ఇష్టపడే కథనాలు:
🔗 AI తో ఎలా మాట్లాడాలి
స్థిరంగా మెరుగైన ఫలితాల కోసం AIతో సమర్థవంతంగా కమ్యూనికేట్ చేయడానికి గైడ్.
🔗 AI ప్రాంప్ట్ చేయడం అంటే ఏమిటి?
ప్రాంప్ట్లు AI ప్రతిస్పందనలను మరియు అవుట్పుట్ నాణ్యతను ఎలా రూపొందిస్తాయో వివరిస్తుంది.
🔗 AI డేటా లేబులింగ్ అంటే ఏమిటి
శిక్షణ నమూనాల కోసం డేటాకు ఖచ్చితమైన లేబుల్లను కేటాయించడం యొక్క అవలోకనం.
🔗 AI నీతి అంటే ఏమిటి?
బాధ్యతాయుతమైన AI అభివృద్ధి మరియు విస్తరణకు మార్గనిర్దేశం చేసే నైతిక సూత్రాల పరిచయం.
మంచి AI పనితీరును ఏది చేస్తుంది? ✅
సంక్షిప్తంగా: మంచి AI పనితీరు అంటే మీ సిస్టమ్ ఉపయోగకరంగా, నమ్మదగినదిగా మరియు గందరగోళంగా, మారుతున్న పరిస్థితులలో పునరావృతం చేయగలదని అర్థం. నిర్దిష్టంగా:
-
పని నాణ్యత - సరైన కారణాల వల్ల దానికి సరైన సమాధానాలు లభిస్తాయి.
-
క్రమాంకనం - విశ్వాస స్కోర్లు వాస్తవికతకు అనుగుణంగా ఉంటాయి, కాబట్టి మీరు తెలివైన చర్య తీసుకోవచ్చు.
-
దృఢత్వం - ఇది డ్రిఫ్ట్, ఎడ్జ్ కేసులు మరియు విరోధి ఫజ్ కింద కూడా తట్టుకుంటుంది.
-
భద్రత & న్యాయము - ఇది హానికరమైన, పక్షపాత లేదా నిబంధనలకు విరుద్ధంగా ప్రవర్తించకుండా నిరోధిస్తుంది.
-
సామర్థ్యం - ఇది తగినంత వేగంగా, తగినంత చౌకగా మరియు స్థాయిలో అమలు చేయడానికి తగినంత స్థిరంగా ఉంటుంది.
-
వ్యాపార ప్రభావం - ఇది వాస్తవానికి మీరు శ్రద్ధ వహించే KPIని కదిలిస్తుంది.
మీరు మెట్రిక్స్ మరియు రిస్క్లను సమలేఖనం చేయడానికి ఒక అధికారిక రిఫరెన్స్ పాయింట్ కోరుకుంటే, NIST AI రిస్క్ మేనేజ్మెంట్ ఫ్రేమ్వర్క్ విశ్వసనీయ సిస్టమ్ మూల్యాంకనానికి ఒక ఘనమైన ఉత్తర నక్షత్రం. [1]
AI పనితీరును ఎలా కొలవాలి అనే దాని కోసం ఉన్నత స్థాయి రెసిపీ 🍳
మూడు పొరలలో ఆలోచించండి :
-
టాస్క్ మెట్రిక్స్ - టాస్క్ రకానికి సరైనది: వర్గీకరణ, తిరోగమనం, ర్యాంకింగ్, జనరేషన్, నియంత్రణ, మొదలైనవి.
-
సిస్టమ్ మెట్రిక్స్ - జాప్యం, నిర్గమాంశ, కాల్కు ఖర్చు, వైఫల్య రేట్లు, డ్రిఫ్ట్ అలారాలు, అప్టైమ్ SLAలు.
-
ఫలిత కొలమానాలు - మీరు నిజంగా కోరుకునే వ్యాపారం మరియు వినియోగదారు ఫలితాలు: మార్పిడి, నిలుపుదల, భద్రతా సంఘటనలు, మాన్యువల్-సమీక్ష లోడ్, టికెట్ పరిమాణం.
ఒక గొప్ప కొలత ప్రణాళిక ఉద్దేశపూర్వకంగా ఈ మూడింటినీ మిళితం చేస్తుంది. లేకపోతే మీరు లాంచ్ప్యాడ్ను ఎప్పటికీ వదిలి వెళ్ళని రాకెట్ను పొందుతారు.
సమస్య రకం ఆధారంగా ప్రధాన కొలమానాలు - మరియు ఎప్పుడు దేనిని ఉపయోగించాలి 🎯
1) వర్గీకరణ
-
ప్రెసిషన్, రీకాల్, F1 - డే-వన్ త్రయం. F1 అనేది ఖచ్చితత్వం మరియు రీకాల్ యొక్క హార్మోనిక్ సగటు; తరగతులు అసమతుల్యంగా ఉన్నప్పుడు లేదా ఖర్చులు అసమానంగా ఉన్నప్పుడు ఉపయోగపడుతుంది. [2]
-
ROC-AUC - వర్గీకరణదారుల యొక్క థ్రెషోల్డ్-అజ్ఞేయవాద ర్యాంకింగ్; పాజిటివ్లు అరుదుగా ఉన్నప్పుడు, PR-AUCని . [2]
-
సమతుల్య ఖచ్చితత్వం - తరగతుల అంతటా రీకాల్ సగటు; వక్రీకరించిన లేబుల్లకు ఉపయోగపడుతుంది. [2]
ప్రమాద హెచ్చరిక: అసమతుల్యతతో ఖచ్చితత్వం మాత్రమే తప్పుదారి పట్టించగలదు. 99% వినియోగదారులు చట్టబద్ధంగా ఉంటే, ఒక మూగ ఎల్లప్పుడూ చట్టబద్ధమైన మోడల్ 99% స్కోర్ చేసి భోజనానికి ముందు మీ మోసపూరిత బృందాన్ని విఫలం చేస్తాడు.
2) తిరోగమనం
-
మానవులు స్పష్టంగా అర్థం చేసుకునే దోషానికి MAE పెద్ద తప్పులను శిక్షించాలనుకున్నప్పుడు RMSE వైవిధ్యానికి
R² (స్టేక్హోల్డర్లు వాస్తవానికి దోషాన్ని గ్రహించగలిగేలా డొమైన్-స్నేహపూర్వక యూనిట్లను ఉపయోగించండి.)
3) ర్యాంకింగ్, తిరిగి పొందడం, సిఫార్సులు
-
nDCG - స్థానం మరియు గ్రేడెడ్ ఔచిత్యం గురించి శ్రద్ధ వహిస్తుంది; శోధన నాణ్యతకు ప్రమాణం.
-
MRR - మొదటి సంబంధిత అంశం ఎంత త్వరగా కనిపిస్తుందనే దానిపై దృష్టి పెడుతుంది (“ఒక మంచి సమాధానం కనుగొనండి” పనులకు గొప్పది).
(అమలు సూచనలు మరియు పనిచేసిన ఉదాహరణలు ప్రధాన స్రవంతి మెట్రిక్ లైబ్రరీలలో ఉన్నాయి.) [2]
4) వచన ఉత్పత్తి మరియు సారాంశం
-
BLEU మరియు ROUGE - క్లాసిక్ అతివ్యాప్తి కొలమానాలు; బేస్లైన్లుగా ఉపయోగపడతాయి.
-
ఎంబెడింగ్-ఆధారిత మెట్రిక్స్ (ఉదా., BERTScore ) తరచుగా మానవ తీర్పుతో బాగా సంబంధం కలిగి ఉంటాయి; శైలి, విశ్వసనీయత మరియు భద్రత కోసం ఎల్లప్పుడూ మానవ రేటింగ్లతో జత చేయండి. [4]
5) ప్రశ్నలకు సమాధానం ఇవ్వడం
-
ఖచ్చితమైన మ్యాచ్ మరియు టోకెన్-స్థాయి F1 సాధారణం; సమాధానాలు మూలాలను ఉదహరించవలసి వస్తే, గ్రౌండింగ్ను (సమాధానం-మద్దతు తనిఖీలు).
అమరిక, విశ్వాసం మరియు బ్రియర్ లెన్స్ 🎚️
కాన్ఫిడెన్స్ స్కోర్లు అంటే చాలా వ్యవస్థలు నిశ్శబ్దంగా ఉండే ప్రదేశాలు. మీరు వాస్తవికతను ప్రతిబింబించే సంభావ్యతలను కోరుకుంటారు, తద్వారా ops థ్రెషోల్డ్లను, మానవులకు మార్గాన్ని లేదా ధర ప్రమాదాన్ని సెట్ చేయవచ్చు.
-
అమరిక వక్రతలు - అంచనా వేసిన సంభావ్యత వర్సెస్ అనుభావిక పౌనఃపున్యాన్ని దృశ్యమానం చేయండి.
-
బ్రైయర్ స్కోరు ర్యాంకింగ్ మాత్రమే కాకుండా సంభావ్యత నాణ్యత గురించి శ్రద్ధ వహించినప్పుడు ఇది చాలా ఉపయోగకరంగా ఉంటుంది
ఫీల్డ్ నోట్: కొంచెం “అధ్వాన్నంగా” ఉన్న F1 కానీ చాలా మెరుగైన క్రమాంకనం భారీగా మెరుగుపరుస్తుంది - ఎందుకంటే ప్రజలు చివరకు స్కోర్లను విశ్వసించవచ్చు.
భద్రత, పక్షపాతం మరియు న్యాయబద్ధత - ముఖ్యమైన వాటిని కొలవండి 🛡️⚖️
ఒక వ్యవస్థ మొత్తం మీద ఖచ్చితమైనదిగా ఉండి, నిర్దిష్ట సమూహాలకు హాని కలిగించవచ్చు. సమూహపరచబడిన కొలమానాలు మరియు న్యాయమైన ప్రమాణాలను ట్రాక్ చేయండి:
-
జనాభా సమానత్వం - సమూహాలలో సమాన సానుకూల రేట్లు.
-
సమానమైన ఆడ్స్ / సమాన అవకాశం - సమూహాలలో సమాన దోష రేట్లు లేదా నిజమైన-సానుకూల రేట్లు; వన్-షాట్ పాస్-ఫెయిల్ స్టాంపులుగా కాకుండా, ట్రేడ్-ఆఫ్లను గుర్తించడానికి మరియు నిర్వహించడానికి వీటిని ఉపయోగించండి. [5]
ఆచరణాత్మక చిట్కా: కీలక లక్షణాల ఆధారంగా ప్రధాన మెట్రిక్లను విభజించే డాష్బోర్డ్లతో ప్రారంభించండి, ఆపై మీ విధానాలకు అవసరమైన నిర్దిష్ట ఫెయిర్నెస్ మెట్రిక్లను జోడించండి. ఇది వింతగా అనిపిస్తుంది, కానీ ఇది ఒక సంఘటన కంటే చౌకగా ఉంటుంది.
LLMలు మరియు RAG - నిజంగా పనిచేసే కొలతల ప్లేబుక్ 📚🔍
ఉత్పాదక వ్యవస్థలను కొలవడం... చాలా కష్టం. ఇలా చేయండి:
-
ఫలితాలను నిర్వచించండి : సరైనది, సహాయకారిగా ఉండటం, హానిచేయనిది, శైలి కట్టుబడి ఉండటం, బ్రాండ్ టోన్, సైటేషన్ గ్రౌండింగ్, తిరస్కరణ నాణ్యత.
-
బేస్లైన్ మూల్యాంకనాలను ఆటోమేట్ చేయండి మరియు వాటిని మీ డేటాసెట్లతో వెర్షన్గా ఉంచండి.
-
తెలివి కోసం సెమాంటిక్ మెట్రిక్స్ (ఎంబెడ్డింగ్-బేస్డ్) ప్లస్ ఓవర్లాప్ మెట్రిక్స్ (BLEU/ROUGE) జోడించండి
-
ఇన్స్ట్రుమెంట్ గ్రౌండింగ్ : రిట్రీవల్ హిట్ రేట్, కాంటెక్స్ట్ ప్రెసిషన్/రీకాల్, ఆన్సర్-సపోర్ట్ ఓవర్లాప్.
-
ఒప్పందంతో మానవ సమీక్ష - రేటర్ స్థిరత్వాన్ని కొలవండి (ఉదా., కోహెన్ యొక్క κ లేదా ఫ్లీస్ యొక్క κ) కాబట్టి మీ లేబుల్లు వైబ్లుగా ఉండవు.
బోనస్: లాగ్ లేటెన్సీ పర్సంటైల్స్ మరియు టోకెన్ లేదా కంప్యూట్ కాస్ట్ పర్ టాస్క్. వచ్చే మంగళవారం వచ్చే కవితాత్మక సమాధానాన్ని ఎవరూ ఇష్టపడరు.
పోలిక పట్టిక - AI పనితీరును కొలవడానికి మీకు సహాయపడే సాధనాలు 🛠️📊
(అవును ఇది కావాలనే కొంచెం గజిబిజిగా ఉంది - నిజమైన నోట్స్ గజిబిజిగా ఉన్నాయి.)
| సాధనం | ఉత్తమ ప్రేక్షకులు | ధర | ఇది ఎందుకు పనిచేస్తుంది - త్వరగా తీసుకోండి |
|---|---|---|---|
| స్కికిట్-లెర్న్ మెట్రిక్స్ | ML ప్రాక్టీషనర్లు | ఉచితం | వర్గీకరణ, తిరోగమనం, ర్యాంకింగ్ కోసం కానానికల్ అమలులు; పరీక్షల్లోకి చేర్చడం సులభం. [2] |
| MLflow మూల్యాంకనం / GenAI | డేటా శాస్త్రవేత్తలు, MLOps | ఉచితం + చెల్లించబడింది | కేంద్రీకృత పరుగులు, ఆటోమేటెడ్ మెట్రిక్స్, LLM న్యాయనిర్ణేతలు, కస్టమ్ స్కోరర్లు; కళాఖండాలను శుభ్రంగా లాగ్ చేస్తుంది. |
| స్పష్టంగా | డాష్బోర్డ్లను వేగంగా కోరుకుంటున్న జట్లు | OSS + క్లౌడ్ | 100+ మెట్రిక్స్, డ్రిఫ్ట్ మరియు నాణ్యత నివేదికలు, మానిటరింగ్ హుక్స్ - చిటికెలో చక్కని విజువల్స్. |
| బరువులు & పక్షపాతాలు | ప్రయోగం-భారీ సంస్థలు | ఉచిత టైర్ | పక్కపక్కనే పోలికలు, ఎవాల్యుయేషన్ డేటాసెట్లు, న్యాయనిర్ణేతలు; పట్టికలు మరియు జాడలు చక్కగా ఉన్నాయి. |
| లాంగ్స్మిత్ | LLM యాప్ బిల్డర్లు | చెల్లించబడింది | ప్రతి అడుగును అనుసరించండి, మానవ సమీక్షను నియమం లేదా LLM మూల్యాంకనాలతో కలపండి; RAGకి గొప్పది. |
| ట్రూలెన్స్ | ఓపెన్-సోర్స్ LLM ఎవాల్యుయేషన్ ప్రియులు | ఓఎస్ఎస్ | విషపూరితం, ఆధారం, ఔచిత్యాన్ని స్కోర్ చేయడానికి అభిప్రాయ విధులు; ఎక్కడైనా ఇంటిగ్రేట్ చేయండి. |
| గొప్ప అంచనాలు | డేటా నాణ్యత-మొదటి సంస్థలు | ఓఎస్ఎస్ | డేటాపై అంచనాలను అధికారికం చేయండి - ఎందుకంటే చెడు డేటా ఏమైనప్పటికీ ప్రతి మెట్రిక్ను నాశనం చేస్తుంది. |
| డీప్చెక్స్ | ML కోసం పరీక్ష మరియు CI/CD | OSS + క్లౌడ్ | డేటా డ్రిఫ్ట్, మోడల్ సమస్యలు మరియు పర్యవేక్షణ కోసం బ్యాటరీలతో కూడిన పరీక్ష; మంచి గార్డ్రెయిల్స్. |
ధరలు మారుతాయి - పత్రాలను తనిఖీ చేయండి. మరియు అవును, టూల్ పోలీస్ కనిపించకుండానే మీరు వీటిని కలపవచ్చు.
పరిమితులు, ఖర్చులు మరియు నిర్ణయ వక్రతలు - రహస్య సాస్ 🧪
థ్రెషోల్డ్ మరియు వ్యయ నిష్పత్తులను బట్టి చాలా భిన్నమైన వ్యాపార విలువను కలిగి ఉంటాయి .
నిర్మించడానికి త్వరిత షీట్:
-
తప్పుడు పాజిటివ్ vs తప్పుడు నెగటివ్ యొక్క ధరను డబ్బు లేదా సమయంలో నిర్ణయించండి.
-
పరిమితులను తుడిచిపెట్టి, 1k నిర్ణయాలకు అంచనా వేసిన వ్యయాన్ని లెక్కించండి.
-
కనీస అంచనా వ్యయ ఎంచుకుని , దానిని పర్యవేక్షణతో లాక్ చేయండి.
పాజిటివ్లు అరుదుగా ఉన్నప్పుడు PR వక్రతలను, సాధారణ ఆకృతికి ROC వక్రతలను మరియు నిర్ణయాలు సంభావ్యతపై ఆధారపడినప్పుడు అమరిక వక్రతలను ఉపయోగించండి. [2][3]
మినీ-కేస్: ఆపరేషన్లు హార్డ్ థ్రెషోల్డ్ నుండి టైర్డ్ రూటింగ్కు (ఉదా., "ఆటో-రిసల్వ్," "హ్యూమన్-రివ్యూ," "ఎస్కలేట్") మారిన తర్వాత క్రమాంకనం చేయబడిన స్కోర్ బ్యాండ్లకు అనుసంధానించబడిన నిరాడంబరమైన F1తో కూడిన కానీ అద్భుతమైన క్యాలిబ్రేషన్ కట్ మాన్యువల్ రీ-రూట్లతో కూడిన సపోర్ట్-టికెట్ ట్రయాజ్ మోడల్.
ఆన్లైన్ పర్యవేక్షణ, డ్రిఫ్ట్ మరియు హెచ్చరిక 🚨
ఆఫ్లైన్ మూల్యాంకనాలు ప్రారంభం, ముగింపు కాదు. ఉత్పత్తిలో:
-
విభాగాల వారీగా ఇన్పుట్ డ్రిఫ్ట్ , అవుట్పుట్ డ్రిఫ్ట్ మరియు పనితీరు క్షీణతను ట్రాక్ చేయండి
-
గార్డ్రైల్ తనిఖీలను సెట్ చేయండి - గరిష్ట భ్రాంతుల రేటు, విషపూరిత పరిమితులు, ఫెయిర్నెస్ డెల్టాలు.
-
p95 జాప్యం, గడువు ముగింపులు మరియు అభ్యర్థనకు అయ్యే ఖర్చు కోసం కానరీ డాష్బోర్డ్లను జోడించండి
-
దీన్ని వేగవంతం చేయడానికి ప్రత్యేకంగా నిర్మించిన లైబ్రరీలను ఉపయోగించండి; అవి డ్రిఫ్ట్, నాణ్యత మరియు పర్యవేక్షణ ఆదిమాలను బాక్స్ వెలుపల అందిస్తాయి.
చిన్న లోపభూయిష్ట రూపకం: మీ మోడల్ను సోర్డో స్టార్టర్గా భావించండి - మీరు ఒకసారి బేక్ చేసి వెళ్లిపోరు; మీరు తినిపిస్తారు, చూస్తారు, వాసన చూస్తారు మరియు కొన్నిసార్లు తిరిగి ప్రారంభిస్తారు.
మానవ మూల్యాంకనం చెక్కుచెదరకుండా ఉంటుంది 🍪
ప్రజలు అవుట్పుట్లను రేటింగ్ చేసినప్పుడు, ఆ ప్రక్రియ మీరు అనుకున్నదానికంటే చాలా ముఖ్యమైనది.
-
పాస్ vs బోర్డర్లైన్ vs ఫెయిల్ ఉదాహరణలతో టైట్ రూబ్రిక్స్ రాయండి
-
మీకు వీలైనప్పుడు నమూనాలను యాదృచ్ఛికంగా తీసి బ్లైండ్ చేయండి.
-
ఇంటర్-రేటర్ ఒప్పందాన్ని కొలవండి (ఉదా., ఇద్దరు రేటర్లకు కోహెన్ κ, చాలా మందికి ఫ్లీస్ κ) మరియు ఒప్పందం జారిపోతే రూబ్రిక్లను రిఫ్రెష్ చేయండి.
ఇది మీ మానవ లేబుల్లను మానసిక స్థితి లేదా కాఫీ సరఫరాతో కదలకుండా చేస్తుంది.
లోతైన అధ్యయనం: RAGలో LLMల కోసం AI పనితీరును ఎలా కొలవాలి
-
తిరిగి పొందే నాణ్యత - రీకాల్@k, ప్రెసిషన్@k, nDCG; బంగారు వాస్తవాల కవరేజ్. [2]
-
సమాధాన విశ్వసనీయత - ఉదహరించు మరియు ధృవీకరించు తనిఖీలు, గ్రౌండెడ్నెస్ స్కోర్లు, విరోధి ప్రోబ్లు.
-
వినియోగదారు సంతృప్తి - బొటనవేళ్లు, పని పూర్తి, సూచించిన చిత్తుప్రతుల నుండి సవరణ దూరం.
-
భద్రత - విషప్రయోగం, PII లీకేజీ, విధాన సమ్మతి.
-
ఖర్చు & జాప్యం - టోకెన్లు, కాష్ హిట్లు, p95 మరియు p99 జాప్యాలు.
వీటిని వ్యాపార చర్యలకు అనుసంధానించండి: గ్రౌండ్నెస్ ఒక లైన్ కంటే తక్కువగా ఉంటే, స్ట్రిక్ట్ మోడ్ లేదా మానవ సమీక్షకు ఆటో-రూట్ చేయండి.
ఈరోజే ప్రారంభించడానికి ఒక సులభమైన ప్లేబుక్ 🪄
-
ఉద్యోగాన్ని నిర్వచించండి - ఒక వాక్యం రాయండి: AI ఏమి చేయాలి మరియు ఎవరి కోసం చేయాలి.
-
2–3 టాస్క్ మెట్రిక్లను ఎంచుకోండి - ప్లస్ క్యాలిబ్రేషన్ మరియు కనీసం ఒక ఫెయిర్నెస్ స్లైస్. [2][3][5]
-
ఖర్చును ఉపయోగించి పరిమితులను నిర్ణయించండి - ఊహించవద్దు.
-
ఉత్పత్తి మిశ్రమాన్ని ప్రతిబింబించే 100–500 లేబుల్ చేయబడిన ఉదాహరణలతో ఒక చిన్న అంచనా సమితిని సృష్టించండి
-
మీ అంచనాలను ఆటోమేట్ చేయండి - వైర్ మూల్యాంకనం/పర్యవేక్షణను CI లోకి మార్చండి, తద్వారా ప్రతి మార్పు ఒకే తనిఖీలను అమలు చేస్తుంది.
-
ఉత్పత్తిలో మానిటర్ - డ్రిఫ్ట్, జాప్యం, ఖర్చు, సంఘటన ఫ్లాగ్లు.
-
ఎవరూ ఉపయోగించని నెలవారీ మెట్రిక్లను కత్తిరించండి
-
డాక్యుమెంట్ నిర్ణయాలు - మీ బృందం వాస్తవానికి చదివే సజీవ స్కోర్కార్డ్.
అవును, అక్షరాలా అంతే. మరియు అది పనిచేస్తుంది.
సాధారణ గూఢచర్యాలు మరియు వాటిని ఎలా తప్పించుకోవాలి 🕳️🐇
-
ఒకే మెట్రిక్కు అతిగా అమర్చడం నిర్ణయ సందర్భానికి సరిపోయే మెట్రిక్ బుట్టను ఉపయోగించండి
-
క్రమాంకనం విస్మరించడం - క్రమాంకనం లేకుండా విశ్వాసం కేవలం డూంబరీ. [3]
-
విభజన లేదు - ఎల్లప్పుడూ వినియోగదారు సమూహాలు, భౌగోళికం, పరికరం, భాష ఆధారంగా విభజించండి. [5]
-
నిర్వచించబడని ఖర్చులు - మీరు ధర తప్పులను పేర్కొనకపోతే, మీరు తప్పు థ్రెషోల్డ్ను ఎంచుకుంటారు.
-
మానవ మూల్యాంకన ప్రవాహం - ఒప్పందాన్ని కొలవడం, రూబ్రిక్లను రిఫ్రెష్ చేయడం, సమీక్షకులకు తిరిగి శిక్షణ ఇవ్వడం.
-
భద్రతా పరికరాలు లేవు - ఫెయిర్నెస్, టాక్సిసిటీ మరియు పాలసీ తనిఖీలను ఇప్పుడే జోడించండి, తరువాత కాదు. [1][5]
మీరు వచ్చిన పదబంధం: AI పనితీరును ఎలా కొలవాలి - చాలా పొడవుగా ఉంది, నేను దానిని చదవలేదు 🧾
-
స్పష్టమైన ఫలితాలతో ప్రారంభించండి , ఆపై పని , వ్యవస్థ మరియు వ్యాపార కొలమానాలను పేర్చండి. [1]
-
పనికి సరైన మెట్రిక్లను ఉపయోగించండి - వర్గీకరణ కోసం F1 మరియు ROC-AUC; ర్యాంకింగ్ కోసం nDCG/MRR; జనరేషన్ కోసం ఓవర్లాప్ + సెమాంటిక్ మెట్రిక్లు (మానవులతో జత చేయబడింది). [2][4]
-
క్రమాంకనం చేయండి మరియు మీ లోపాలను అంచనా వేసి థ్రెషోల్డ్లను ఎంచుకోండి. [2][3]
-
గ్రూప్ స్లైస్లతో ఫెయిర్నెస్ జోడించండి
-
మీరు భయం లేకుండా పునరావృతం చేయడానికి మూల్యాంకనాలు మరియు పర్యవేక్షణను ఆటోమేట్ చేయండి
అది ఎలా ఉంటుందో మీకు తెలుసు - ఏది ముఖ్యమో కొలవండి, లేకుంటే మీరు ముఖ్యమైనదానిని మెరుగుపరుస్తారు.
ప్రస్తావనలు
[1] NIST. AI రిస్క్ మేనేజ్మెంట్ ఫ్రేమ్వర్క్ (AI RMF). మరింత చదవండి
[2] scikit-learn. మోడల్ మూల్యాంకనం: అంచనాల నాణ్యతను లెక్కించడం (యూజర్ గైడ్). మరింత చదవండి
[3] scikit-learn. సంభావ్యత క్రమాంకనం (క్యాలిబ్రేషన్ వక్రతలు, బ్రియర్ స్కోర్). మరింత చదవండి
[4] పాపినేని మరియు ఇతరులు (2002). BLEU: యంత్ర అనువాదం యొక్క ఆటోమేటిక్ మూల్యాంకనం కోసం ఒక పద్ధతి. ACL. మరింత చదవండి
[5] హార్డ్ట్, ప్రైస్, స్రెబ్రో (2016). పర్యవేక్షించబడిన అభ్యాసంలో అవకాశాల సమానత్వం. న్యూరిఐపిఎస్. మరింత చదవండి