అన్ని AI వచనం సమానంగా గుర్తించదగినది కాదు. ఇక్కడ మా జనరేటర్-వారీగా బెంచ్మార్క్ ఫలితాలు ఉన్నాయి — దాదాపు పరిపూర్ణ ఖచ్చితత్వంతో మా గుర్తింపు సాధనం ఏ మోడల్ కుటుంబాలను పట్టుకుంటుందో, దేనితో ఇబ్బంది పడుతుందో, మరియు గుర్తింపు వర్క్ఫ్లో ఎంచుకోవడం గురించి అది మీకు ఏమి చెప్తుందో.
[LEADERBOARD TABLE — fill with real per-model AUC numbers from benchmark before publishing]
మా ధృవీకరణ సెట్లో గుర్తించడానికి సులభమైన నుండి అత్యంత కష్టమైన వరకు క్రమబద్ధీకరించబడ్డాయి. వ్యాప్తి విస్తృతంగా ఉంది — కొన్ని మోడల్ కుటుంబాలపై AUC 0.99 మించి ఉంటుంది అయితే ఇతరులు 0.80లలో పడిపోతారు. గుర్తింపు కష్టం మోడల్ పరిమాణం, ఇన్స్ట్రక్షన్-ట్యూనింగ్ అధునాతనత, మరియు అవుట్పుట్ వ్యత్యాసంతో సంబంధం కలిగి ఉంది.
పూర్తి జనరేటర్-వారీగా విభజన పద్ధతి కోసం, మా ఖచ్చితత్వ బెంచ్మార్క్ పేజీ చూడండి. ఈ వ్యాసం ఏ గుర్తింపు సాధనాన్ని నమ్మాలో మరియు ఏ మోడల్ ఉపయోగించాలో ఎంచుకునే వినియోగదారులకు ఆ డేటా యొక్క ఆచరణాత్మక చిక్కులను సంగ్రహిస్తుంది.
GPT-3.5 గుర్తించడానికి అత్యంత సులభమైన ఆధునిక మోడల్ — మా సెట్లో AUC [AUC: ?]. వారసత్వ ఉత్పత్తి ఆర్టిఫాక్ట్లు (పునరావృత్తి, హెడ్జింగ్, నిస్సారమైన రిజిస్టర్) స్పష్టంగా ఉన్నాయి. GPT-4 AUC [AUC: ?]కి, GPT-4o [AUC: ?]కి దిగుతుంది, ఇవి క్రమంగా మెరుగైన క్యాలిబ్రేషన్ను ప్రతిబింబిస్తాయి. GPT-5.x కుటుంబంలో అత్యంత కష్టమైనది — AUC [AUC: ?] — ఎందుకంటే ఇన్స్ట్రక్షన్-ట్యూనింగ్ బృందం స్పష్టంగా గుర్తింపు-ఆర్టిఫాక్ట్ తొలగింపును లక్ష్యంగా చేసుకుంది.
ఆచరణాత్మక చిక్కు: GPT-3.5-యుగం మోచమోసం గురించి ఆందోళన చెందే అకాడెమిక్ వర్క్ఫ్లోలు గుర్తింపుపై మాత్రమే ఎక్కువగా ఆధారపడవచ్చు. GPT-5 గురించి ఆందోళన చెందే వర్క్ఫ్లోలు మా ఉపాధ్యాయ వర్క్ఫ్లో గైడ్లో వివరించినట్లు, సందర్భ ఆధారాలతో గుర్తింపును జత చేయాల్సిన అవసరం ఉంది.
ఉష్ణోగ్రత సెట్టింగులు ముఖ్యం. తక్కువ-ఉష్ణోగ్రత అవుట్పుట్లు (t≤0.5) గుర్తించడానికి సులభంగా ఉంటాయి ఎందుకంటే అవి ఇరుకైన పదజాలంపై సంభావ్యత ద్రవ్యరాశిని కేంద్రీకరిస్తాయి. చాలా చాట్ ఇంటర్ఫేస్లు t≈0.7 కి డిఫాల్ట్ అవుతాయి, వచనాన్ని మధ్యస్తంగా గుర్తించదగిన జోన్లో ఉంచుతాయి. ప్రతికూల వినియోగదారులు స్పష్టంగా ఉష్ణోగ్రతను పెంచుతారు లేదా పరిధిని విస్తరించడానికి మరియు గుర్తింపు తప్పించడానికి వైవిధ్య డీకోడింగ్ ఉపయోగిస్తారు — మా ఎన్సెంబుల్ దీన్ని పాక్షికంగా సరిదిద్దుతుంది కానీ పూర్తిగా కాదు.
Claude 3 Opus: AUC [AUC: ?]. Claude 3.5 Sonnet: [AUC: ?]. Claude 4 Opus: [AUC: ?]. Claude 4.5 Sonnet: [AUC: ?]. Claude కుటుంబం నిరంతరంగా అదే-తరం GPT మోడల్ల కంటే తక్కువ పునరావృత్తి, మరింత శైలీయంగా వైవిధ్యమైన వచనాన్ని ఉత్పత్తి చేస్తుంది, ఇది గణాంక పద్ధతుల ద్వారా గుర్తించడాన్ని కష్టతరం చేస్తుంది.
Claude యొక్క రాజ్యాంగ-AI శిక్షణ మా సూపర్వైజ్డ్ క్లాసిఫైయర్ నేర్చుకునే “యంత్ర గుర్తులను” స్పష్టంగా లక్ష్యంగా చేసుకుంటుంది — హెడ్జింగ్ నమూనాలు, నిర్దిష్ట సంయోజనాల అతిగా వాడకం, అంచనా వేయదగిన పేరాగ్రాఫ్ నిర్మాణం. ఇది ప్రత్యక్ష ప్రతికూల సంబంధం: జనరేటర్ గుర్తింపు సాధనం ఆధారపడే లక్షణాలకు వ్యతిరేకంగా శిక్షణ పొందుతుంది.
Claude 4.5 Sonnet మరియు GPT-5.x కష్టంలో దగ్గరగా ఉంటాయి. వారి స్కోరు పంపిణీలు మా ధృవీకరణ డేటాలో మానవ ప్రమాణాన్ని అత్యధికంగా అతివ్యాప్తి చెందుతాయి. మీ వర్క్ఫ్లో ఈ మోడళ్ళలో ఏదైనా లక్ష్యంగా చేసుకుంటే, డిఫాల్ట్ థ్రెషోల్డ్ వద్ద తగ్గిన రికాల్ ఆశించండి మరియు అధిక-సంవేదనశీలత స్క్రీనింగ్ కోసం F1-ఆప్టిమల్ కి తగ్గించడాన్ని పరిగణించండి.
Gemini 1.5 Pro: AUC [AUC: ?]. Gemini 2.0: [AUC: ?]. Gemini 2.5: [AUC: ?]. Gemini వేర్వేరు వెర్షన్లలో అత్యంత వేరియబుల్ గుర్తింపు పనితీరును చూపించింది — కొన్ని మధ్యంతర విడుదలలు మెరుగుదలలు వచ్చే ముందు తాత్కాలికంగా రిగ్రెస్ అయ్యాయి.
Gemini యొక్క మల్టీ-మోడల్ శిక్షణ అంటే టెక్స్ట్-మాత్రమే అవుట్పుట్లు కొన్నిసార్లు ఇమేజ్-క్యాప్షన్ లేదా కోడ్-వివరణ డొమెయిన్ల నుండి వెస్టీజియల్ నమూనాలను కలిగి ఉంటాయి. మా గుర్తింపు సాధనం వీటిని గుర్తిస్తుంది, ఇది స్వచ్ఛమైన వచనంపై కంటే మిశ్రిత-డొమెయిన్ ప్రాంప్ట్లపై Gemini యొక్క కొంచెం ఎక్కువ గుర్తించబడే స్వభావాన్ని వివరిస్తుంది.
Google Workspace వినియోగదారులకు, వారి విద్యార్థులు లేదా ఉద్యోగులు Docs ద్వారా Gemini ఉపయోగిస్తే, గుర్తింపు సంకేతం ముడి API అవుట్పుట్తో సమానంగా ఉంటుంది. ప్రత్యక్ష Gemini API వాడకం నుండి భిన్నంగా ఉండే వర్క్స్పేస్-ఇంటిగ్రేషన్-నిర్దిష్ట తప్పించుకోవడం నమూనాలు మేము గమనించలేదు.
ఏదైనా LLM నుండి అవుట్పుట్ అతికించండి మరియు వాక్య-వారీగా తీర్పు చూడండి. మా గుర్తింపు సాధనం అన్ని 22 మోడల్ కుటుంబాలను ఒకే ఎన్సెంబుల్ తనిఖీగా పరిగణిస్తుంది.
Llama 3.1: AUC [AUC: ?]. Llama 3.3: [AUC: ?]. Qwen 2.5: [AUC: ?]. Qwen 3: [AUC: ?]. DeepSeek R1: [AUC: ?]. Mistral Large: [AUC: ?]. ఓపెన్-వెయిట్స్ మోడళ్ళు మూసివేయబడిన వాటికంటే విస్తృత పరిధిని కలిగి ఉంటాయి — ఫైన్-ట్యూనింగ్ వేరియంట్లు, క్వాంటైజ్డ్ డిప్లాయ్మెంట్లు, మరియు కమ్యూనిటీ-సవరించిన చెక్పాయింట్లు అన్నీ కొంచెం భిన్నమైన అవుట్పుట్లను ఉత్పత్తి చేస్తాయి.
ఓపెన్-వెయిట్స్పై గుర్తింపు వ్యూహాత్మకంగా ముఖ్యమైనది ఎందుకంటే హ్యూమనైజర్ సాధనాలు సాధారణంగా ఓపెన్-వెయిట్స్ మోడళ్ళపై నిర్మించబడతాయి — Llama మరియు Mistral డెరివేటివ్లు స్థానికంగా తక్కువ వ్యయంతో నడుస్తాయి, అందుకే పారాఫ్రేజింగ్ మరియు స్టైల్-ట్రాన్స్ఫర్ సేవలు వాటిని ధరతో అందిస్తాయి. మీ ఆందోళన హ్యూమనైజ్డ్ AI అయితే, మీరు అంతిమంగా Llama-కుటుంబ ఉత్పత్తికి వ్యతిరేకంగా రక్షిస్తున్నారు.
DeepSeek R1 మరియు o3-mini (OpenAI రీజనింగ్ మోడల్) విడిగా ప్రస్తావన అర్హతను కలిగి ఉన్నాయి. రెండూ రీజనింగ్-చెయిన్ ఆర్టిఫాక్ట్లతో వచనాన్ని ఉత్పత్తి చేస్తాయి — అవుట్పుట్లో కనిపించే స్పష్టమైన దశల వారీ తర్కం — ఇది మా గుర్తింపు సాధనం గుర్తించడాన్ని నేర్చుకుంది. రీజనింగ్ మోడళ్ళు ఈ కారణంగా ప్రస్తుతం వారి బేస్-చాట్ కౌంటర్పార్ట్ల కంటే గుర్తించడానికి సులభంగా ఉంటాయి.
మీరు రాయడానికి ఒక మోడల్ ఎంచుకుంటున్నారు మరియు గుర్తింపు మీ ఆందోళన కాకపోతే, Claude 4.5 Sonnet మరియు GPT-5 గుర్తించడానికి అత్యంత కష్టమైనవి. మీరు గుర్తింపు వర్క్ఫ్లో నిర్మిస్తున్నారు అంటే, మీరు వాస్తవంగా చూసే మోడళ్ళకు ప్రాధాన్యత ఇవ్వండి: చాలా అకాడెమిక్ దుర్వినియోగం ఉచిత ఇంటర్ఫేస్ల ద్వారా GPT-4/5 పై నడుస్తుంది; చాలా కంటెంట్-ఫార్మింగ్ Llama-డెరివేటివ్ హ్యూమనైజర్లపై నడుస్తుంది.
ఒకే మోడల్ కుటుంబంపై శిక్షణ పొందిన ఒకే గుర్తింపు సాధనం ఇతరులపై అత్యంత తక్కువ పనితీరు చూపిస్తుంది. మా ఎన్సెంబుల్ విధానం అన్ని 22 జనరేటర్ల నుండి నమూనాలపై శిక్షణ పొందుతుంది, అందుకే కష్టమైన కేసులపై (Claude 4.5, GPT-5) మోడల్-వారీగా AUC ఇంకా 0.90 పైన ఉంటుంది అయితే ఏ సింగిల్-మోడల్-శిక్షణ పొందిన గుర్తింపు సాధనం 0.80 కింద పడిపోతుంది.
అంతర్లీన ధోరణి: గుర్తింపు కష్టం జనరేటర్ విడుదల వేగం కంటే వేగంగా పెరుగుతోంది. ప్రతి కొత్త ఫ్లాగ్షిప్ మునుపటి దానికంటే గుర్తించడానికి కష్టంగా ఉంటుంది, పునఃశిక్షణ అంతరాన్ని మూస్తుంది కానీ పూర్తిగా కాదు. 2026–2027 ప్రమాణం ఫ్రాంటియర్ మోడళ్ళపై తక్కువ AUC మరియు వారసత్వ మోడళ్ళపై దాదాపు స్థిరంగా ఉంటుందని ఆశించండి.
మోడల్-వారీగా AUC సంఖ్యలు మా అంతర్గత ధృవీకరణ నుండి తీసుకోబడ్డాయి మరియు సాధారణీకరించకపోవచ్చు. జనరేటర్ మరియు మా శిక్షణ కార్పస్ రెండూ అభివృద్ధి చెందుతున్నందున ప్రతి మోడల్ యొక్క కష్టం కాలక్రమేణా మారుతుంది. ప్రస్తుత డేటా 2026-04 బెంచ్మార్క్ రన్ను ప్రతిబింబిస్తుంది.
ఉక్రెయిన్తో నిలబడండి!