Content moderation AI-val: a 87% ami automatizálható, és a 13% ami márka-ügy

Egy publisher-platformon napi 18 000-22 000 felhasználói tartalom-elem fut át — kommentek, fórum-hozzászólások, kép-feltöltések, élő esemény-chatek. Két évvel ezelőtt 14 fős human-moderációs csapat dolgozott három műszakban. Ma egy multimodális AI-réteg + 3 fős audit-csapat — a 87%-ot a modell intézi, a 13% emberhez kerül. Itt a felosztás logikája.

A multimodal modell, ahogy mi használjuk

Nem egy modell, hanem négy összehangolva. Szöveg-klasszifikátor: 6 kategória (hate, harassment, spam, sexual, violence, self-harm) + tone. Kép-klasszifikátor: NSFW + grafikus erőszak + arcfelismerés (csak az 'ismerős arc' jelzéshez, nem azonosításra) + brand-logo detekció. Audio-klasszifikátor (élő stream chatekre): keyword-spotting + emocionális hangvétel-becslés. Cross-modal egyeztetés: ha a szöveg ártalmatlan, de a kép graphic, együtt mégis problémás (memes és context-collapse esetén).

A négy modell sorban fut. Egy átlagos szöveges hozzászólásra a teljes inference 80ms (p99 130ms). Egy képes hozzászólásra 340ms (p99 510ms). Ez nem real-time UX — a felhasználó publikál, a moderációs eredmény 0.4-1.2 másodperccel később dönt 'megjelenik / quarantine / blokk' kimenetelről.

A 87% — amit a modell egyedül kezel

A napi 22 000 elemből átlagosan 19 140 (87%) megy emberi audit nélkül. Ezen belül a felosztás:

• Hard accept (modell confidence > 0.92 minden veszély-dimenzión): 76%, azonnal publikál
• Soft accept (0.7-0.92 confidence): 9%, publikál, de háttér-monitorra kerül (post-publish flagging, ha más user jelenti)
• Hard reject (clear hate, spam, sexual content): 2%, automatikus elutasítás + user-szintű strike

A hard reject 2% pontossága a kritikus szám. Egy 8 hetes hatást követő mérés alapján a hard reject false-positive aránya 0.4% — vagyis 22 000 napi elemből 88 hibásan elutasítva. Ez napi 8-9 user-jegy a support-csapatnak. Elfogadható zaj, ahhoz képest, hogy enélkül napi 440 graphic vagy hate-elem maradna fenn.

A 13% — amit emberhez küldünk

A fennmaradó 13% (átlag 2 860 elem napi) emberi auditra megy. Ez nem azt jelenti, hogy a modell 'nem tudta eldönteni' — gyakran azt jelenti, hogy a döntés márka-ügy és nem technikai.

A három kategória, amiért emberre küldünk:

1. Confidence-bizonytalanság (0.4-0.7 valamelyik dimenzión): napi átlag 1 540 elem. Ez a klasszikus 'borderline' eset. Két emberi auditor függetlenül címkézi, ha egyetértenek, döntés. Ha nem, supervisor.

2. Politika-szenzitivitás: napi átlag 780 elem. Politikai posztok, vallási tartalom, etnikai feszültség-jelek. A modell technikailag kezelni tudná, de a márka-kihatás akkora, hogy emberi döntést akarunk. Egy publisher márka-pozícionálása szempontjából a 'mi engedünk át' éppúgy fontos, mint a 'mit blokkolunk'.

3. Új jelenségek és tréning-feedback: napi átlag 540 elem. A modell aktívan mintát küld olyan tartalmakból, amiben kevés tréning-adatuk van — új szlengszavak, friss politikai narratívák, új típusú spam-séma. Ezek emberi címkéje hetente egyszer visszamegy a modellbe (continuous fine-tuning).

Az emberi csapat felépítése

A 14 fős csapatból 3 fő maradt. Egy senior policy-lead (a márka-szenzitív döntésekre), egy ML-feedback specialist (a tréning-loop-ra), egy junior auditor (a confidence-bizonytalan elemek napi sodrására). Ők nem 'kevesebb work-et csinálnak ugyanazon felállásban' — más a szerepük.

A policy-lead heti egyszer politikát módosít a model-küszöbökre alapozva. A ML-feedback specialist a hibázásokat reverse-engineereli — milyen mintát nem ismer a modell, milyen edge-case-en hasal el. A junior auditor a napi sodrást futja, és a politikai-szenzitív elemeket felküldi a policy-lead-nek.

A 13%, ami nem fog automatizálódni

A várakozás 2022-ben az volt, hogy 5 év alatt a 13%-ot is bevesszük. Két év után a számok azt mondják: nem. A 13%-on belül a politika-szenzitivitás rész (28%) nem azért emberi, mert a modell nem tudja jól osztályozni — hanem azért, mert egy publisher-márka identitása része, hogy ki, mit, milyen kontextusban dönt el. Ezt a modell nem tudja, és nem is kell tudnia. Az AI a triage; a döntés a brand-policy.

A tanulság: a moderációs automatizáció nem 0-100% kérdés. A 87% / 13% felosztás stabilnak tűnik, és ennek azokat az embereket kell áthelyezni, akik a 87%-on dolgoztak — ne kirúgni, hanem átirányítani a 13% mélyebb policy-work-re.

Takeaway

A tartalom-moderációs AI nem helyettesíti az emberi auditot — átsúlyozza. A 87% gyors döntés, megbízható confidence-küszöbökkel, automata akcióval. A 13% lassú döntés, márka-szenzitivitással, emberi mérlegelés. Mindkettő szükséges. Egyik nélkül a felhasználói élmény szenved (skálázhatatlan), a másik nélkül a márka szenved (homogenizált).