AI×人間で複層的に行っているコンテンツモデレーション（監視）の仕組み
以下は、TikTokにアップロードされたコンテンツがどのような流れで審査されていくのかを図式化したものだ。AI、モデレーター、コミュニティによる複層的なモデレーションのサイクルが形成されている。
ステップ1：AIによる「0.1秒」の自動スキャン
TikTokに動画がアップロードされると、まずAI（マシン・モデレーション）によるチェックが入る。特徴は、AIが「人物の骨格や姿勢」まで分析している点。たとえば、単にナイフが映っているかどうかだけでなく、「そのナイフをどう構えているか」という動作や姿勢まで識別し、規約違反のリスクを瞬時に判定する。ロイ氏によれば、現在TikTokで削除されるコンテンツの約89%が、このAIによる自動処理で完結しているという。
ちなみに、ここでは規約違反の可能性の「有無」ではなく「パーセンテージによるリスクの高低」で処理がかけられる。当然、本来は削除する必要のないコンテンツも削除されてしまう“オーバーキル”のリスクもあるほか、AIでは判断できない微妙なラインも存在する。そうしたコンテンツは、次のステップ2で人間によるチェックが入る。
ステップ2：人間によるコンテンツチェック
AIは万能ではない。たとえば「過度なダイエットを助長する言葉」や「宗教・政治に絡むヘイトスピーチ」など、文脈が関わってくる領域はAIが最も苦手とする部分だ。
そこで、モデレーターと呼ばれるプロフェッショナル人材が「AIでは判断が難しかったもの」「オーバーキルによりクリエイターから直接申請があがってきたコンテンツ」を一つひとつチェックし、判断している。
また、モデレーターは現地の法律や文化、言語、伝統、ネットスラングなどにも精通しており、その観点からもチェックを行っているそうだ。日本語を理解する専門スタッフもおり、日本特有のニュアンスや誹謗中傷、いじめといった、機械的な判別が困難な事象に対しても、精度の高い監視がされている。
ステップ3：アップされたコンテンツの監視
TikTokにアップされた後も、モデレーションは続く。異常に閲覧数が伸びているものや、ユーザーからの報告があったものは再度チェックに回される。また、規約違反ではないが不適切と判断されたものは、拡散を防ぐために「おすすめフィード」への露出が制限（リコール）される仕組みもある。
