跳到正文
原文
arXiv · cs.CL(大模型)· Alexander Nemecek, Yuqiao Xu, Joseph Falkenburg, Erman Ayday·· 2 小时前AI 评分38

跨语言同形字与隐形字符水印公平性研究:去除分词器未消除脚本差异

No Tokenizer, Still a Gap: Cross-Lingual Fairness of Homoglyph and Invisible-Character Watermarking

AI 导读

研究显示,基于字符的同形字与隐形字符水印虽不依赖分词器,但跨40种语言的容量仍受脚本类型主导。拉丁语系内资源水平无显著差异,但低资源语言多使用同形字少的脚本导致容量偏低。常规复制粘贴剥离隐形字符后,检测所需文本量差距扩大至93倍,表明去分词化仅改变而非消除不公平来源。

来源:arXiv · cs.CL(大模型) · arxiv.org