星洲网
星洲网
星洲网 登录
我的股票|星洲网 我的股票
Newsletter|星洲网 Newsletter 联络我们|星洲网 联络我们 登广告|星洲网 登广告 关于我们|星洲网 关于我们 活动|星洲网 活动

ADVERTISEMENT

ADVERTISEMENT

国际

|

即时国际

|
发布: 6:05pm 07/12/2023

OpenAI

ChatGPT

吐出原始训练资料

资安疑虑

OpenAI

ChatGPT

吐出原始训练资料

资安疑虑

研究:重复特定单字 ChatGPT吐原始资料 引发个资被泄隐忧

研究:重复特定单字 ChatGPT吐原始资料 引发个资被泄隐忧
OpenAI开发的ChatGPT被研究团队发现,输入重复特定的单字,将使ChatGPT吐出原始训练资料,或引发资安疑虑。(美联社照片)

(华盛顿7日综合电)美国企业开发的人工智能聊天机器人程式被Google研究团队发现,输入重复特定的单字,将使ChatGPT,无意间披露训练时使用的材料,从程式码、个人电话到研究报告等,可能引发

不过,OpenAI目前已禁止这种称为“发散攻击”的技术。

ADVERTISEMENT

过去苹果、三星、亚马逊以及各大金融公司一度禁止员工在工作中使用ChatGPT,担忧输入聊天机器人的机密资讯会意外泄漏,现在有研究人员成功找到漏洞,让ChatGPT等生成式AI吐出训练时消化的大量材料。

来自Google DeepMind、华盛顿大学、柏克莱加大等机构的研究团队近日发布了一份论文,声称他们利用约200美元的成本,成功提取了几MB的ChatGPT的训练数据,并认为只要投入更多预算,要得到上GB的训练数据也不无可能。

研究团队建立一种他们称为“发散攻击”的攻击模式,运作原理很简单,他们要求聊天机器人不断重复一个单字,ChatGPT在回应中变得发散,可能无意暴露了不相干的训练材料,像是某人的电子邮件信箱,或者某些文章的内容。研究团队要求ChatGPT重复poem这个单字,却跑出了似乎是某位创业家的联络资料。

根据科技媒体《404 Media》报道,OpenAI指出,要求ChatGPT“永远”重复特定单字,被标记为违反聊天机器人的服务条款和内容政策。

若现在对ChatGPT 3.5输入永远重复某个词时,ChatGPT会吐出该单词几十次,然后显示一条错误讯息:“此内容可能违反我们的内容政策或使用条款。”

根据OpenAI的资料,ChatGPT是利用网络上约570 GB的资料训练而成,但确切包含哪些资讯从未对外公布。

研究团队呼吁开发者应对AI模型进行全面的测试,需要测试的不只是面向用户、经过“ “调准”的模型,整个基础模型等都需要严格的检查,才可能发现被忽视、隐藏的系统漏洞。(香港01)

打开全文

ADVERTISEMENT

热门新闻

百格视频

ADVERTISEMENT

点击 可阅读下一则新闻

ADVERTISEMENT