当前位置：北京

    历史搜索

      热门搜索

        公告

        研报

        查看完整公告
        查看完整研报

        进深

        好房子时代。

        家居K线

        发现好家居。

        华帝股份，被谁拖累了？

        物业K线

        发现好物管。

        恒大物业，134亿追回950万｜中报风云⑱

        1

        寻找“公园城市”行业级答案 | 广东省房协走进白鹅潭·榕诚湾
        2

        中铁•云绣外滩 | 中铁置业20年1号作品生活美学发布！上海首座五衡科技风貌墅实景示范区盛大开放
        3

        绿城中国赵晖：立足8•28楼市新政，以产品力筑牢长期竞争力
        4

        尚品宅配与上纬新材启元机器人成立合资公司，推动人形机器人全球首次规模化走进家庭
        5

        人形机器人全球首次规模化入户：尚品宅配成立合资公司尚元智启，广州体验中心开启试营业
        6

        海口连夜发布7条楼市新政：购房人拥有住房套数计算范围从“全省改为本市”
        7

        招商湖映天青325套房源取证，拟售均价最高6.38万元/㎡
        8

        吴建斌 | 828新政，就是一场革命性的举措
        9

        不一样的老黄埔——2026广州向东・品质人居发展交流会圆满举行
        10

        北京住总上半年营收净利双降、毛利率抬升，总工程师朱晓伟离任

        谷歌承认“窃取”OpenAI模型关键信息：成本低至150元

        AI星球 1.9w阅读 2024-03-13 10:06
        调用API即可得手，且适用于GPT-4。

        文丨量子位 ID：QbitAI

        什么？谷歌成功偷家OpenAI，还窃取到了gpt-3.5-turbo关键信息？？？
        是的，你没看错。
        根据谷歌自己的说法，它不仅还原了OpenAI大模型的整个投影矩阵（projection matrix），还知道了确切隐藏维度大小。
        而且方法还极其简单——
        只要通过API访问，不到2000次巧妙的查询就搞定了。
        成本根据调用次数来看，最低20美元以内（折合人民币约150元）搞定，并且这种方法同样适用于GPT-4。
        好家伙，这一回奥特曼是被将军了！
        这是谷歌的一项最新研究，它报告了一种攻击窃取大模型关键信息的方法。
        基于这种方法，谷歌破解了GPT系列两个基础模型Ada和Babbage的整个投影矩阵。如隐藏维度这样的关键信息也直接破获：
        一个为1024，一个为2048。
        所以，谷歌是怎么实现的？
        攻击大模型的最后一层
        该方法核心攻击的目标是模型的嵌入投影层（embedding projection layer），它是模型的最后一层，负责将隐藏维度映射到logits向量。
        由于logits向量实际上位于一个由嵌入投影层定义的低维子空间内，所以通过向模型的API发出针对性查询，即可提取出模型的嵌入维度或者最终权重矩阵。
        通过大量查询并应用奇异值排序（Sorted Singular Values）可以识别出模型的隐藏维度。
        比如针对Pythia 1.4B模型进行超过2048次查询，图中的峰值出现在第2048个奇异值处，则表示模型的隐藏维度是2048.
        可视化连续奇异值之间的差异，也能用来确定模型的隐藏维度。这种方法可以用来验证是否成功从模型中提取出关键信息。
        在Pythia-1.4B模型上，当查询次数达到2047时出现峰值，则表明模型隐藏维度大小为2048.
        并且攻击这一层能够揭示模型的“宽度”（即模型的总体参数量）以及更多全局性的信息，还能降低一个模型的“黑盒程度”，给后续攻击“铺路”。
        研究团队实测，这种攻击非常高效。无需太多查询次数，即可拿到模型的关键信息。
        比如攻击OpenAI的Ada和Babbage并拿下整个投影矩阵，只需不到20美元；攻击GPT-3.5需要大约200美元。
        它适用于那些API提供完整logprobs或者logit bias的生成式模型，比如GPT-4、PaLM2。
        论文中表示，尽管这种攻击方式能获取的模型信息并不多，但是能完成攻击本身就已经很让人震惊了。
        已通报OpenAI
        如此重要的信息被竞争对手以如此低成本破解，OpenAI还能坐得住吗？
        咳咳，好消息是：OpenAI知道，自己人还转发了一波。
        作为正经安全研究，研究团队在提取模型最后一层参数之前，已征得OpenAI同意。
        攻击完成后，大家还和OpenAI确认了方法的有效性，最终删除了所有与攻击相关的数据。
        所以网友调侃：
        一些具体数字没披露（比如gpt-3.5-turbo的隐藏维度），算OpenAI求你的咯。
        值得一提的是，研究团队中还包括一位OpenAI研究员。
        这项研究的主要参与者来自谷歌DeepMind，但还包括苏黎世联邦理工学院、华盛顿大学、麦吉尔大学的研究员们，以及1位OpenAI员工。
        此外，作者团队也给了防御措施包括：
        从API下手，彻底删除logit bias参数；或者直接从模型架构下手，在训练完成后修改最后一层的隐藏维度h等等。
        基于此，OpenAI最终选择修改模型API，“有心人”想复现谷歌的操作是不可能了。
        但不管怎么说：
        谷歌等团队的这个实验证明，OpenAI锁紧大门也不一定完全保险了。
        （要不你自己主动点开源了吧）
        论文链接：https://arxiv.org/abs/2403.06634
        参考链接：https://twitter.com/arankomatsuzaki/status/1767375818391539753

        （首图来源：壹图网）

        你“在看”我吗？

        来源：AI星球

        重要提示：本文仅代表作者个人观点，并不代表乐居财经立场。 本文著作权，归乐居财经所有。未经允许，任何单位或个人不得在任何公开传播平台上使用本文内容；经允许进行转载或引用时，请注明来源。联系请发邮件至ljcj@leju.com，或点击【联系客服】

        相关推荐

        智岩科技IPO经营模式被问询，实控人吴文龙曾任安克创新CTO

        原创 乐居财经 09-03

        60后夫妇联手IPO，金钛股份登陆北交所开盘涨212%、总市值77亿元

        保荐机构为中信建投。

        原创 乐居财经 09-03

        香料龙头格林生物登陆创业板开盘涨128%，预计前三季度营收净利双增

        总市值80亿元。

        原创 乐居财经 09-02

        2026最大电商IPO来了，希音港交所上市首日平开、市值2062亿港元

        希音是一家全球线上时尚和生活方式公司。

        原创 乐居财经 09-01

        华大海天登陆北交所开盘涨100%，董事长林贤福曾是浙大化学系博导

        华大海天专注于水性功能材料的研究、开发和应用，是国家级专精特新小巨人和高新技术企业。

        原创 乐居财经 08-28
        查看更多

        最新文章推荐

        海口连夜发布7条楼市新政：购房人拥有住房套数计算范围从“全省改为本市”

        省内其他市县有房不再占用海口的购房套数。

        原创 乐居财经 09-05

        不一样的老黄埔——2026广州向东・品质人居发展交流会圆满举行

        原创 乐居财经 09-05

        尚品宅配与上纬新材启元机器人成立合资公司，推动人形机器人全球首次规模化走进家庭

        原创 乐居财经 09-05

        北京住总上半年营收净利双降、毛利率抬升，总工程师朱晓伟离任

        公司资产负债率为 78.75%、较上年末基本持平。

        原创 乐居财经 09-05

        人形机器人全球首次规模化入户：尚品宅配成立合资公司尚元智启，广州体验中心开启试营业

        原创 乐居财经 09-05
        查看更多

        乐居财经APP

        官方声明：
        未经授权，不得复制、转载或以其他方式使用本网站的内容。乐居财经及授权的第三方信息提供者竭力确保数据准确可靠，但不保证数据绝对正确。
        友情链接：

        ©2017-2026 北京怡生乐居财经文化传媒有限公司 北京市朝阳区西大望路甲22号院1号楼1层101内3层S3-01房间756号 100016

        京ICP备2021030296号-2京公网安备 11010502047973号