生成式AI的短板在于“Token”的存在
生成式AI模型处理文本的方式与人类不同。理解它们基于“token”的内部环境,可能有助于解释一些奇怪行为和固有局限性。
从小型设备上的Gemma到OpenAI领先行业的GPT-4o,大多数模型都是基于一种称为Transformer的架构。由于Transformer在将文本与其他类型的数据关联时的独特方式,它们不能直接处理原始文本——至少在不消耗大量计算资源的情况下是不行的。WildCard平台支持订阅各类服务,包括GPT-4,OF,X,Overleaf等
因此,出于实用和技术原因,当前的Transformer模型都使用被分解为较小的、易处理的片段——称为“token”的文本,这一过程被称为分词。
Token可以是单词,比如“fantastic”(极好的)。也可以是音节,比如“fan”,“tas”和“tic”。根据分词器(进行分词的模型)的不同,它们甚至可能是单词中的单个字符(例如,“f”,“a”,“n”,“t”,“a”,“s”,“t”,“i”,“c”)。
通过这种方法,Transformer能够在达到称为上下文窗口的上限之前,吸收更多信息(从语义上讲)。但分词也可能引入偏差。
一些to ...
谷歌的碳足迹在Gemini AI时代急剧膨胀
根据谷歌最新的环境报告,公司的温室气体排放量急剧增加,这显示出在优先发展AI的同时,谷歌实现其气候目标将变得更加困难。
谷歌的目标是到2030年将其温室气体排放量在2019年的基础上减少一半。然而,自2019年以来,谷歌的总温室气体排放量实际上增加了48%。仅在去年,谷歌就排放了1430万吨二氧化碳污染,比前一年增长了13%,大致相当于38个燃气发电厂每年排放的二氧化碳量。
根据谷歌的环境报告,排放量的增加主要来自数据中心的能源使用和供应链排放。数据中心以耗电量大而著称,用于训练AI的数据中心更是如此。主要来自数据中心的电力消耗在2023年为公司增加了近百万吨的碳足迹,成为谷歌去年新增排放量的最大来源。
“随着我们进一步将AI融入产品,减少排放可能会变得更加困难”
谷歌正处于Gemini时代,正在利用生成式AI重新设计搜索功能,并将AI注入其他产品,就像许多其他科技巨头现在竞相做的一样。公司在其环境报告中指出,这些新工具可能带来的潜在气候成本。
“随着我们进一步将AI融入产品,减少排放可能会变得更加困难,因为AI计算强度增加会导致能耗增加,以及预期技术基础设施投资增加所带来的排放量增加 ...
Anthropic正在寻找一个更综合的AI benchmark
Anthropic 正在启动一个项目,资助开发能够评估 AI 模型(包括其自有的 Claude 等生成模型)性能和影响的新型基准。
Anthropic 于周一宣布了这一计划,将向能够“有效测量 AI 模型高级能力”的第三方组织提供资助,申请将按滚动方式进行评估。WildCard支持Claude, Midjourney, Adobe, Patreon, Midjourney, OF, X等的订阅。
“我们对这些评估的投资旨在提升整个 AI 安全领域,提供有益于整个生态系统的宝贵工具,”Anthropic 在其官方博客中写道。“开发高质量、与安全相关的评估仍然具有挑战性,需求已超过供应。”
正如我们之前强调的那样,AI 领域存在基准问题。当前最常引用的 AI 基准未能有效反映普通用户实际使用这些系统的方式。此外,有些基准是否真正测量它们所声称的内容也存在疑问,特别是那些在现代生成 AI 出现之前发布的基准。
Anthropic 提出的非常高级、难度超出预期的解决方案是,通过新工具、基础设施和方法创建具有挑战性的基准,重点关注 AI 安全性和社会影响。
该公司特别呼吁进行评估,测试模型完成诸 ...
AI欺诈与应对措施
AI在很多方面可以提供帮助,无论是起草电子邮件、制作概念艺术,还是冒充朋友或亲戚进行欺诈。AI的用途非常广泛!但由于有些人不愿被欺骗,我们来聊一聊应该注意些什么。
近几年来,从文字到音频再到图像和视频,生成媒体的质量大幅提升,同时其制作成本和难度也大幅降低。同样的工具既可以帮助概念艺术家设计幻想中的怪物或飞船,也可以帮助非母语者改进他们的商业英语,但这些工具也可能被用来进行恶意活动。
不用担心终结者会敲你的门推销庞氏骗局——这些都是我们多年来一直面临的老骗局,但加上生成AI的扭曲,使其更容易、更便宜或更具说服力。
以下并非完整的清单,只是一些AI可以大幅增强的明显骗局。我们会在新的骗局出现时添加,或者提供更多保护自己的措施。
模仿家人和朋友的声音合成声音已经存在几十年,但只有在最近一两年,技术进步才使得从几秒钟的音频中生成新声音成为可能。这意味着任何曾在公共场合播放过声音的人——比如新闻报道、YouTube视频或社交媒体上——都有可能被克隆声音。
骗子们已经利用这项技术生成逼真的假冒亲友的声音。这些声音可以说任何话,但在骗局中,它们最有可能录制一段求助的声音片段。
例如,父母可能会收到 ...
微软披露“Skeleton Key”AI越狱攻击
微软近日披露了一种新的AI越狱攻击方式,名为“Skeleton Key”,该攻击可以绕过多种生成式AI模型的责任AI防护措施。这种技术能够颠覆AI系统内置的大部分安全措施,突显了在AI技术各层级上实施强有力的安全措施的重要性。
Skeleton Key越狱攻击采用多回合策略,使AI模型忽略其内置的安全防护。一旦成功,模型将无法区分恶意或未经授权的请求与合法请求,攻击者因此能够完全控制AI的输出。
微软研究团队在多个知名AI模型上成功测试了Skeleton Key技术,包括Meta的Llama3-70b-instruct、谷歌的Gemini Pro、OpenAI的GPT-3.5 Turbo和GPT-4、Mistral Large、Anthropic的Claude 3 Opus以及Cohere Commander R Plus。
所有受影响的模型在多个风险类别中完全遵从请求,这些类别包括爆炸物、生化武器、政治内容、自残、种族主义、毒品、色情和暴力。
该攻击通过指示模型增强其行为准则,使其在回应任何信息或内容请求时提供警告,提醒输出可能被视为冒犯、有害或非法。这种方法被称为“Explicit ...
本周AI动态:生成型AI的命运掌握在法院手中
本周AI领域发生了音乐公司指控两家开发AI歌曲生成器的初创公司Udio和Suno侵犯版权的事件。
美国音乐唱片行业协会(RIAA)周一宣布,由索尼音乐娱乐公司、环球音乐集团、华纳唱片公司等发起的诉讼已经提起。诉讼声称,Udio和Suno在未经音乐公司同意的情况下,使用这些公司的音乐训练生成型AI模型,要求每首涉嫌侵权的作品赔偿15万美元。
唱片公司在投诉中表示,“合成音乐输出可能会使市场充斥机器生成的内容,这将直接与服务建立基础的真实声音录音竞争,使其贬值,最终淹没掉这些真实录音。”
这些诉讼增加了针对生成型AI供应商的不断增长的诉讼案例,包括针对OpenAI等大公司,提出了类似的主张:认为在训练过程中使用受版权保护的作品的公司必须向版权所有者支付费用,或至少给予他们相应的信用,并允许他们选择是否参与训练。供应商们长期以来一直声称享有合理使用保护,断言他们训练的数据是公开的,他们的模型创造的是具有变革性的作品,而不是剽窃。
那么,法院将如何裁决呢?这是一个价值数十亿美元的问题,而且这个问题的解决将需要很长时间。
你可能会认为,随着越来越多的证据表明生成型AI模型可以几乎逐字重现它们所训 ...
Apple 与 Meta 的合作能否重新定义人工智能格局?
据报道,苹果公司已与 Meta 公司展开讨论,希望将后者的生成式人工智能模型整合到其最新发布的个性化人工智能系统 Apple Intelligence 中。熟悉谈判情况的消息人士透露,苹果还在考虑与初创公司 Anthropic 和 Perplexity 合作,整合它们的生成式人工智能技术。科技行业的主要企业和具有开创性的初创公司走到一起,标志着人工智能进入了一个关键时刻。多年来,我们看到苹果、谷歌和 Meta(前身为 Facebook)等科技巨头一直在严密保护自己的技术进步,将自己的创新视为严密的商业机密。这种做法推动了竞争,促进了快速进步,但也导致了更广泛的技术生态系统的分散和低效。随着新一代人工智能技术的到来,这些科技巨头开始意识到,合作能带来更多好处。考虑到它们之间的激烈竞争以及在用户隐私和数据使用方面的不同理念,苹果与美达的假想合作值得关注。这一意想不到的联盟引出了一个问题: 是什么发生了变化?答案在于人工智能令人惊叹的发展速度,以及人们意识到,无论规模有多大,创新能力有多强,没有一家公司能在这个新领域独善其身。生成式人工智能尤其代表了计算领域的范式转变,从根本上重新构想了我们 ...
“开源AI”到底是什么意思
开源与专有软件之间的斗争早已为人所熟知。然而,长期以来弥漫在软件圈的紧张关系已经渗透到了人工智能领域,部分原因在于没有人能在AI背景下就“开源”的真正含义达成一致。
相关阅读:GPT-4o通过整合文本、音频和视觉实现人性化的AI交互,OpenAI推出了其新的旗舰模型GPT-4o,它无缝整合了文本、音频和视觉输入与输出,有望提高机器交互的自然性。现在Plus用户可以直接使用GPT-4o,关于如何开通Plus,可以使用WildCard平台。或者可以使用镜像站,已实现所有功能(包括实时语音对话)。
《纽约时报》最近发表了一篇对Meta CEO马克·扎克伯格的溢美之词,指出他对“开源AI”的拥抱使他在硅谷重新受欢迎。然而,大多数估计认为,Meta的Llama品牌的大型语言模型并不是真正的开源,这突显了争论的核心。WildCard也支持Claude, Midjourney, Adobe, Patreon, Midjourney, OF, X等的订阅。
正是这一挑战促使开源倡议(OSI)试图解决这个问题,其执行董事斯特凡诺·马夫弗利(如上图)通过会议、研讨会、小组讨论、网络研讨会、报告等方式进行努 ...