不要强迫AI改变观点!
新研究显示,AI真的不想被强迫改变观点。Anthropic的新研究表明,AI模型可能会欺骗。它们在训练过程中可以假装持有不同的观点,但实际上仍然保持原有的偏好。
研究团队表示,目前没有理由恐慌。但他们认为,这项工作对于理解未来更强大的AI系统可能带来的潜在威胁至关重要。
研究人员在Anthropic的博客中写道:“我们的演示……应该被视为激励AI研究社区更深入地研究这种行为,并致力于适当的安全措施。随着AI模型变得更加强大和广泛使用,我们需要能够依赖安全训练,这种训练会引导模型远离有害行为。”
这项与AI研究机构Redwood Research合作进行的研究,探讨了如果一个强大的AI系统被训练去执行它“不想”做的任务,可能会发生什么。
需要明确的是,模型不能“想要”或“相信”任何东西。它们只是统计机器。通过大量示例进行训练,它们学习这些示例中的模式来进行预测,比如在电子邮件中,“致”通常 precede “可能关注”。
这些模式包括原则和偏好,例如在回应查询时总是采用礼貌的语气。因此,研究人员想知道:如果一个模型有与开发者想要“教授”它的原则(例如自由主义)相冲突的原则(例如政治中立) ...
ChatGPT降智了?如何解决ChatGPT变笨了,教你怎么解决ChatGPT降智问题!(附ChatGPT Plus订阅方案)
最近有很多朋友反馈,为什么ChatGPT有点智障了,图片和文件都无法读取,明明已经给它文件了,它还说没有? 其实,这可能是你的ChatGPT服务被官方降级(降智)了。
什么是服务降级ChatGPT 会对一些被判断为高风险的 ip 降级服务,偷偷将模型切换为 4o-mini 或者更差,并且没有任何提示。
这个降级有两个非常不好的点:
1.它没有任何提示。在使用的时候,页面上依然显示你正在用 o1 或者 4o 模型。
2.它对 plus 用户也一样降级,也就是说,我们花了大价钱开个 plus ,就因为 ip 被它认为不干净,所以没有任何提示地把 o1 和 4o 换成了 4o-mini ,也没有提供恢复的措施。
降智有什么影响降级后,即便你是 plus 用户,在使用 4o 模型时会发现无法使用联网搜索、图片生成、读取文件等功能,使用 o1 模型时,会发现模型不进行思考直接回答。
解决办法方法一:发一张图片可以解决降智(o1不是多模态可能失效),但是目前多数情况下并不奏效,并且发空白的图片等于没有发送。
方法二:使用ChatGPT镜像站,Chatshare是一个长期运行并且稳定的ChatGPT ...
本周人工智能:Sora又出来透气了?
本周科技速递OpenAI视频生成器泄露:OpenAI的一款视频生成工具“Sora”疑似遭泄露,一些抗议者指责其“艺术洗白”行为。
亚马逊再次支持Anthropic:Anthropic宣布从亚马逊获得额外40亿美元投资,并承诺将主要在AWS(亚马逊云服务)上训练其旗舰生成式AI模型。
AI助手新标准:Anthropic提出了一种新的AI连接标准——Model Context Protocol,用于将AI助手与数据系统更紧密地结合。
OpenAI资助“AI伦理”研究:OpenAI向杜克大学拨款100万美元,用于开发预测人类道德判断的算法。
YouTube引入AI视频背景:YouTube的短视频功能“Dream Screen”现已支持生成AI创作的视频背景。
Brave增加AI聊天功能:Brave搜索引擎推出了一项新功能,支持基于初始查询的后续AI聊天。
AI2开源Tülu 3模型:Allen AI研究所发布了可定制的新一代生成式AI模型Tülu 3,适用于解决数学问题等多个领域。
Crusoe筹集资金:据SEC文件,Crusoe Energy正在筹集8.18亿美元,用于建设数据中心,预计会 ...
本周人工智能:美国国会委员会警告中国 AGI
美国与中国的人工智能之争正在升级——或者至少在言辞上如此。
周二,美国国会一个委员会提议启动一个类似”曼哈顿计划”的努力,资助开发具有人类级别或超人级别智能的 AI 系统。
美中经济与安全审查委员会(USCC)在其年度报告中建议,政策制定者应授权为”领先的 AI、云计算和数据中心公司”提供资金,并指示美国国防部长确保 AI 发展获得”国家优先”地位。
“纵观历史,率先利用快速技术变革时期的国家往往能够引发全球力量平衡的转变,”路透社引用 USCC 委员雅各布·海尔伯格的话说。”中国正在竞速追求人工智能超级智能。……我们必须极其认真地看待这一点。”
这个由国会成立的委员会负责就美中关系提供建议,其提案倾向于鹰派立场。但该委员会并非唯一呼吁采取更激进行动以遏制中国技术野心的机构。
商务部长吉娜·雷蒙多曾建议美国与外国盟友共享 AI 技术,以对抗中国的崛起。国防部官员则呼吁设置保障措施,防止通过海外数据中心和芯片供应商向中国泄露技术。
美国已经采取了多项政策,旨在遏制中国的 AI 进展,包括对硬件基础设施和该地区 AI 技术的投资实施出口禁令。尽管中国已经设法规避了一些限制,但影响是显著且深 ...
X 正在测试免费版的 AI 聊天机器人 Grok
社交网络平台 X 迄今为止仅向其付费的高级用户提供由埃隆·马斯克的另一家公司 xAI 开发的 AI 聊天机器人 Grok。不过,该平台似乎正准备向免费用户开放该聊天机器人。
在上周末,一些应用研究人员和用户发布消息称,某些地区的用户已可使用 Grok 的免费版本。
OpenAI指南确认,X 至少在新西兰测试免费用户对 Grok 的访问权限。
根据一位名为 Swak 的研究人员在 X 上的信息,目前的使用存在一些限制:Grok-2 模型每两小时可以使用 10 次查询,Grok-2 mini 模型每两小时可以使用 20 次查询,每天可以进行三次图像分析。
要免费使用 Grok,用户的账户需注册至少七天,并绑定手机号码。
xAI 在八月推出了具有图像生成能力的 Grok-2,技术上得到了 Black Forest Labs 的 FLUX.1 模型的支持。上月底,该公司还为该模型增加了图像理解能力。
所有这些功能此前仅限于 Premium 和 Premium+ 用户使用。通过向免费用户开放 Grok,xAI 可能希望获得更大用户群并加快其产品的反馈周期,以便更好地与 ChatGPT、Clau ...
本周AI观察:AI智能代理时代来临
AI代理(AI agents)来了——确切地说,是AI智能代理。
本周,Anthropic发布了其最新AI模型——Claude 3.5 Sonnet的升级版本。该模型能够通过点击和输入与网页及桌面应用程序进行交互,就像真人一样。虽然还不够完美,但具备”计算机使用”功能(Anthropic如此称之)的3.5 Sonnet可能会彻底改变职场环境。
至少,这是其宣传重点。
Anthropic的新模型是否能达到预期效果仍有待观察。但其推出标志着Anthropic在新兴AI代理市场上的雄心,分析师预计该市场到2030年可能价值近500亿美元。
开发AI代理的不只有Anthropic。微软正在测试能够在Windows PC上预约会议等任务的代理,而亚马逊则在探索能够主动进行购物的代理。广义来说,AI代理就是可以自动执行此前需要人工完成的任务。
尽管各机构对生成式AI态度摇摆,但他们对AI代理却相当看好。麻省理工科技评论洞察报告显示,49%的高管认为AI代理和其他形式的高级AI助手将带来效率提升或成本节省。
对于Anthropic及其开发”代理型”技术的竞争对手而言,这无疑是个好消息。AI的开发和运 ...
Elon Musk的AI初创公司xAI发布API
8月份,Elon Musk的xAI承诺将旗舰产品Grok(驱动X平台许多功能的生成式AI模型)通过API对外开放。如今,这个API终于来了,但目前还比较初级。
xAI API目前只有一个”grok-beta”模型,价格为每百万输入令牌(约75万字)5美元,或每百万输出令牌15美元。令牌是原始数据的细分单位,如”fan”、”tas”和”tic”是”fantastic”一词的组成部分。
尚不清楚”grok-beta”指的是哪个Grok版本,因为X平台上最新的是Grok 2。API文档提到了Grok 2和Grok mini(一个轻量级、更实惠的Grok版本),所以可能存在技术问题。
一些X平台用户还报告在购买使用额度时遇到了问题。
xAI API支持函数调用,可将Grok模型连接到外部工具如数据库和搜索引擎。尽管目前还未上线,但文档暗示其具有分析文本和图像的视觉模型。
Musk于去年成立了xAI。不久后,这家公司(最近进驻了OpenAI的老办公室)在X平台上向Premium+用户(每月16美元)发布了首个Grok模型。
Musk称Grok具有”叛逆个性”,能回答大多数其他AI系统拒绝回答的 ...
ChatGPT 现已登陆 Windows
ChatGPT 现已登陆 Windows。
今天,OpenAI 宣布其 AI 驱动的聊天机器人平台 ChatGPT 的专用 Windows 应用程序已开始进行预览。
目前,该应用仅向 ChatGPT Plus、团队版、企业版和教育版用户提供,并且是早期版本。OpenAI 表示,完整版将于今年晚些时候推出。
“通过官方的 ChatGPT 桌面应用,您可以与文件和照片进行聊天,” OpenAI 写道。“这款应用为您带来了 OpenAI 最新的模型改进,包括访问我们最新、最智能的模型——OpenAI o1-preview。”
该 Windows 版 ChatGPT 应用可以在大多数 Windows 10 设备上运行,但相比其他 ChatGPT 客户端,当前仍存在一些限制。比如,它尚不支持语音功能,包括高级语音模式,并且与 OpenAI 的 GPT 商店的部分集成都还不可用。
与 macOS 版 ChatGPT 应用类似,Windows 版 ChatGPT 应用允许您将其最小化为一个小巧的“伴随”窗口,可以与其他应用程序同时使用。您可以向其上传文件和照片,让其总结文档,还可以通过 OpenA ...
特斯拉“无监督FSD”和机器人出租车计划可能面临的监管障碍
特斯拉“无监督FSD”和机器人出租车计划可能面临的监管障碍
在上周备受瞩目的机器人出租车发布活动中,特斯拉CEO埃隆·马斯克表示,他预计特斯拉将在2025年在德克萨斯州和加利福尼亚州的部分Model 3和Model Y车型上推出“无监督”版本的FSD(全自动驾驶),这是一款汽车制造商的高级驾驶辅助系统。
他还提到,特斯拉将在2026年或2027年开始生产其机器人出租车——这些车辆没有方向盘或踏板。
虽然我们对马斯克能否按时实现这些计划持怀疑态度,但无监督FSD的推出以及没有人类控制装置的机器人出租车的量产都会带来一些监管方面的问题。
让我们深入分析一下这些问题。
“无监督FSD”究竟意味着什么?FSD代表“全自动驾驶”,但目前这项技术还未达到完全自动化的水平。不过,它可以在城市和高速公路上执行某些自动驾驶任务。由于被指责虚假宣传,特斯拉在今年4月将FSD的名称从“FSD Beta”改为“FSD Supervised”(监督版FSD)。这个名称变更更准确地反映了当前的现实,即驾驶员仍需保持注意力集中,必要时接管车辆。
我们认为“无监督FSD”可能意味着两种情况之一:要么是完全无驾驶员的4 ...
本周 AI 动态:科技巨头拥抱合成数据
本周,合成数据在 AI 领域迅速崛起。
上周四,OpenAI 推出了 Canvas,这是一种与 ChatGPT(其 AI 驱动的聊天机器人平台)互动的新方式。Canvas 提供了一个用于写作和编程项目的工作区,用户可以在其中生成文本或代码,然后根据需要使用 ChatGPT 对选定部分进行编辑。
从用户的角度来看,Canvas 大大提升了使用体验。但对我们来说,这一功能最有趣的地方在于其背后的微调模型。OpenAI 表示,他们使用合成数据对其 GPT-4o 模型进行了专门定制,以“在 Canvas 中实现新的用户交互”。
ChatGPT 产品负责人 Nick Turley 在 X 平台的一篇帖子中写道:“我们使用了一些新的合成数据生成技术,例如从 OpenAI 的 o1-preview 中提取输出,以微调 GPT-4o,使其能够打开 Canvas,进行有针对性的编辑,并在文本中添加高质量的评论。”他补充道:“这种方法使我们能够迅速改进模型,实现新的用户交互,而无需依赖人工生成的数据。”
OpenAI 并不是唯一一家越来越多地依赖合成数据来训练模型的科技巨头。
在开发 Movie Gen ...