微软欲将Windows打造成AI操作系统,推出Copilot+电脑
微软希望将生成式AI带到Windows及其运行的电脑的前沿。
在本周年度Build开发者大会的两场主题演讲中,该公司发布了一系列名为Copilot+的Windows新机型,以及如Recall等生成式AI功能,帮助用户查找过去浏览过的应用、文件和其他内容。Copilot是微软的生成式AI品牌,将很快更加深入地集成到Windows 11体验中。此外,新的微软Surface设备也即将面世。
相关阅读:GPT-4o通过整合文本、音频和视觉实现人性化的AI交互,OpenAI推出了其新的旗舰模型GPT-4o,它无缝整合了文本、音频和视觉输入与输出,有望提高机器交互的自然性。现在Plus用户可以直接使用GPT-4o,关于如何开通Plus,可以使用WildCard平台。
体积应用(Volumetric Apps)
微软正在将Windows体积应用(基本上是具有空间感知的互动VR应用)引入Meta Quest头显。通过与Meta的合作,微软表示将把Windows 365和本地PC连接带到Quest头显上,使开发者能够将他们的应用扩展到3D空间。WildCard也支持Claude, Midjourney, Adobe, Patreon, Midjourney, OF, X等的订阅。
在周二的主题演讲中,微软展示了从Meta Quest 3头显视角看一个Xbox控制器的数字爆炸3D视图——佩戴者可以用手操控这个数字对象。微软Windows和设备部门副总裁Pavan Davuluri在演示中表示:“我们正在加深与Meta的合作,使Windows在Quest设备上成为一流体验。”
开发者可以注册预览版以获取微软新体积API的访问权限。
Copilot+电脑
Copilot+电脑是微软对AI优先、旗舰Windows硬件的愿景。所有这些电脑都配备了名为NPU的专用芯片,以支持Recall等AI体验,并且标配16GB内存和SSD存储。
首批Copilot+电脑将搭载高通的Snapdragon X Elite和Plus芯片,微软声称这些芯片可提供高达15小时的网页浏览和20小时的视频电池续航。芯片制造商英特尔和AMD也承诺与包括宏碁、华硕、戴尔、惠普、联想和三星在内的一系列制造商合作,为Copilot+设备制造处理器。
Copilot+电脑起售价为999美元,部分型号今天即可预购。
Surface Pro和Surface Laptop
微软新发布的Surface设备Surface Laptop和Surface Pro专注于性能和电池续航。
最新的Surface Laptop——提供13.8英寸或15英寸显示屏——采用了“现代线条”重新设计,屏幕边框更窄。它一次充电可持续使用长达22小时,比Surface Laptop 5快了86%。它还支持Wi-Fi 7并配备了触觉反馈触控板。
至于新的Surface Pro,微软表示它比上一代Surface Pro(Surface Pro 9)快了90%,并配备了新的HDR OLED显示屏、Wi-Fi 7(和可选的5G)以及升级的超广角前置摄像头。此外,其可拆卸键盘——经过额外的碳纤维加固——现在也具有触觉反馈。
Recall
即将推出的Windows 11 Recall功能可以“记住”用户几周甚至几个月前在其PC上访问的应用和内容,例如帮助他们找到曾讨论购买衣物的Discord聊天。用户可以使用Recall的时间轴“回滚”查看最近的工作内容,并深入到PowerPoint演示文稿等文件中,以找到可能与他们搜索相关的信息。
微软表示,Recall可以在颜色、图像等之间创建关联,让用户几乎可以用自然语言搜索PC上的任何内容(与初创公司Rewind的技术类似);开发者可以通过向其应用添加上下文信息来改进Recall。微软声称,所有与Recall相关的用户数据都是私密且在设备上的——重要的是,这些数据不会被用于训练AI模型。
微软表示:“您的快照是您的;它们保存在本地PC上。您可以删除单个快照、调整和删除时间范围,或在任何时候通过任务栏系统托盘中的图标暂停。您还可以过滤不想保存的应用和网站。”
图像编辑和实时翻译
Windows中现在的AI功能比以往任何时候都多,其中一些功能仅在新的Copilot+电脑上可用。
一项名为Super Resolution的新功能可以通过自动放大来修复旧照片。Copilot现在还可以分析图像,为用户提供创意构图的建议。通过名为Cocreator的功能,用户可以生成图像,并要求AI模型按照他们的绘图进行修改或重新设计图像。此外,实时字幕和实时翻译功能可以将通过PC传输的任何音频(无论是YouTube还是本地文件)翻译成用户选择的语言。实时翻译最初将支持约40种语言,包括英语、西班牙语、普通话和俄语。
微软Edge浏览器中的一个独立但相关的新功能在LinkedIn、YouTube、Coursera、路透社、CNBC、彭博等网站上提供实时视频翻译。该功能将在不久的将来推出,支持将西班牙语翻译成英语,以及英语翻译成德语、印地语、意大利语、俄语和西班牙语,通过配音和字幕进行实时翻译。
Team Copilot和扩展
Team Copilot是微软不断扩展的生成式AI技术套件的最新扩展。它与公司的视频会议应用Teams集成,帮助管理会议议程并记录会议笔记,会议中的任何人都可以共同撰写笔记。它还扩展到Loop和Planner,微软的协作和计划平台,用于创建和分配任务、跟踪截止日期并在需要团队成员输入时通知他们。
在相关的Copilot新闻中,微软已推出(私密预览版)Copilot扩展,允许开发者使用第三方应用和技能扩展GitHub的代码生成工具GitHub Copilot。启动合作伙伴包括DataStax、Docker和LambdaTest;扩展将存在于GitHub Marketplace中,但开发者也可以创建自己的私人扩展,以与其内部系统和API集成。
Windows Copilot Runtime
支持Recall和Super Resolution等功能的是Windows Copilot Runtime,这是大约40个生成式AI模型的集合,构成了微软所描述的Windows的“新层”。结合语义索引,一个本地于单个Copilot+ PC的基于向量的系统,Windows Copilot Runtime允许生成式AI支持的应用(包括第三方应用)运行,而不一定需要互联网连接。
“[运行时]由现成的AI API组成,如Studio Effects、Live Captions翻译、OCR、用户活动的Recall等,这些将于6月向开发者提供,”Davuluri在周二表示。
微软表示,TikTok母公司字节跳动的流行视频编辑器CapCut将使用Windows Copilot Runtime及其随附的新Windows Copilot库(一组API和AI开发工具)来加速其AI功能。Meta也将在WhatsApp中添加前述的Studio Effects,以提供视频通话中的背景模糊和眼神接触等功能。
升级的机器人构建工具
Azure AI Studio是微软Azure OpenAI服务中的工具集,允许客户结合AI模型并构建能够“推理”这些数据的应用,开发者很快可以使用按需付费的推理API创建应用——开发者可以通过这些API访问和微调托管在Azure基础设施上的生成式AI模型。微软称之为“模型即服务”,并将首先推出来自Nixtla和Core42的模型。
在相邻的Copilot Studio产品套件中,微软推出了Copilot代理,微软将其描述为可以“独立协调特定角色和功能的任务”的AI机器人。 (Copilot Studio提供了将Microsoft 365中的Copilot——如Excel和Word中的AI助手——连接到第三方数据的工具。)利用内存和上下文知识,Copilot代理可以导航各种类型的业务流程,从用户反馈中学习,并在遇到不知如何处理的情况时请求帮助。
Snapdragon开发工具包
高通推出了一款面向为搭载Arm芯片的Copilot+电脑开发应用的开发者的新开发工具包。
售价899.99美元的Snapdragon开发工具包——尺寸与苹果的Mac Mini相似——搭载高通的Snapdragon X Elite芯片,配备32GB内存、512GB存储和大量I/O接口。该开发工具包支持Wi-Fi 7和蓝牙5.4,并且通过各种USB-C和HDMI端口可以同时驱动多达三个4K显示器。
Phi-3
微软宣布其生成式AI模型家族Phi的新成员Phi-3-vision,可以执行一般的视觉分析和推理任务,如回答有关图表和图像的问题。该模型可以读取文本和图像,并且高效到可以在移动设备上运行。
Phi-3-vision目前处于预览阶段,而之前宣布的仅文本版本——Phi-3-mini、Phi-3-small和Phi-3-medium——现在已普遍可用。
与可汗学院的合作
微软与可汗学院合作,捐赠云计算基础设施的使用权,使可汗学院能够为美国的教育工作者免费提供其AI驱动的工具。两家公司还将合作探索通过生成式AI改进数学辅导AI应用的机会,微软在周二表示。