AI与边缘设备，光子芯片，AI规划能力，自然语言驱动的AI游戏

1 Archetype AI 发布了一个创新的人工智能平台 —— Newton

这是一个专门为理解物理世界设计的基础模型。

Newton 设计用于连接实时物理数据，其数据源是全球数十亿传感器的输入，实现了对物理现实的直接解读。

利用从各种传感器（如加速度计、陀螺仪、雷达、摄像头、麦克风等）收集的数据，结合自然语言，以新的方式解锁对物理世界的见解。

其强大的数据处理和多模态整合能力，Newton 可以应用于建筑、汽车、制造等多个行业。

Newton 允许在设备、车辆或机器上部署边缘模型，这些小型模型能够在计算和功率限制条件下执行特定的任务。

这种能力使得 Newton 不仅适用于云计算环境，也适合于需要快速、本地化决策的应用场景。

安全与安防：在建筑工地上通过持续监控来提高安全性，并即时警报潜在危险。

空间计算：使智能家居通过自然语言和手势与设备无缝交互，根据用户的存在、注意力和偏好自动执行任务。

诊断与预防性维护：在工厂和仓库提高自动化和机器人系统的可靠性，实时检测异常，优化性能并最小化停机时间。

数据总结：从可穿戴设备、智能手机和家用设备生成关于健康状况的综合报告，为医疗决策提供定期总结。

2 清华大学设计出了通用人工智能光子芯片：太极芯片

清华大学电子工程系卢芳副教授和自动化系戴琼海教授团队设计出一种基于光子技术而非传统电子晶体管的革命性人工智能（AI）芯片。

Taichi 使用集成的衍射干涉混合设计，通过光子学元件在芯片上直接处理数据。这种设计减少了电子数据传输过程中的能耗，提高了计算速度和能效。

光子计算架构：通过光子学元件在芯片上直接处理数据。这种设计减少了电子数据传输过程中的能耗，提高了计算速度和能效。

：Taichi光子芯片可以在不同的光学路径上同时传输和处理多个数据流，实现高并行计算。

：光子网络内部连接密集，每个光学元件可以与多个其他元件连接，提供了复杂的网络拓扑结构，这对于执行深度学习等算法非常有利。

光学神经网络

：在人工神经网络中，神经元是基本的计算单元。

Taichi通过高度集成的光子网络，在芯片上模拟出相当于十亿个神经元的计算能力。这意味着它可以同时处理大量的数据点，执行复杂的人工智能算法。

：Taichi芯片通过达到超十亿神经元的规模，突破了之前光子计算和AI芯片的规模限制，为构建更大更复杂的神经网络模型提供了基础。

：Taichi的高效能和复杂数据处理能力使其适用于现实世界应用，如自动驾驶、智能制造和高级机器人。

：Taichi芯片的成功展示了利用光子技术构建下一代高效AI芯片的可行路径，预示着光子计算技术在未来AI硬件中的关键角色。

3 Rewind推出可穿戴AI设备：Limitless吊坠 续航100小时 记录你整天内容

它能全天候的记录你和他人的所有对话内容，并且具有记忆功能。

然后你可以通过长按来激活个性化AI进行互动，回顾询问它记住的关于你的所有信息。

：Pendant 设计轻巧，采用耐用的铝合金材料，外形时尚，便于携带。

：设备拥有高达100小时的电池寿命，无需频繁充电。

：提供清晰的音频记录功能，同时具备防水性能，适用于各种环境。

：Pendant 能够记录日常会议、即兴对话等，并通过配套的应用程序方便地回放。

：通过长按设备，用户可以随时查询个性化AI，获取所需信息或帮助。

Pendant的预售价格为99美元，这一价格为有限时间提供。

用户可以选择订阅Limitless Pro，以每月19美元的价格获得无限的AI功能。

4 吴恩达谈AI的规划能力

他聊起了之前的一次经历，曾经多次私下测试过这个智能体,在测试过程中,它始终使用网络搜索工具来收集信息并写出总结。但在现场演示中,Web搜索API意外地返回了一个速率限制错误。我以为我的演示即将公开失败,我害怕接下来会发生什么。令我惊讶的是,智能体灵活地转向了维基百科搜索工具——我已经忘记我给它提供了这个工具——并使用维基百科而不是网络搜索完成了任务。这对我来说是一个令人惊讶的AI主动式时刻。

如果我们要求一个智能体对给定的主题进行在线研究,我们可以使用LLM将目标分解为更小的子任务,例如研究特定的子主题、综合调查结果以及编写报告。

我们使用大型语言模型(LLM)来自主决定执行什么样的步骤序列来完成一个更大的任务，这就是大模型的规划能力的体现。

许多主动式工作流不需要规划。例如,你可能让智能体对其输出进行固定次数的反思和改进。

在这种情况下,智能体采取的步骤序列是固定的和确定的。但对于那些你无法事先将任务分解为一组步骤的复杂任务,规划允许智能体动态地决定要采取什么步骤。

一方面,规划是一个非常强大的能力;另一方面,它会导致不太可预测的结果。

根据我的经验,虽然我可以让反思和工具使用这两个主动式设计模式可靠地工作并提高我的应用程序的性能,

但规划是一项不太成熟的技术,我发现很难提前预测它会做什么。

这项能力未来逐步提高

5 有趣AI产品

SuperMemory：构建你自己的第二大脑，书签的ChatGPT

介绍一下它的理念和功能

 AI面试官

该工具可以为用户描述的职位创建个性化的面试准备路线图，并使用人工智能进行面试练习，用户可以针对包括面试的形式、个性化程度以及自动化程度进行调整。

https://interviewwith.ai/

Grimo AI

https://go.grimo.ai/

Grimo AI 是一个尖端的知识引擎，它将 Obsidian、GitHub 和 Quora 的优点结合到一个产品中。

使用 Grimo AI，用户可以在一个地方构建、搜索和组织知识，通过强大的模糊搜索将社区共享的见解直接分叉到存储库中，

导入并提炼来自 YouTube 和 Twitter 的内容，并享受极简主义的纯文本体验，专为实现终极生产力而设计

Open Agent Studio

Open Agent Studio 是一款桌面应用程序，旨在解决当前RPA（机器人流程自动化）工具中存在的基本障碍。

该产品提供了一些新颖的功能和技术突破，包括引入了强大的新型RPA概念，如“语义目标”；

Agent Recorder 可记录鼠标点击/移动和按键操作，以便使用准确的语义目标重新构建自动化图形；

Live Agents 可以自动化常见流程，并根据屏幕上下文智能地建议自动化任务；

Prompt To No-Code Graph 可以将开放式自动化提示转换为自定义无代码图形等。

此外，Open Agent Studio 还介绍了一些关键的技术突破，包括语义目标的使用、自己的多模态模型Atlas-2、与浏览器的Websocket服务器集成等。

https://www.openagent.studio

5 斯坦福大学人工智能中心发布2024 年人工智能指数报告

https://aiindex.stanford.edu/wp-content/uploads/2024/04/HAI_AI-Index-Report-2024.pdf

1. 人工智能在某些任务上超过了人类,但并非在所有任务上都如此;

2. 业界继续主导前沿人工智能研究;

3. 前沿模型变得更加昂贵;

4. 美国在顶级人工智能模型方面领先于中国、欧盟和英国;

5. 严重缺乏对大型语言模型(LLM)责任的稳健和标准化评估;

6. 生成式人工智能投资飙升;

7. 数据显示:人工智能提高了员工的生产力,并带来了更高质量的工作;

8. 科学进步进一步加速,这要归功于人工智能;

9. 美国人工智能法规数量大幅增加;

10. 全球人们更加意识到人工智能的潜在影响,也更加忧虑。

6 25 家早期创业公司的名单：公司员工数量不超过 50 人

7 Sam Altman & Brad Lightcap 最新专访：哪些公司会被 OpenAI 碾压？

Sam Altman 强调了两种建立在 AI 基础上的策略，一种是假设 AI 模型的性能不会有显著提升，

另一种则是押注于模型将持续改进。

他认为，尽管许多初创企业选择了前者，但世界上 95% 的人应该相信后者，即 AI 将持续进步。

他的信念源自于深度学习的显著效果以及模型随规模扩大而提升的性能。这种信念不仅推动了 OpenAI 的成立，也成为了他们使命的核心。

8 对话 MiniMax 闫俊杰：AGI 不是大杀器，是普通人每天用的产品

https://mp.weixin.qq.com/s/OXunu2wnNQv66rZIZLnW7g

9 Poe 推出了3.0版本，其中增添了新的机器人功能，包括 RPG 角色扮演选择游戏 

https://poe.com/

10 波士顿动力公司最新 Atlas 机器人

一款专为实际应用设计的全电动 Atlas 机器人。

新的 Atlas 建立在数十年的研究基础之上,进一步践行我们的承诺,即提供能力最强、最实用的移动机器人,解决当今工业界最棘手的挑战:通过 Spot、Stretch,现在还有 Atlas。

11 Stable Diffusion 3和 Stable Diffusion 3 Turbo API 发布

https://bit.ly/3W43FjY

12 让玩家全程掌控游戏：自然语言指令驱动的游戏引擎到来了

对于每一位热爱打游戏的人而言，都曾经想过这样一个问题，「这游戏要是我来做就好了！」可惜的是，游戏开发有很高的门槛，需要专业的编程技巧。

近日，来自上海交大的团队开展了一个名为「Instruction-Driven Game Engine, IDGE」的项目，

他们针对未来游戏的开发，提出了一个酷炫的新范式：利用自然语言指令开发游戏，玩家说怎么玩就怎么玩，

让 UGC 贯穿于游戏的每个角落。IDGE 顾名思义，是一个指令驱动型的新概念「游戏引擎」，

它能够支持用户输入对游戏规则的自然语言描述，来自动生成一个「玩家专属」的游戏。

让玩家全程掌控游戏：自然语言指令驱动的游戏引擎到来了

13 钉钉上线AI助理市场，200+AI助理覆盖办公、生活与娱乐场景

钉钉正式上线AI助理市场（AI Agent Store），首批将推出超过200个AI助理，覆盖企业服务、行业应用、效率工具、

财税法务、教育学习、生活娱乐等类目，用友、携程商旅、墨见Molook等各领域SaaS企业已上架AI助理，加入钉钉AI生态。

14 NeuBird家初创公司

专注于生成式AI解决方案，旨在帮助工程师更快解决复杂云环境中的问题。

公司由Goutham Rao和Vinod Jayaraman创立，这两位创始人此前创办的Portworx被PureStorage以3.7亿美元收购。NeuBird最近宣布获得Mayfield的2200万美元投资，用于将其产品推向市场。这笔资金将帮助公司开发数字助理，协助SRE和IT运维工程师快速诊断和解决问题，从而将事件响应时间从小时缩短到分钟。

公司官网：https://neubird.ai/

15 吴恩达分享多智能体协作:构建复杂 AI 应用的新范式

多智能体协作已成为一种关键的 AI 代理设计模式。面对像编写软件这样复杂的任务,多智能体方法会将任务分解为由不同角色执行的子任务——

比如软件工程师、产品经理、设计师、QA(质量保证)工程师等等——让不同的智能体完成不同的子任务

在许多公司,管理者通常决定雇用什么角色,然后如何将复杂的项目(如编写大型软件或准备研究报告)分解为更小的任务,分配给具有不同专业知识的员工。使用多个智能体是类似的。每个智能体实现自己的工作流,有自己的记忆(这本身就是一个在代理技术中快速发展的领域——智能体如何记住足够多的过去交互以便在即将到来的交互中表现更好?),并可能请求其他智能体寻求帮助。智能体本身也可以参与规划和工具使用。这导致智能体之间 LLM 调用和消息传递的喧嚣,可能导致非常复杂的工作流程。

虽然管理人很难,但这是一个足够熟悉的概念,它为我们提供了一个思考框架,关于如何"雇用"AI 智能体并为其分配任务。幸运的是,管理不善一个 AI 智能体造成的损害远低于管理不善人类

新兴的框架如 AutoGen、Crew AI 和 LangGraph,提供了丰富的方法来构建多智能体解决问题的方案。

如果你有兴趣尝试一个有趣的多智能体系统,也可以查看 ChatDev,这是一组运行虚拟软件公司的智能体的开源实现。

https://deeplearning.ai/the-batch/issue-245/

16 Zuck在Dwarkesh的采访中谈AI：从现在开始，进展将是渐进式的

AI寒冬已至。Zuck是一个现实主义者,他认为从现在开始,进展将是渐进式的。2025年前不会有通用人工智能(AGI)出现。

 能源 - Zuck对支持计算增长所需的现实世界增长持悲观态度。与此同时,过去十年来,单位能耗的原始计算能力每2年翻一番。Jensen也意识到了这一点,很难相信他没有想到一些前进的道路,在那里他必须继续这个坡度。

能效(包括算法和其他方面)显然是各公司将关注的领域。与此同时,Zuck 计划很快停止使用英伟达芯片,基本上认为拥有最先进计算集群份额的 AI 价值将下降。

从根本上说,Zuck

不相信模型,即AI本身,会成为产品。

产品是背景、每个用户的友谊网络图、审核、记忆、基础设施。

这使他可以自由发布开源模型,因为他已经完成了面向用户的其余部分。

一个真正的AGI

一个小模型长期学习并陪伴用户

同时保持自己的状态

有一套它能做什么或不能做什么的规则

而不是频繁地从中央服务器更新

这对Meta的业务将是不利的

会导致他们重新评估自己正在做的事情

17 Meta Jason Liu分享：对规划代理的三步思考

https://youtube.com/watch?v=W31UMLHcqc4…

1. 使用推荐系统,根据请求预测必要的工具。

2. 基于请求、检索到的工具及其描述,生成执行计划(有向无环图DAG)。通过对话反复优化计划。

3. 微调模型,使其能够根据输入和工具预测最终计划,使用成功运行的计划示例,并根据需要实现单个边。

4. 目标是创建一个独立于确定性执行的概率性计划构建过程,生成用于检索和少样本示例的产物,最终实现单次输出预测。

这个三步流程的核心思想是:首先通过推荐系统智能选择合适的工具,然后生成初步的执行计划,通过与用户的交互对话来迭代优化计划。

在积累了足够的成功执行计划样本后,就可以训练机器学习模型来根据输入直接预测最优的执行计划,实现端到端的自动化。

这种方法把计划的生成和执行解耦,利用检索和少样本学习等技术,最终达到单次预测输出的目标。

18 史上首次！AI驾驶战机成功与人类飞行员空中「狗斗」

AI 操纵的战斗机又一次进化了！近日，美国 DARPA 透露称，去年 9 月一架由 F-16 改装而成的 AI 验证机，有史以来首次成功地在视距内与人类飞行员进行空中缠斗（俗称狗斗），让我们看到了人工智能在空战领域的应用前景。该验证机代号为 X-62A VISTA，是一架 F-16D（Block 30）双座飞机，人类飞行员同样驾驶一架 F-16 战斗机。在对抗中，DARPA 称，虽然 X-62A VISTA 上的人类飞行员可以接管 AI 系统，但在任何时候都不需要激活安全开关。从视频中可以看到，两架战斗机展示了「高视角机头对机头交战」，逼近时相对速度达到 1200 英里 / 时（约 1931 公里 / 时），两机最近时相距仅为约 610 米。对抗过程中验证了 AI 驾驶战机的防御机动、攻击时缠斗等战斗技能，不过遗憾的是 DARPA 没有透露哪架飞机赢得此次战斗。对此，有人表示终于嗅到了「终结者」的味道

史上首次！AI驾驶战机成功与人类飞行员空中「狗斗」

19 大模型一定就比小模型好？谷歌的这项研究说不一定

在这个大模型不断创造新成就的时代，我们通常对机器学习模型有一个直观认知：越大越好。

但事实果真如此吗？近日，Google Research 一个团队基于隐扩散模型（LDM）进行了大量实验研究，

得出了一个结论：更大并不总是更好（Bigger is not Always Better），尤其是在预算有限时。

近段时间，隐扩散模型和广义上的扩散模型取得的成就不可谓不耀眼。

这些模型在处理了大规模高质量数据之后，可以非常出色地完成多种不同任务，包括图像合成与编辑、视频创建、音频生成和 3D 合成。

尽管这些模型可以解决多种多样的问题，但要想在真实世界应用中大规模使用它们，还需要克服一大障碍：采样效率低。

该团队通过实验研究了规模大小的变化对 LDM 的性能和效率的影响，其中关注重点是理解 LDM 的规模扩展性质对采样效率的影响。

他们使用有限的预算从头开始训练了 12 个文生图 LDM，参数量从 39M 到 5B 不等

大模型一定就比小模型好？谷歌的这项研究说不一定