一篇题为“使用 LLMs 进行后期多模态传感器融合以进行活动识别”的新论文，揭示了苹果公司可能考虑结合 LLMs 分析与传统传感器数据，以更准确地了解用户的活动。
他们认为，这具有很大的潜力，可以在传感器数据不足的情况下，使活动分析变得更加准确。
传感器数据流为下游应用提供了有关活动和上下文的宝贵信息，不过整合互补信息可能颇具挑战性。
我们的数据表明，大型语言模型（LLMs）可用于对来自音频和运动时间序列数据的活动进行后期融合分类。
我们从 Ego4D 数据集中整理出了一部分数据，用于在不同上下文中（例如家庭活动、体育运动）进行多样化的活动识别。
经过评估的 LLM 实现了显著高于随机水平的 12 类零样本和少样本分类 F1 分数，且无需针对特定任务进行训练。
通过基于 LLM 的融合来自模态特定模型的零样本分类，可以在有限的对齐训练数据用于学习共享嵌入空间的情况下，实现多模态时间应用。
此外，基于 LLM 的融合能够实现模型部署，而无需为特定应用的多模态模型额外占用内存和计算资源。
换句话说，LLMs 实际上非常擅长从基本的音频和运动信号推断用户在做什么，即使他们没有受过专门的训练。此外，当只给出一个例子时，它们的准确性会进一步提高。
在这项研究中，LLM 并没有接收实际的音频录音，而是接收由音频模型和基于 IMU 的运动模型（通过加速度计和陀螺仪数据追踪运动）生成的简短文本描述。
研究人员介绍了他们使用的 Ego4D 数据集，是一个庞大的第一人称视角媒体资料库，涵盖了数千小时的真实环境和场景，包括家庭任务和户外活动。
我们从 Ego4D 数据集中筛选出日常活动，方法是在提供的描述中搜索日常生活中的活动。整理出一个包含 12 个主要活动的 20 秒样本数据集，包括吸尘、做饭、洗衣、吃饭、打篮球、踢足球、与宠物玩耍、读书、使用电脑、洗碗、看电视和锻炼/举重。这些活动的选择旨在涵盖家庭和健身任务的多样性，并且它们在更大数据集中较为常见。
苹果公司在这项研究的同时还发布了补充材料，包括 Ego4D 片段编号、时间戳、提示信息以及用于实验的一次性示例，旨在帮助研究人员复现研究结果。
AI 实验 —— 我如何用科幻小说摆脱AI新闻焦虑
😵💫 这几年有一个很深刻的感受，那就是每日的 AI 产品新闻和模型上的迭代都多到让人麻木了 —— 仅过去一周，就有 Claude 3.7 Sonnet、GPT-4.5、Sesame AI 等重磅模型发布，更不用说数十个新工具和应用。跟不上似乎意味着在技术理解上落后，但追踪这些发展却又耗费大量精力和情绪资源。我实在不是很喜欢这种焦虑感，所以决定尝试来缓冲一下这个焦虑感
🗞 我的解决方案是：让 AI 整理每日的技术新闻，并将其转化为一篇短篇小说通过邮件发送给我。我使用 ChatGPT 搭配 Val Town 自动化流程，设计了一个特殊提示词："请将今天最重要的 3-5 条 AI 新闻转化为一篇 400 - 1200 字的短篇小说。你可以随机选择作家的文笔（如卡夫卡、村上春树或刘慈欣）、自由定义主角背景，以及选择时间点和时代背景。但必须确保故事情节准确反映新闻的核心内容和意义。"于是，这些小说像新鲜出炉的面包一样，每天早上 8 点准时出现在我的邮箱。
🔆 截图里是我这两天收到的短片小说。在经历了几天这场实验后，我发现它带给我了：
♦️︎ 增强参与度: 当信息以有趣的叙事形式呈现，而不是枯燥的标题或技术文章时，我更有可能吸收和场景化这个科技
♦️︎ 更好的记忆保留: 嵌入在故事中的信息往往比单独的事实更容易被记住
♦️︎ 模式识别: 我注意到这些故事中出现了反复的主题——技术公司之间的合作与竞争、开源与封闭战略的拉锯、以及人机交互的逐步融合。这些模式在传统新闻中往往被单一事件的报道所掩盖。
♦️︎ 情感背景: 故事提供了情感背景，有助于我理解技术发展对生活的影响
⚠️ 实验的局限: 当然，这种方法并非完美。有时 AI 会过度简化复杂的技术细节，或者将不同领域的新闻强行塞入同一个故事框架。我发现自己偶尔仍需阅读原始资料来获取更深入的理解。
🔦 如果你也想要试试看的话，可以在评论区留言。我计划建立一个小型社区，每周分享一篇最佳 AI 新闻小说，并探讨如何优化提示词以获得既准确又有趣的故事。你有没有特别喜欢的作家风格想在 AI 新闻小说中尝试？或者有什么特别想通过故事来理解的技术领域？
💡 随着信息过载成为常态，也许我们需要重新思考如何消化知识。在技术和人文的交叉点上，或许存在着更多创新的学习方式，等待我们去发现
📮 这篇文章是转发给你的吗？点击这里加入频道
😵💫 这几年有一个很深刻的感受，那就是每日的 AI 产品新闻和模型上的迭代都多到让人麻木了 —— 仅过去一周，就有 Claude 3.7 Sonnet、GPT-4.5、Sesame AI 等重磅模型发布，更不用说数十个新工具和应用。跟不上似乎意味着在技术理解上落后，但追踪这些发展却又耗费大量精力和情绪资源。我实在不是很喜欢这种焦虑感，所以决定尝试来缓冲一下这个焦虑感
🗞 我的解决方案是：让 AI 整理每日的技术新闻，并将其转化为一篇短篇小说通过邮件发送给我。我使用 ChatGPT 搭配 Val Town 自动化流程，设计了一个特殊提示词："请将今天最重要的 3-5 条 AI 新闻转化为一篇 400 - 1200 字的短篇小说。你可以随机选择作家的文笔（如卡夫卡、村上春树或刘慈欣）、自由定义主角背景，以及选择时间点和时代背景。但必须确保故事情节准确反映新闻的核心内容和意义。"于是，这些小说像新鲜出炉的面包一样，每天早上 8 点准时出现在我的邮箱。
🔆 截图里是我这两天收到的短片小说。在经历了几天这场实验后，我发现它带给我了：
♦️︎ 增强参与度: 当信息以有趣的叙事形式呈现，而不是枯燥的标题或技术文章时，我更有可能吸收和场景化这个科技
♦️︎ 更好的记忆保留: 嵌入在故事中的信息往往比单独的事实更容易被记住
♦️︎ 模式识别: 我注意到这些故事中出现了反复的主题——技术公司之间的合作与竞争、开源与封闭战略的拉锯、以及人机交互的逐步融合。这些模式在传统新闻中往往被单一事件的报道所掩盖。
♦️︎ 情感背景: 故事提供了情感背景，有助于我理解技术发展对生活的影响
⚠️ 实验的局限: 当然，这种方法并非完美。有时 AI 会过度简化复杂的技术细节，或者将不同领域的新闻强行塞入同一个故事框架。我发现自己偶尔仍需阅读原始资料来获取更深入的理解。
🔦 如果你也想要试试看的话，可以在评论区留言。我计划建立一个小型社区，每周分享一篇最佳 AI 新闻小说，并探讨如何优化提示词以获得既准确又有趣的故事。你有没有特别喜欢的作家风格想在 AI 新闻小说中尝试？或者有什么特别想通过故事来理解的技术领域？
💡 随着信息过载成为常态，也许我们需要重新思考如何消化知识。在技术和人文的交叉点上，或许存在着更多创新的学习方式，等待我们去发现
📮 这篇文章是转发给你的吗？点击这里加入频道
可视化解释Transformers如何工作
Transformers (how LLMs work) explained visually, 值得收藏的科普视频，形象直观可视化地讲解大大降低了学习门槛， 高赞实至名归！ 推荐
#AI学习资源 #LLM #Transformers
-- 🔝 https://youtu.be/wjZofJX0v4M
Transformers (how LLMs work) explained visually, 值得收藏的科普视频，形象直观可视化地讲解大大降低了学习门槛， 高赞实至名归！ 推荐
#AI学习资源 #LLM #Transformers
-- 🔝 https://youtu.be/wjZofJX0v4M
#AI学习资源 #精品必荐
Eureka Labs的Karpathy又发布视频了:
三个半小时 LLM 入门课程
🔝 Deep dive into LLMs like ChatGPT
想入门了解LLM必看这个视频，无技术背景要求。详细介绍 LLM 训练的全部过程，包括预训练、有监督微调和强化学习
-- 更多详情
Eureka Labs的Karpathy又发布视频了:
三个半小时 LLM 入门课程
🔝 Deep dive into LLMs like ChatGPT
想入门了解LLM必看这个视频，无技术背景要求。详细介绍 LLM 训练的全部过程，包括预训练、有监督微调和强化学习
-- 更多详情
OpenAI宣布启动“超对齐快速资助计划”，以支持超人工智能系统的技术研究
OpenAI今天宣布推出总额为1000万美元的“超对齐快速资助计划”，旨在支持针对超人工智能系统的对齐和安全性的技术研究。该计划将重点支持弱到强泛化、可解释性、可扩展监督等方面的研究。
OpenAI相信超级智能有可能在未来10年内诞生。这些人工智能系统将具有广泛的能力，可能带来巨大的益处，但也可能带来巨大的风险。目前，我们通过人类反馈的强化学习来确保AI系统的安全。然而，对齐未来的超人工智能系统将面临根本性的新挑战。超人工智能系统将能够展现出人类无法完全理解的复杂和创造性行为。例如，如果一个超人工智能模型生成了一百万行极其复杂的代码，人们将无法可靠地评估这些代码的安全性和危险性。依赖于人类监督的现有对齐技术，如强化学习，可能不再足够。这带来了一个基本性的挑战：人类如何引导和信任比他们聪明得多的AI系统？这是世界上最重要的尚未解决的技术问题之一。但我们认为，通过共同的努力，这个问题是可以解决的。目前有许多有希望的方法和令人兴奋的方向，以及许多唾手可得的成果。我们认为，今天机器学习研究社区和个人研究者在解决这个问题上有巨大的机会。
作为我们的“超对齐”项目的一部分，我们希望汇聚世界上最优秀的研究人员和工程师，迎接这一挑战，我们对能够吸引新的人才进入该领域尤为兴奋。
在与Eric Schmidt的合作下，我们推出了一个总额为1000万美元的资助计划，以支持针对确保超人工智能系统对齐和安全的技术研究。我们将向学术实验室、非营利组织和个人研究者提供10万美元至200万美元不等的资助。对于研究生学生，我们将提供为期一年的OpenAI超对齐奖学金，总额为15万美元，其中包括7.5万美元的生活津贴和7.5万美元的计算资源和研究经费。申请者不需要有对齐方面的先前经验，我们积极寻找首次从事对齐研究的研究者。我们的申请流程简单，并将在申请截止后的四个星期内回复申请者。请在2月18日前提交申请。
通过这些资助计划，我们特别关注以下研究方向：
从弱到强的概括：相对于超人工智能模型，人类将是弱监督者。我们能否理解和控制强模型如何从弱监督中的泛化能力？
可解释性：我们如何理解模型的内部结构？我们可以用它来构建人工智能测谎仪吗？
可扩展的监督：我们如何使用人工智能系统来帮助人类评估其他人工智能系统在复杂任务上的输出？
许多其他研究方向，包括但不限于：诚实、思想链忠实性、对抗性鲁棒性、评估和测试平台等。
via 匿名
🗒 标签: #OpenAI #AI
📢 频道: @GodlyNews1
🤖 投稿: @GodlyNewsBot
OpenAI今天宣布推出总额为1000万美元的“超对齐快速资助计划”，旨在支持针对超人工智能系统的对齐和安全性的技术研究。该计划将重点支持弱到强泛化、可解释性、可扩展监督等方面的研究。
OpenAI相信超级智能有可能在未来10年内诞生。这些人工智能系统将具有广泛的能力，可能带来巨大的益处，但也可能带来巨大的风险。目前，我们通过人类反馈的强化学习来确保AI系统的安全。然而，对齐未来的超人工智能系统将面临根本性的新挑战。超人工智能系统将能够展现出人类无法完全理解的复杂和创造性行为。例如，如果一个超人工智能模型生成了一百万行极其复杂的代码，人们将无法可靠地评估这些代码的安全性和危险性。依赖于人类监督的现有对齐技术，如强化学习，可能不再足够。这带来了一个基本性的挑战：人类如何引导和信任比他们聪明得多的AI系统？这是世界上最重要的尚未解决的技术问题之一。但我们认为，通过共同的努力，这个问题是可以解决的。目前有许多有希望的方法和令人兴奋的方向，以及许多唾手可得的成果。我们认为，今天机器学习研究社区和个人研究者在解决这个问题上有巨大的机会。
作为我们的“超对齐”项目的一部分，我们希望汇聚世界上最优秀的研究人员和工程师，迎接这一挑战，我们对能够吸引新的人才进入该领域尤为兴奋。
在与Eric Schmidt的合作下，我们推出了一个总额为1000万美元的资助计划，以支持针对确保超人工智能系统对齐和安全的技术研究。我们将向学术实验室、非营利组织和个人研究者提供10万美元至200万美元不等的资助。对于研究生学生，我们将提供为期一年的OpenAI超对齐奖学金，总额为15万美元，其中包括7.5万美元的生活津贴和7.5万美元的计算资源和研究经费。申请者不需要有对齐方面的先前经验，我们积极寻找首次从事对齐研究的研究者。我们的申请流程简单，并将在申请截止后的四个星期内回复申请者。请在2月18日前提交申请。
通过这些资助计划，我们特别关注以下研究方向：
从弱到强的概括：相对于超人工智能模型，人类将是弱监督者。我们能否理解和控制强模型如何从弱监督中的泛化能力？
可解释性：我们如何理解模型的内部结构？我们可以用它来构建人工智能测谎仪吗？
可扩展的监督：我们如何使用人工智能系统来帮助人类评估其他人工智能系统在复杂任务上的输出？
许多其他研究方向，包括但不限于：诚实、思想链忠实性、对抗性鲁棒性、评估和测试平台等。
via 匿名
#GPT #AI #人工智能 #Laf #函数计算 #Serverless #FaaS #云开发
用 Laf 云开发平台 3 分钟即可搭建一个 #ChatGPT Web 演示网页，无需翻墙！可直接访问 ChatGPT API！
🌐链接：https://icloudnative.io/posts/build-chatgpt-web-using-laf/
📢关注频道：@cloud_native_share
💬加入群聊：@fuck_you_chatgpt
📮欢迎投稿：@cloud_native_yang
🎁访问主页： icloudnative.io
用 Laf 云开发平台 3 分钟即可搭建一个 #ChatGPT Web 演示网页，无需翻墙！可直接访问 ChatGPT API！
🌐链接：https://icloudnative.io/posts/build-chatgpt-web-using-laf/
📢关注频道：@cloud_native_share
💬加入群聊：@fuck_you_chatgpt
📮欢迎投稿：@cloud_native_yang
🎁访问主页： icloudnative.io
icloudnative.io
用 Laf 云开发搭建一个 ChatGPT Web 演示网页
学习如何通过 Laf 平台的云函数和 ChatGPT API 快速实现一个自己的 ChatGPT 机器人。
