旧金山24小时硬件黑客马拉松回顾
如果说2023年是大型语言模型（LLMs）的年份，那么2024年将是大型多模态模型（LMMs）的年份。主要的区别在于识别用于生成输入和输出的文本和图像。这为硬件开辟了全新的可能性。
为了探索最新硬件与最新机器学习模型结合的可能性，我们在旧金山的Studio 45举办了一个为期一个周末的黑客马拉松活动。主要目的是将目前相对独立的机器学习社区和机器人社区汇聚在一起。黑客们齐聚一堂，探索他们可以解决的空间挑战。每个人有24小时的时间组建团队、制作演示，并在最后进行评审。
更智能的界面，带有眼睛的GPT-4和DeepMind的开源模型
在黑客马拉松的周围两周内，硬件和人工智能领域有了新的发展：
- 对更智能界面的投资： Meta发布了配备流媒体设置的雷朋眼镜。OpenAI正在与Jony Ive商讨利用他们最新的模型推出类似iPhone的替代品。今年早些时候，Humane 在TED舞台上演示了他们的AI针装置，而Apple Vision Pro头戴式显示器则通过visionOS发布了其SDK，让人们构建空间应用。
- OpenAI给Chat GPT-4增加了视觉能力： Chat GPT-4V (vision)现在在高级账户中可让用户与图像进行对话，同时还有用于生成内容的Dalle-3。一些用例包括将前端模型设计转化为后端代码、生成电影静帧，甚至解读令人困惑的路标。更多示例请参见此处以及微软对GPT-4V的166页完整论文。
- Google DeepMind开源RT-X：在超过150,000个任务上对超过500个技能进行基准测试，RT-X模型在传统狭隘智能模型之上表现出更好的性能，详细信息请参见此处
虽然我们错过了这些令人兴奋的更新消息，但这正是我们在旧金山举办AI in Motion黑客马拉松的原因：1）机器学习进展的速度非常快，我们想看看当其与硬件更好地集成时会发生什么，并且2）我们想把这两个不常一起进行黑客活动的社区聚集在一起。
我们的主要目标是将人工智能与硬件结合
为了规划这个黑客马拉松，我们最初设定了三个目标：
目标1：确保一半的参与者是机器学习开发人员，另一半是硬件工程师。
我们达到了：OpenAI、DeepMind、Meta AI Labs、特斯拉等公司的黑客们具有这两个领域的经验。
目标2：引入一些令人惊叹的硬件设备，以了解最新的机器学习模型能做什么。是的，这些演示中使用的不仅仅是LLMs。
我们达到了：我们拥有通用机械臂、波士顿动力的Spot四足机器人、扫地机器人以及整套IoT开发工具包。这里是我们给黑客们的全部文档。敬请期待很快发布的开源文档！
目标3：从想法到演示仅需24小时。我们在周六上午10点推出，并在周日上午10点完成了演示。是的，很多人还有时间睡觉。
我们取得了以下成果：请查看以下结果！
总体而言，结果令人印象深刻。它让人感受到未来将变得截然不同，界面更智能，硬件更强大，更重要的是，小团队可以制作更大的项目。
前5个项目亮点
1. Jarvis是一位机械工助手。想象一下特斯拉的生产机器臂，但只是在一个小规模的车库中，并且你可以与它交流。
感谢黑客：@jqphu，@nishthenomad，@TristanHeywood，@The_TT_Hacker，@winston，@vrushank
2. XR是一款智能学习助听器，可以捕捉周围的信息，比如谁在用户周围和正在进行的事情。结合相机输入、计算机视觉和OpenAI的API的语音识别，他们的演示可以增强用户对周围世界的视觉理解。
感谢黑客：@jer，@EmmaQian_，@ClovisVinant，@lingxue，@varun，@esh
3. C.H.I.P.是一款数字化的CNC显微镜，用于无量检测。
感谢黑客：@johndmcmaster，@notionsmith，@justin，@ninjaa
4. Dex（总冠军）可以扫描并查询遗失物品的房间。他们在Roomba上添加了一个网络摄像头，并使其可以与图像数据交流。
感谢黑客：@cyrus_cowley，@ian，@surya
5. Spotsight（最受欢迎）是一只机器人导盲犬，适用于视障人士。它不仅可以安全地导航环境，而且价格比经过专业训练的导盲犬更为实惠，还可以在所有者和环境之间执行其他任务，比如取邮件。
感谢黑客：@ingarobotics，@cyb3rblaze_，@adit，@reuben，@abinaya
🤖 如果你好奇，可以在这里查看更多项目。
改进下一个项目的想法
- 从想法到故事板。我们发现团队在24小时内找到明确的方向，想要解决的问题以及如何展示的过程中存在差距。对于未来的黑客马拉松，我们将推广故事板的两个要素：1）你想让机器人做什么以及为什么，以及2）你的后端架构会是什么样子。我们已经及时进行了调整，并在下次比赛之前能够提前帮助解决这个问题。
- 多部分黑客马拉松。麻省理工学院最具挑战性的黑客马拉松可能需要两个周末，而不是一次性完成。因为探索一个想法并确定演示内容可能需要一个完整的周末，而最终选手需要第二个周末来建立。我们可能会在下一个挑战中尝试这种方式，以查看它是否有助于提高演示的质量。在这种情况下，我们将保持第一个周末为一天，第二个周末将是两天。
- 简化硬件库。我们计划使用更具范围的库探索两个周末模型。拥有太多硬件是个好问题。但由于每个机器人都有一位导师，我们认为进行一个更具范围的挑战可能更好，比如使用波士顿动力的四足机器人Spot或通用机械臂。如果我们这样做，我们将不得不探索团队使用硬件的时间或获取多个机器人的时间安排。
使用这个作为你自己举办硬件黑客马拉松的手册
我们的团队已经举办了数十次黑客马拉松活动，但我们发现硬件黑客活动的数量还不够。虽然发送一些软件更容易，但我们希望这可以成为未来硬件黑客活动的灵感和结构。
以下是我们有意识做到的一些有效措施：
1. 使用一个设计制作空间供黑客们建设。
焊接或修补硬件时不推荐使用光亮而抛光的办公桌。我们还租用了塑料桌子，以确保最大的灵活性。
2. 允许黑客以团队的形式申请。
2/9 个团队以团队的形式申请。他们在申请中明确表示希望整个团队参加活动。请随意使用此页面作为模板来举办自己的黑客活动。我们欢迎来自各个背景的人参加。唯一的要求是参与者要来这里构建和发表一些作品，而不是闲逛。
3. 在活动开始前一周发布一个零件库。
我们在活动开始前一周分享了这个文件，供参与者熟悉文档。他们也被鼓励带自己的设备。
4. 强势开局。
我们通过咖啡和非正式的混合交流开始了黑客活动。这使得人们有三十分钟的时间互相认识。然后我们进行了45分钟的编程活动，创始人演示，Gary of raise robotics，他分享了一个真实的例子供大家参考。每个机器人还有一位导师介绍硬件。
5. 对于需要团队的人，我们帮助他们组建。
我们进行了 1 分钟的自我介绍演讲，并且进行了 20 分钟的混合交流，重复三次，直到人们彼此认识，形成初步的团队，并最终组建完成。
6. 在评审标准上要明确。
我们从活动开始就明确告知评委们，他们将根据以下标准评估想法：
- 6.1 理解问题：这是一个大问题吗？还是能为未来带来有趣的方向？是否有明确的客户使用案例？
- 6.2 演示：这是否有助于解决问题？可行性如何？是否能证明概念？
- 6.3 寓意：这是否有趣或愉快地与之交互？在大规模部署的情况下，这个演示和系统会不会使用 AI 系统和动作带来愉悦？
- 6.4 清晰的经济激励：是否有可行的扩展路径？明确顾客会为了使用这个方案而付费的原因？
7. 在机器人搭配之前提交想法。
团队组建后的接下来的 2-3 小时用来生成想法。我们故意将这一过程与实际构建分开，以确保团队有了他们想要构建的目标。我们还采用了“精英制度”，首先提交最佳想法的团队最先选择机器人。
8. 提供浮动式导师支持。
我们为设计制作、工具、硬件和机器学习等方面提供了导师支持，共有 3-5 位导师帮助了这 50 名黑客。
9. 做个强势结束。
除了提交筹备演示（2 分钟）和演示（1 分钟）之外，我们希望确保黑客马拉松的展示活动中有现场元素。我们将活动分为两个部分：
- 1小时的展示：类似于初创公司的展台，现场演示。来宾和评委可以与团队见面并与演示互动。
- 1小时的演讲：2分钟的演讲和1分钟的视频演示。嵌入在Google幻灯片演示中的YouTube视频确保每个人都能看到制作的一切。
每次演讲之后，每个评委都有机会提出一个问题或给出一个反馈意见。
10. 结构不固定。
大部分编程马拉松活动都是团队自由发挥的时间。我们省略了额外的演讲和研讨会，确保团队有足够的时间。甚至挑战本身也是故意开放的：“解决家庭、办公室或户外的空间挑战，人工智能与硬件配对。”
以电影片尾式感谢结束
对于参与者和最终展示的观众来说，这是一个有趣的活动。我们需要更多的硬件编程马拉松活动！
要构建优秀的硬件产品，真的需要一个完整的生态系统，即使只有24小时。我们要特别感谢所有的赞助商，尤其是Informal，他们发挥了重要作用！
如果您想举办自己的硬件编程马拉松活动，在以后的帖子中，我们将分享如何举办硬件编程马拉松活动的战术技巧。敬请关注！
感谢所有帮助实现这一切的合作伙伴！
- Studio45是旧金山Bernal Heights社区的一个专为专业物理产品构建人士提供的俱乐部和共享空间。
- Informal是一个自由职业者集体，由最优秀的硬件和制造业专业人士组成。Informal成员与各种规模的公司合作，设计、制造和发货物理产品。感谢您的特别报道！
- Blues Wireless使得云连接产品实际上成为可能，提供即插即用的连接。
社区合作伙伴
- Massmelt是一组多样化的硬件产品开发服务，致力于支持组织实现他们对未来的愿景。
- SF Hardware Meetup是一个有9000多名硬件专业人士的社区，每月会面以建立有意义的联系。
- Cerebral Valley和GenAI Collective帮助向旧金山湾区的机器学习社区传播信息。
奖品赞助商
- Runpod是一个用于训练和扩展AI模型推断的GPU云平台。他们为顶级团队提供了云计算额度。
感谢我们的评委对项目的意见！
- Ashley曾任Google Alphabet的X部门科技负责人。
- Robert是Alphabet旗下的自动驾驶公司Waymo的产品负责人。
- Santhi是创投公司Designer Fund的创始人、天使投资人和风险投资顾问。
- Vince是一个7次创业者和硅谷的影响力科技投资者。
最后，但同样重要的是，向共同组织者Michael + Jascha致以感谢，他们都是非正式成员，自愿为每个参与者创造了一次美妙的体验。