Luma AI 是一家成立于 2021 年的美国初创公司,聚焦于 3D 内容生成的计算机视觉,公司定位于建立多模态人工智能,拓展人类想象力和能力。今年 1 月,Luma 完成了由 a16z 独家投资的 4300 万美元 B 轮融资。此前,Luma 在 A 轮融资中获得了英伟达等知名机构的投资。
Luma 的主要业务为使用 AI 技术生成高质量的 3D 角色和场景,公司的技术和产品包括使用深度学习和计算机视觉算法的 text-to-3D(文字生成 3D)、video-to-3D(视频生成 3D)、image-to-3D(图片生成 3D)等技术以及开发的 LumaNeRF 算法,可用于快速生成各种类型的 3D 模型,产品主要应用场景包括生活记录、游戏制作、动画和影视制作、商品展示和销售、地图和导航、机器人等。
2024 年 6 月 13 日,Luma AI 宣布推出其文生视频/图生视频模型 Dream Machine,并免费向公众开放。该模型可以通过文字或图片生成高质量的逼真视频,每位用户每月可以免费生成 30 次视频,但每条视频的时长仅为 5 秒。如果需要生成更多视频,则需要订阅付费服务。不过,由于大量用户涌入,使用时可能需要排队等待数小时。尽管如此,从 Luma 官方发布的 demo 来看,其生成的视频具有较好的连贯性,镜头的艺术感也不错,还支持自由变换摄像机视角等功能。但它在形态转换和运动捕捉等方面仍需进一步优化和改进。