【数字创意】腾讯推出静态图像3D渲染AI模型InstantMesh(2024-04-30)
【摘要】 4月30日,VR陀螺讯,日前,腾讯发布了一种新的可以使用静态照片渲染3D对象的AI模型“InstantMesh”。据悉,InstantMesh是对腾讯旧版Instant3D框架的升级,可以结合多视图扩散模型和基于大型重建模型(LRM)架构的稀疏视图重建3D对象。目前,腾讯已经在Hugging Face上开源该AI模型InstantMesh模型,以便开发者测试其生成效率。此外,腾讯还推出了效果预览应用程序,建模爱好者们可以在程序中添加照片并预览其3D渲染效果。通过测试,这一建模过程可以在10秒内完成,但渲染质量仍有待提高。此外,该模型研究论文还分享了与不同于现有模型(包括最近推出的Stability AI的Stable Video 3D)的基准分数。根据研究数据,InstantMesh在Google扫描对象 (GSO)和OmniObject3D (Omni3D)轨道视图上的表现优于SV3D。SV3D在Omni3D基准测试中的几个参数中表现更好,这些参数与输出的分辨率相对应。
【关键词】腾讯,3D建模,AI模型
【数字创意】支持个人音色定制,国内首个免费数字分身定制工具发布(2024-04-30)
【摘要】 4月30日,北京日报讯,4月26日,B站发布国内首个免费数字分身定制工具“必剪Studio”。据悉,该工具一站式集成了“数字分身”及“音色定制”功能,能帮助出镜创作者、录音创作者有效提升创作效率。据介绍,“数字分身”技术可利用真人视频、语音,借助AI技术一比一生成人物数字模型。获得模型后,用户只需导入录音文件或输入文本,即可生成类似实拍效果的出镜口播视频,节省常规创作流程中的实拍出镜环节。“音色定制”技术则让用户的“出镜口播”更加真实自然。据悉,用户在提交30分钟音频后,可以通过AI技术生成具有个人音色的模型。获得模型后,用户只需输入文字,即可生成语音,提升创作效率。值得注意的是,为保护个人隐私及信息安全,该定制模型仅供个人使用。
【关键词】数字人,AI,音色定制
【数字创意】李未可科技正式推出WAKE-AI多模态AI大模型(2024-04-23)
【摘要】 4月23日,VR陀螺讯,在4月18日举办的2024中国生成式AI大会上,李未可科技正式发布为眼镜等未来终端定向优化的自研“WAKE-AI ”多模态大模型。该模型围绕GPS轨迹+视觉+语音打造新一代LLM-Based的自然交互,同时在多模态问答技术的加持下,具备文本生成、语言理解、图像识别及视频生成等多模态交互能力, 能实现所见即所问、所问即所得的精准服务。此外,WAKE-AI还融合了人类意图理解、长期记忆机制、情感大模型及TTS 克隆,可以为用户提供超拟人的情感陪伴服务。为保证实时交互场景的智能性及响应速度 ,WAKE-AI使用了MOE架构,FlashAttention混合精度训练、知识蒸馏等技术大幅降低算力需求跟计算时间。该模型针对眼镜端用户的使用方式、场景等进行了优化,语音返回速度能做到<500ms以内,语音唤醒准确度>90%,ASR字错率低于2%,可以为用户提供户外运动、文化旅行、日程管理及实时翻译等多个室外场景的多模态AI服务。
【关键词】AI大模型,李未可,多模态
【数字创意】一项新的研究可以让智能手机实现3D全息投影(2024-04-23)
【摘要】 4月23日,VR陀螺讯,日前,东京大学的一个团队推出了一种实用且经济高效的方法,可直接使用智能手机生成3D全息图像,旨在消除传统激光系统缺点的同时简化和增强VR/AR的3D显示。由于对激光光源的依赖,传统的全息生成技术虽然可以创建真实的物体3D表示却并不实用,激光器使系统变得复杂、昂贵,并且可能对眼睛有害。而在出版期刊《Optics Letters》中,研究人员描述了他们一项基于计算机生成全息术 (CGH) 的新方法,得益于团队开发的新算法,研究人员能在仅使用iPhone和称为“空间光调制器”的光学组件的情况下再现由两个全息层组成的3D彩色图像。在这项新研究中,研究人员开发了一种更便宜、更实用的非相干CGH方法。新方法使来自屏幕的光穿过空间光调制器,从而呈现多层全彩3D图像。为了演示这种新方法,研究人员通过在iPhone 14 Pro的屏幕上显示一个全息层,在空间光调制器上显示第二层,创建了全彩3D图像的双层光学再现。所得图像的每边尺寸为几毫米。研究人员目前正在努力改进该技术,使其能够显示更大、层数更多的3D图像。同时提高附加层空间分辨率并允许对象出现在距观看者几个不同的深度或距离处,使图像看起来更加真实。
【关键词】VR头显,智能手机,3D全息投影
【数字创意】新款Apple Pencil已在VisionOS上进行测试,即将支持Vision Pro(2024-03-29)
【摘要】 3月29日,VR陀螺讯,虽然Apple Pencil目前仅与iPad兼容,但该配件即将与Apple Vision Pro适配,以增强Vision Pro的交互特性。据知情人士透露,苹果公司已经内部测试了一款支持VisionOS的新款Apple Pencil。这将使Apple Pencil能够与Vision Pro上的绘图应用程序一起使用,例如Freeform和Pixelmator。目前尚不清楚该项目的具体细节,但一种可能性是用户可以使用Apple Pencil在桌子或其他平面上绘图,并且绘图将出现在开放的VisionOS应用程序中。这实际上会将一个人的周围环境变成一个巨大的画布,并且Apple Pencil还具有压力和倾斜灵敏度,这将在一定程度上满足用户更丰富的构图想法。有传言称,新款Apple Pencil将于4月份与新款iPad Pro和iPad Air机型一起推出,但尚未确认它是否支持目前版本的VisionOS。
【关键词】苹果,配件,VisionOS
【数字创意】苹果新专利:未来Vision Pro光密封组件或可添加触摸传感器(2024-03-29)
【摘要】 3月29日,VR陀螺讯,苹果公布的新专利涉及在头显/未来的Vision Pro型号的光密封组件顶部表面增加触摸传感器/触摸控制装置。在示例中,头显还包括设置在外壳表面的第一触摸感应表面和第二触摸感应表面。以及设置在框架中并与触摸感应表面电连接的应变计。头显的触摸感应表面包括导电织物。触摸感应表面设置在盖板的外表面上的明显处,头显包括一个指示器,用于将用户引导至触摸感应表面(凸起的,从盖沿触摸敏感表面的周边向外延伸)。头显的指示器包括在显示屏上生成的视觉提示。在其中一个示例中,指示器包括设置在盖板内表面上的发光二极管。设置在盖板中的触觉引擎,可以向用户提供触觉反馈,引导用户到达触摸感应表面。另外,头显进一步包括一个位置传感器,该位置传感器被配置为检测触摸感应表面的近距离触摸,以及一个设置在框架上的处理器,该处理器被配置为在传感器检测到近距离触摸时打开触摸感应表面。示例中,头显的位置传感器包括一个摄像头。
【关键词】苹果,光密封组件,触摸传感器
【数字创意】苹果新专利:未来Vision Pro或无需处方镜片就能实现视力矫正功能(2024-03-29)
【摘要】 3月29日,VR陀螺讯,苹果正在努力消除用户对Vision Pro处方镜片的需求,让头戴式设备适应不同视力人群。此前,苹果就曾考虑使用可调节镜头系统来解决近视等视力障碍人群使用Vision Pro的难题。如今,一项新披露的专利申请表明,苹果或许已经找到了新的解决方案。这项名为“具有视力矫正功能的头戴式显示设备”的专利包括了多种传感器在内的可以测试用户眼睛特征的传感系统,并通过调整镜片或调整显示位置矫正散光、远视和近视等屈光不正。例如,当一个患有散光的近视用户,其右眼(OD)处方为“球面:-3.00屈光度,柱面:-1.50屈光度,眼轴:180度”时,表明用户需要-3.00和-1.5屈光度的球面和柱面矫正,眼轴为180度表示用户的散光矫正是水平的。在这种情况下,Vision Pro可以通过“Z轴定位器”调整显示器和用户眼睛之间的距离,并且通过调整水平方向的可调谐柱面透镜产生-1.5屈光度的柱面来获得柱面校正。
【关键词】苹果,视力矫正,处方镜片
【数字创意】研究人员为VR头显开发声纳眼动追踪技术以取代摄像头(2024-03-15)
【摘要】 3月15日,VR陀螺讯,日前,纽约康奈尔大学的研究人员宣布开发出了一种类似声纳的技术原型(arXiv:2402.14634),能够取代VR头显上用于眼动追踪的摄像头。据悉,该技术通过使用微型扬声器,以高于18kHz的频率为每只眼睛发出超过大多数人听力范围的声音。这些声音反射后由头显两侧的四个麦克风拾取,并在“GazeTrak算法”解释后,可以精确确定佩戴者注视的方向。根据研究小组的说法,与基于摄像头的眼动追踪系统相比,声纳技术降低了功耗,并为用户提供了更多的隐私保护,因为摄像头不会不断录音。同时其还显著降低了VR头显的制造成本和重量。在一项有20名参与者的测试中,基于声纳的眼动追踪系统显示出高达3.6度的准确度。这虽然不如当前Apple Vision Pro等高端设备准确,但研究人员认为,对于大多数VR应用来说,这种性能已经足够应付。不过,该系统也有一个无法忽视的缺点:由于眼球的形状因人而异,因此GazeTrak算法使用的AI模型必须针对每个用户单独训练。而为了将眼动追踪声纳商业化,研究还必须收集足够的数据以创建一个通用模型。
【关键词】VR头显,AI,眼动追踪
【数字创意】中兴通讯推出支持裸眼3D的5G+AI平板电脑(2024-02-28)
【摘要】 2月28日,VR陀螺讯,日前,中兴通讯宣布将在巴塞罗那举行的MWC 2024(世界移动通信大会)期间,展示其3D平板电脑的第二个版本nubia Pad 3D II。该设备与去年发布的第一代产品一样,使用户无需特殊眼镜即可在便携式设备上享受裸眼3D效果。根据Nubia的说法,Pad 3D II相比前代产品3D分辨率提高了80%,3D亮度提高了100%,此外还对3D串扰、3D色彩和3D电源效率进行了优化,以改善整体体验。该平板电脑配备了AI眼动追踪引擎,具有增强的响应速度,有助于跟踪和处理用户的眼球运动,以创建更准确、更逼真的3D图像。借助Neovision 3D Anytime AI技术,用户可以将2D内容转换为3D,设备还配备了双摄像头设置,允许用户拍摄类似于Nintendo 3DS的3D照片。结合86度视角,Pad 3D II承诺提供更自然的3D图像观看体验。
【关键词】AI,5G,中兴通讯
【数字创意】惠牛1.35 Micro OLED新品上市,助力品牌客户对标Apple(2024-02-28)
【摘要】 2月28日,VR陀螺讯,惠牛科技基于1.35inch Micro-OLED的Pancake新品Si-PK100将于近期面世。作为去年美国SID 2023亮相的Si-PK95升级款,Si-PK100优化为3P架构、重量更轻(单目不超过30g,比上一代轻1/3),FOV从95度提升到100度。目前市面上多数模组FOV在95-100度之间,应用曲贴技术可能超过100度,但难以量产,惠牛新品Si-PK100能够同时实现轻重量和大FOV,而且能够保障量产落地。此外,该模组的出瞳距为15mm@eyebox 10mm,相较于市面上11-13mm@eyebox 8mm的同类产品,能适配更多佩戴眼镜的用户,用户也更容易获得大视场角的沉浸体验,而且画面边缘清晰度更高。
【关键词】光学模组,惠牛科技,Pancake
【数字创意】苹果正在开发带摄像头的AirPods、智能眼镜、指环(2024-02-28)
【摘要】 2月28日,VR陀螺讯,据Mark Gurman在最新一期的Power On时事通讯中声称,苹果正在为未来的可穿戴产品形态做试验,包括智能眼镜、带摄像头的AirPods以及类似于Oura Ring或三星即将推出的Galaxy的健康监测戒指。Gurman表示,苹果工程师已经探索了开发智能眼镜的可能性,就像亚马逊Echo Frames或Meta Ray-Bans一样,无需AirPods即可提供音频,其他功能包括人工智能功能和内置摄像头来识别周围的事物。据报道,这款眼镜正处于苹果硬件工程部门的探索阶段,称为“技术调查”阶段。根据内部工业设计小组的介绍,智能戒指将与用户的Apple Watch进行通信,将其健康追踪功能戴在你的手指上。最有趣的是,据称苹果正在研究如何将摄像头集成到AirPods中,这可能会完全避免对智能眼镜等单独可穿戴设备的需求。Gurman表示,该项目于去年启动,代号为B798,旨在探索一种将低分辨率摄像头传感器安装到AirPods大小的耳机中的方法。他推测此类相机可用于“捕获通过人工智能处理的数据并协助人们进行日常生活”。
【关键词】苹果,AirPods,智能眼镜
【数字创意】景创科技取得虚拟现实交互专利,在线上购物时更好展示商品实际样...(2024-02-27)
【摘要】 2月27日,金融界讯,据国家知识产权局公告,深圳市景创科技电子股份有限公司取得一项名为“虚拟现实交互方法、装置、视听设备及计算机介质“,授权公告号CN116540903B,申请日期为2023年7月。专利摘要显示,本申请公开了一种虚拟现实交互方法、装置、视听设备及计算机介质,涉及虚拟现实技术领域,本申请虚拟现实交互方法包括:在预设的虚拟现实空间内展示商品列表,并获取与商品列表对应的商品展示指令;基于商品展示指令在商品列表内包含的各商品中确定目标商品,并根据目标商品对应的商品参数构建目标商品模型;获取用户对应的身体参数,根据身体参数构建与用户对应的目标身体模型,并将目标商品模型与目标身体模型进行结合以生成目标效果模型;将目标效果模型展示在虚拟现实空间内并生成交互界面,并通过交互界面获取与目标效果模型对应的交互指令。采用本申请能够达到了在用户进行线上购物时,更好的为用户展示商品实际样式的技术效果。
【关键词】虚拟现实,景创科技,线上购物
【数字创意】鲲游光电推出单片全彩刻蚀光波导系列撄宁(2024-01-31)
【摘要】 1月31日,VR陀螺讯,1月31日,鲲游光电官微发文宣布正式向市场推出高性能单片全彩刻蚀光波导系列撄宁。据介绍,撄宁系列基于鲲游自有闭环的光刻-刻蚀IDM平台打造,融入了鲲游最新设计和工艺,使用新型无机材料光学晶圆直接单片全刻蚀完成。在轻薄的同时,达成了900nits/lm(30度视场角)的高效率,搭配2lm多一点的普通光机,可实现2000nits以上的图像亮度,满足室内外全场景全天候的使用要求,带来整机超长续航。在此基础上,依托自有的设计工艺生产闭环,鲲游将持续高速迭代提升性能,预计将于2024年Q3达到1500nits/lm的超高效率。在除行业关注的核心光学性能外,在高阶AR特性上也获得突破,各项参数极具竞争力。以抗环境干扰特性为例,在困扰传统衍射光波导的彩虹条纹问题上,已实现120度视场角内“零”彩虹,周边视场抑制百倍的效果。与此同时,工艺稳定性方面,撄宁已在持续的小批量验证中展现其稳定可靠的性能,初步完成量产验证,将于2024年Q2开始对外销售。
【关键词】光波导,鲲游光电,单片全彩
【数字创意】中兴通讯申请虚拟现实导航专利,能够减少用户获取信息的消耗时间(2024-01-24)
【摘要】 1月24日,金融界讯,据国家知识产权局公告,中兴通讯股份有限公司申请一项名为“基于虚拟现实的导航方法、控制器以及存储介质“,公开号CN117435825A,申请日期为2022年7月。专利摘要显示,本发明实施例提供了一种基于虚拟现实的导航方法、控制器以及存储介质,该方法包括以下步骤:获取服务端发送的电子节目指南中感兴趣界面的内容分类信息,和内容分类信息对应的用户热度信息,用户热度信息由服务端根据从第一终端和多个第二终端接收到的用户行为信息生成;根据内容分类信息和用户热度信息输入至预设的虚拟现实场景模型,生成虚拟现实导航界面。在本实施例的技术方案中,基于虚拟现实技术再结合用户热度信息在虚拟现实模型中对内容分类信息进行调整,能够得到直观的虚拟现实导航界面,用户能够通过第一终端在虚拟现实导航界面进行导航,快速获取对自己感兴趣的信息,从而减少用户获取信息的消耗时间。
【关键词】虚拟现实,专利,中兴通讯
【数字创意】李未可科技展出户外AR新品LAWK ONE,Micro LED+双目衍射光波导、...(2024-01-12)
【摘要】 1月12日,VR陀螺讯,美国太平洋时间1月9日至12日,被誉为“科技春晚”的2024国际消费电子展(CES2024)正在美国拉斯维加斯召开。李未可科技首次参展CES,携新品一体式AR眼镜LAWK ONE亮相。数据显示,美国的户外运动人口有1.6亿,户外运动渗透率高达53%,欧洲发达国家这一比例也在50%左右。李未可科技针对户外场景这一垂直细分市场,在海外拥有十分庞大的规模和目标人群。LAWK ONE采用了Micro LED+双目衍射光波导的光学方案,入眼亮度达到了1150尼特,保证户外场景下仍能看清AR显示。考虑到户外场景下一般是远视,所以LAWK ONE的虚像尺寸并不一味追求“沉浸感”,而是从用户角度出发,特意选择较远的虚拟成像距离。此外还有便利的第一视角拍摄能力。在展会现场,李未可科技创始人兼CEO茹忆表示:大部分海外用户对LAWK ONE的体验反馈都非常正向,这样积极的反馈也对李未可科技打开海外市场增加了信心。
【关键词】AR眼镜,李未可科技,CES2024
【数字创意】摩尔线程发布首个全国产软硬件的XR系统(2024-01-10)
【摘要】 1月10日,VR陀螺讯,近日,摩尔线程在其官微宣布推出首个全国产软硬件的XR系统“MTVerse XR”。据介绍,MTVerse XR是一款基于摩尔线程全功能GPU加速的XR(VR/AR/MR)套件,旨在将基于OpenXR的应用程序通过高性能网络和USB流式传输到XR设备。其提供了低延时、高质量XR串流能力,同时支持无线WIFI和有线USB高效传输,实现了云+端的音视频实时同步能力。MTVerse XR除了能带来流畅的游戏体验外,还能打造各类沉浸交互数字生活应用。目前,MTVerse XR已支持摩尔线程MTT S80和MTT S70系列显卡,支持Pico Neo 3、Pico4等头显设备,以及包括《TheLab》(实验室)、《VRChat》、《VersaillesVR》(凡尔赛虚拟现实)、《VR考古:库里科沃原野的秘密》等在内的多款VR游戏。
【关键词】XR,国产系统,摩尔线程
【数字创意】浙江大学研发出Human101框架,可快速生成动态3D数字人体模型(2023-12-29)
【摘要】 12月29日,VR陀螺讯,近日,来自浙江大学、ReLER实验室、CCAI的研究人员公布了突破性框架Human101的研发进展,该研究旨在突破渲染速度和模型保真度的限制,从有限的数据源(如单视图视频)中构建动态、高保真的数字人类。据悉,Human101的关键在于其将3D高斯展开与先进的动画技术相结合,利用了一种新颖的以人为中心的前向高斯动画方法和初始化技术,避免了对目标位姿点对应规范点的穷举搜索,直接将规范点变形到观察空间中,简化了变形过程,提高了渲染速度,有助于高效处理单视图视频数据,显著加快了模型的收敛性,可快速重建3D数字人,并确保生成的模型具有高保真度。研究数据显示,与现有方法相比,Human101渲染速度超过100 FPS,渲染时间大大减少,这为实时交互式应用程序和身临其境的虚拟现实体验开辟了新的可能性。并且该框架在许多情况下超越了此前方法的视觉保真度,不会以牺牲模型质量为代价。
【关键词】3D,数字人,AIGC
【数字创意】苹果新专利:未来Vision Pro或将提供手势激活可操作项目功能(2023-12-29)
【摘要】 12月29日,VR陀螺讯,近日,美国专利商标局公布了苹果公司的多项专利申请,涉及佩戴HMD时对可操作项目执行手势激活。苹果公司这项名为“可操作项目的手势激活”的专利涉及一种方法,包括从图像传感器接收物理环境的一个或多个图像。该方法包括在物理环境的一幅或多幅图像中检测分别与一个或多个动作相关联的一个或多个可操作项目。该方法还包括在物理环境的一幅或多幅图像中检测表示特定可操作项目的手势,以及包括响应检测到的手势,执行与特定可操作项目相关联的操作。
【关键词】苹果,MR头显,专利
【数字创意】腾讯公司申请虚拟现实专利,提升用户之间的交互感(2023-12-29)
【摘要】 12月29日,金融界讯,据国家知识产权局公告,腾讯科技(深圳)有限公司申请一项名为“一种虚拟现实的交互方法、相关装置、设备以及存储介质“,公开号CN117298590A,申请日期为2022年6月。专利摘要显示,本申请公开了一种虚拟现实的交互方法,应用场景至少包括各类虚拟现实设备,如:头显设备、指环设备、手套设备等。本申请方法包括:在虚拟现实场景中显示至少两个虚拟对象,至少两个虚拟对象包括第一虚拟对象以及第二虚拟对象,第一虚拟对象为第一对象控制的虚拟对象,第二虚拟对象为第二对象控制的虚拟对象;响应第一虚拟对象针对第二虚拟对象触发的互动操作,控制虚拟现实套件触发体感反馈,虚拟现实套件包括第二对象佩戴的至少一个虚拟现实设备。本申请还提供了相关装置、设备及存储介质。本申请在多人互动的虚拟现实场景中,支持虚拟对象之间的互动操作。通过虚拟现实套件给真实用户提供相应的体感反馈,从而提升用户之间的交互感。
【关键词】虚拟现实,专利,腾讯
【数字创意】优酷上线“AI搜片”功能,可模糊搜索、询问影片剧情(2023-12-29)
【摘要】 12月29日,TechWeb讯,28日,优酷上线“AI搜片”功能,号称是全网首个AI对话影视搜索引擎。根据优酷官方介绍,“AI搜片”覆盖全网百万级影视剧实体信息,融合万亿条文娱相关知识词条,通过多轮对话实现模糊搜索、影视问答、剧情检索等智能互动,无需具象问题就能精准作答。具体操作上,用户点击优酷APP搜索栏的“AI”按钮进入对话页面,即可通过模糊、口语化的提问获取精准匹配的影视信息,还能和AI交流全网影视知识。比如,当你问“想看和《西出玉门》类似的影视剧剧”时,AI就会通过算法推荐同类型影视剧,还能实现跳转观看。而当你询问某部剧的大结局是什么也能获取精准回答。
【关键词】优酷,AI搜片,搜索引擎