【摘要】 11月30日，VR陀螺讯，近日，谷歌提交了一份名为“自适应曝光的注视点图像”的专利申请，该技术可以基于用户的注视点自动调整VR/AR中的环境曝光。尽管人类的眼睛可以在现实世界中自动调整曝光度，但终端设备却不具备这种能力。专利文件中提到，“（早些时候）在向用户显示图像的过程中，捕捉到的图像细节会丢失。”谷歌利用红外眼球追踪来监测用户的注视并确定“注视点”。系统会在此点周围应用“高斯掩模”，这是一种在用户焦点周围创建模糊区域的技术。高斯掩模内的每个像素都会单独调整以修复曝光，然后将生成的注视点图像流回用户。除了可用于调整画面图像外，注视点技术的引入还可以降低设备的计算负载。
【关键词】AR，专利，注视点
【摘要】 11月30日，VR陀螺讯，有消息称，三星将推出具有AI功能的智能眼镜，并将其作为智能手机配件进行销售。此外三星还将推出一款具有竞争力的XR头显，以挑战苹果Vision Pro。三星在欧洲公布了一项专利申请，主要针对下一代XR头显。其指出，设计的可穿戴设备可以为用户提供佩戴便利。还可以提高空间效率，并提供制造的经济可行性。这款XR头显的各个方面也有被提及，例如声音输出模块、音频模块、显示模块、传感器模块、触觉模块、摄像头模块、电源管理模块、电池等均有提及。其中的人工智能模型可以通过机器学习生成。人工神经网络可以包括深度神经网络（DNN）、卷积神经网络（CNN）等，人工智能模型可以另外或替代包括硬件结构以外的软件结构。该专利深入探讨了头显的构造和附加功能。在三星的欧洲专利申请WO2024237661中查看所有内容。
【关键词】三星，专利，XR头显
【摘要】 11月30日，VR陀螺讯，11月26日，小鹏汽车公布了一项名为“一种基于VR头显的机器人遥操作系统、方法和设备”的专利。该系统通过集成动捕设备、VR头显、上位机和机器人，旨在实现对机器人的高精度控制。据摘要显示，该系统的核心在于动捕设备采集被穿戴人员一个或多个身体部位的位姿数据，并传输至VR头显。VR头显对这些位姿信号进行滤波处理，并将处理后的数据与VR头显自身的位姿一同发送至上位机。上位机依据机器人控制算法，对接收到位姿数据进行处理，生成至少一个控制信号，并发送给机器人。机器人则根据这些控制信号执行相应运动，通过增加机械臂的冗余自由度，有效解决了机械臂在奇异位置失控的问题，从而显著提升了对机器人的控制精度。
【关键词】VR，机器人，小鹏汽车
【摘要】 11月13日，VR陀螺讯，近日，索尼向美国专利商标局（USPTO）提交了一份新专利，专利名为“用于实现用户间通信的系统和方法”，专利号为20240367060。文件描述了一种基于传感器识别某些手势动作并将其转化为命令或消息的方法，从而实现非语言通信。在专利草图中，索尼展示了两名玩家玩球类游戏的场景，玩家做出特定手势时，系统会进行解读并转化为相应的游戏动作或信号。该专利可以提升玩家在游戏时的沉浸感，同样适用于VR、AR等产品。不排除未来索尼会将其引入到VR头显等设备当中。
【关键词】VR，索尼，游戏
【摘要】 10月31日，VR陀螺讯，10月30日，佳能（中国）有限公司发布了双眼3D镜头RF-S7.8mm F4 STM DUAL，这款镜头可配合佳能APS-C画幅专微相机EOS R7拍摄约60度视角的3D视频和照片。据介绍，RF-S7.8mm F4 STM DUAL非常适合拍摄丰富的近场景题材，比如眼前的玩具、美食、手工、珠宝、微型模型、宠物等生活小场景，通过RF-S7.8mm F4 STM DUAL拍摄的视频可通过Apple Vision Pro欣赏。作为RF-S镜头群中的双眼3D镜头，与EOS R7搭配使用，可在一个图像感应器上生成左右眼影像。为了实现3D镜头的小型化，这款镜头没有使用可以弯折光路的棱镜，而是采用了不使用棱镜的直通式设计。RF-S7.8mm F4 STM DUAL的视角约为63度，与全画幅35mm焦距视野相仿，双眼镜头的间距为11.8mm，可以拍摄出具有自然视差的3D影像，靠近被摄体进行近距离拍摄，推荐的对焦距离为15厘米至50厘米之间，可以更好地呈现立体感。11.8mm的镜头间距与苹果手机空间视频拍摄镜头间距类似，因此可以很好的兼容苹果公司的空间视频技术。
【关键词】佳能，3D镜头，空间视频
【摘要】 10月31日，VR陀螺讯，近日，谷歌母公司Alphabet发布了今年Q3季度财报，集团营收为882.7亿美元，同比增长15%；本季度营业收入285.2亿美元，净收入为263亿美元。电话会议期间，集团CEO Sundar Pichai简单提到了其AI助手Project Astra，Astra于今年5月在谷歌I/O大会期间有所亮相，当时谷歌结合自家AI眼镜对其进行了功能演示。Pichai指出，谷歌正在“构建一种让人工智能能够观察和推理周围世界的体验。”“Project Astra是未来的缩影，我们正努力在2025年之前推出类似的体验。”基于此，可以推断明年有望出现搭载Project Astra的全新计算终端，而这一个形态很可能是手机或者眼镜。
【关键词】谷歌，AI，智能眼镜
【摘要】 10月31日，VR陀螺讯，早些时候，两名苹果员工接受了PetaPixel的采访，期间，他们提到，未来Vision Pro上面的Safari浏览器将支持嵌入网页的空间照片和空间视频。此前，用户支持通过浏览器将空间视频/空间照片分享给Vision Pro设备，不过头显用户收到文件后需要先下载保存才能观看其3D版本，略显繁琐，而后续Safari有望能免去这一过程。上周，视频流媒体平台Vimeo上线Vision Pro平台，用户也可以基于Viemo实现空间视频的上传、分享以及播放。
【关键词】空间视频，空间照片，Safari
【摘要】 10月28日，VR陀螺讯，国家知识产权局信息显示，深圳市亿境虚拟现实技术有限公司申请一项名为“IMU筛选方法与系统”的专利，公开号CN 118816943 A，申请日期为2024年6月。专利摘要显示，本发明涉及VR技术领域，尤其涉及一种IMU筛选方法与系统。该方法基于预设第一上报频率，获取待处理IMU的加速度计在预设第一时间内的数据，得到加速度计零偏值集；判断加速度零偏值集中是否存在超出预设加速度标准区间的加速度零偏值；若否，基于预设第二上报频率，获取待处理IMU的陀螺仪在预设第二时间内的数据，得到陀螺仪零偏值集；判断陀螺仪零偏值集中是否存在超出预设角速度标准区间的陀螺仪零偏值；若否，将待处理IMU作为目标IMU。该方法通过精确的数据采集和严格的零偏值判断标准，有效筛选出高精度的IMU，确保了所选 IMU 具备较低的零偏误差，从而显著提高了IMU的整体精度。
【关键词】VR，专利，IMU
【摘要】 9月26日，VR陀螺讯，目前第一人称视角视频通话正在成为近眼显示设备的标配之一，如Vision Pro的FaceTime支持在通话期间共享第一人称视图，Meta的智能眼镜Ray-Ban Meta也同样如此。现如今，伴随着Horizon OS系统更新，Quest设备上面的Messenger应用同样可以实现该功能。值得一提的是，当用户启用第一人称视角通话，其他用户不仅可以看到头显透视内容，同时还能看到叠加在现实之上的如MR游戏、2D窗口等内容。只不过，目前Quest终端在启用第一人称视角通话时，头显无法再执行截图或者视频录制等操作。
【关键词】Quest，视频通话，智能眼镜
【摘要】 9月26日，VR陀螺讯，近日，Antilatency称其新研发的微型追踪器Antilatency Tracker (Alt)将在日本正式发布。据介绍，这款微型追踪器以6DoF技术为核心系统，尺寸为16*16*20mm，重量仅为12g，可实现每秒高达2000次的跟踪次数和2毫秒的低延迟，已获得技术标准合格认证（Technical Conformity）。该系统可用于VR/AR、虚拟制作、动作捕捉、无人机和机器人等广泛领域。
【关键词】VR，AR，微型追踪器
【摘要】 9月26日，VR陀螺讯，近日，索尼发布公告称，其将推出一款型号为“ECX350F”的新款Micro-OLED屏幕，主要规格方面，屏幕尺寸0.44英寸，分辨率1920×1080，最高亮度可达10000cd/m2（相较自家产品ECX348E亮度翻倍）。此外，屏幕还实现了5.1μm的优秀窄间距控制（约5000ppi）。索尼官网指出，ECX350F是针对AR（增强现实）眼镜设计的一款Micro-OLED显示器，可满足AR眼镜对轻薄化和高可视性的要求。基于新的OLED结构和微透镜阵列工艺，屏幕模组“成功实现了被认为难以兼顾的窄像素间距和高亮度。”此外，ECX350F还具备窄边框以及“可变黑框”功能，后者在接收到全高清以下的任意分辨率的影像输入后，可将该影像显示在屏幕显示区域内的任意位置。官网信息指出，“一般来说，在AR眼镜中，现实空间会在黑色显示区域里透出并被看到，从而实现影像与现实空间的融合显示。在当前主流产品中，这一功能是通过在前端处理侧（应用处理器）生成和输入黑色图像信号来实现的，但本产品可在屏侧实现此功能，不仅可以轻松显示前端设置的任意分辨率，还有助于降低系统能耗和减少延迟。”ECX350F将于2024年10月样品出货，样品价格40000日元，折合人民币1954元。
【关键词】索尼，Micro-OLED，ECX350F
【摘要】 9月14日，金融界讯，眼查知识产权信息显示，山东金东数字创意股份有限公司申请一项名为“一种XR穿透场景的AI生成方法、介质及系统“，公开号CN202410578920.5，申请日期为2024年5月。专利摘要显示，本发明提供了一种XR穿透场景的AI生成方法、介质及系统，属于XR场景技术领域，包括：获取XR可视实际场景图像生成XR可视虚拟场景二维图像,生成XR可视虚拟场景三维图像,生成实际场景的三维图像；在第二三维图像中获取第三三维图像的可视区域以及遮挡区域，并在遮挡区域中寻找关注主体；计算得到关注主体的二维图像，记为第三二维图像；对第二二维图像进行分区，包括重叠有第三二维图像的重叠区，以及剩余的非重叠区；计算第三三维图像的重叠区和非重叠区；对第三三维图像的非重叠区进行GPU渲染，对第三三维图像的重叠区域采用基于深度信息的GPU+CPU混合渲染，并将渲染后的图像合并得到XR穿透场景。
【关键词】XR，数字创意，专利
【摘要】 8月30日，VR陀螺讯，Quest 2迎来了一项重大更新，现在支持多模态输入功能，使其与Quest 3和Quest Pro保持同步。自2019年2月发布以来，Quest应用已经可以同时使用手势追踪和Quest 3或Quest Pro控制器，Meta将这一技术称为“Multimodal”。尽管Quest 2也支持这项技术，但它之前只支持Pro控制器，而不是其标配的Touch控制器。然而，随着Meta XR Core SDK v68的推出，Quest 2现在也能使用其标配的Touch控制器进行多模态输入了。这一变化意味着所有当前的Meta头显设备都支持多模态输入，这可能会激发开发者们更广泛地采用这项技术。不过，到目前为止，几乎没有Quest应用实际支持多模态输入。
【关键词】Meta，Quest，多模态输入
【摘要】 8月30日，VR陀螺讯，近日，消费级AR领先品牌雷鸟创新宣布推出AI智能照片转换功能（2D->3D）。该功能采用了雷鸟创新全自研的图像三维渲染AI算法，支持一键将普通二维照片转化为层次分明、动感立体的3D空间图像，并在雷鸟Air系列AR眼镜上展示出来，让用户仿佛置身于照片拍摄现场，还原最真实的视觉体验。AI智能照片转换功能是业内首个端云结合的AI空间照片转换应用。依托于端侧的AI能力，AI智能照片转换功能可在手机本地快速完成3D效果转换。同时，用户还可选择将照片上传至云端，生成精度更高、效果更佳的3D空间图片。云端图像智能AI算法可精准估算遮挡区域范围，并对背后区域做内容填充，让生成的空间照片在分辨率、可调节深度范围、旋转角度以及遮挡区域填补等视觉呈现上实现质的飞跃。
【关键词】AI，AR眼镜，雷鸟创新
【摘要】 8月19日，VR陀螺讯，目前Meta并未面向第三方开发者开放Quest的透视相机数据访问权限，不过开发者Michael Gschwandtner（同时也是手部跟踪健身应用XRWorkout的CEO）近期发现了一个方法，可以绕过相关限制。其大概原理是通过测试应用创建一个webview，然后将画面视图投射到网络浏览器中，不过这一浏览器并非外部设备，而是Quest设备内的应用。接着，测试应用对接收投射视图的WebView的像素内容（RenderTexture）进行采样，这样便可以访问Quest 3的透视相机数据。作为测试的一部分，测试应用还绑定了开源MobileNet V2对象检测模型，该模型可以实时检测现实物体并给出相应的答案。目前Meta暂未对此做出回应，不过早些时候，Meta CTO Andrew Bosworth曾表示团队会持续关注让开发人员访问透视相机权限这一问题。对于Vision Pro而言，此前在visionOS 2版本更新中，设备已经支持向企业公司提供相机访问权限，不过条件仍相对苛刻。
【关键词】MR，Quest3，全彩透视
【摘要】 8月13日，VR陀螺讯，Meta与牛津大学研究人员合作开发的VFusion3D AI模型，标志着3D内容创作领域的一大进步。该模型能够从单张图像或文本描述中快速生成高质量的3D对象，极大地简化了虚拟现实、游戏和数字设计等行业的3D建模流程。VFusion3D的界面设计直观易用，用户可以轻松上传图像或选择预加载的示例进行3D模型生成。通过预训练的视频AI模型生成合成3D数据，研究团队有效解决了3D训练数据稀缺的问题，并提高了模型的训练效率。VFusion3D的核心优势在于其能够从多个角度想象物体，利用微调的视频AI模型生成多视图视频序列，从而训练出更强大的3D生成系统。在测试中，VFusion3D展现出了卓越的性能，其生成的3D模型在90%以上的时间里获得了人类评估者的青睐。随着技术的进一步发展，预计VFusion3D将进一步提升其能力，为3D内容创作带来革命性的变化。该技术的应用前景广阔，游戏开发者、建筑师、产品设计师以及VR/AR应用开发者都将受益于这一突破，能够更快速、更经济地制作出高质量的3D资产。VFusion3D的研究论文已被2024年欧洲计算机视觉会议（ECCV）接受，其代码已在GitHub上公开，为全球研究者提供了进一步研究和开发的基础。
【关键词】AI，3D生成，VFusion3D
【摘要】 7月31日，VR陀螺讯，沉浸感是VR体验的一个决定性因素，除了令人惊叹的视觉效果，高品质音频也非常重要。Meta宣布将为开发者提供更精确的音频模拟，在Audio SDK中推出了新的声波射线追踪功能（Unity | Unreal）。通常情况下，开发者会使用定制的临时系统来实现声学效果，这些系统使用游戏逻辑来驱动音频系统参数。但这种手动调试的方法往往需要花费不少时间和人力，而且复杂难用。市面上的一些高精度的声学模拟解决方案也不是专门为VR硬件而设计的。现在，开发者可以利用Audio SDK中新的声波射线追踪功能，在Unity和Unreal中为虚拟环境轻松创建逼真的声学效果。开发者只需在游戏编辑器中加载虚拟环境，标记相关几何体，然后按照一系列简单的步骤就能自动生成精确的声学模型。新功能可对反射和混响进行精确建模，实现声音的实时动态调整。声学技术（以及空间音频）应用于语音，还可以真正增强多人游戏和竞技游戏的沉浸感。
【关键词】Meta，VR音频，声学技术
【摘要】 7月31日，VR陀螺讯，Apple Vision Pro现在可以通过与神经技术公司Synchron的脑机接口技术结合，实现仅凭思考即可控制设备的功能。64岁的肌萎缩侧索硬化症（ALS）患者马克通过这项技术，成功地控制了Vision Pro，无需动手即可进行如玩纸牌、观看Apple TV和发送短信等操作。这项技术自2023年8月植入以来，已经让马克能够每周两次练习不同的技能和功能。Synchron 的脑机接口技术通过微创血管内手术植入患者的运动皮层表面，能够检测大脑的运动意图，并将信号无线传输到外部设备，实现免提控制。首席执行官Tom Oxley强调，BCI技术是一个平台，可以帮助受伤或患病的人重新与消费技术领域建立联系。Synchron 正在准备进行更大规模的临床研究，并寻求美国食品和药物管理局的批准，以将其技术商业化。
【关键词】脑机接口，苹果，Synchron
【摘要】 7月23日，VR陀螺讯，遮挡是指虚拟物体能以正确的空间位置出现在真实物体后面的能力，这是MR设备的关键功能之一。仅对预扫描场景执行此操作称为静态遮挡，而如果系统支持更改场景和移动物体，则称为动态遮挡。早些时候，Meta面向开发人员提供的Depth API已经支持静态/动态遮挡效果，不过如果想要与应用集成则相对复杂，它需要开发人员修改着色器以适应他们想要遮挡的所有虚拟对象。此外，它的动态遮挡效果并不好，如物体边缘容易出现缝隙、手指缝细节容易丢失等。近期，伴随着Meta XR Core SDK v67版本的推出，其Depth API的效果得到了显著改进，Meta表示，相较以往，集成该API后， GPU消耗可减少80%，CPU消耗可减少50%，这可为开发人员释放更多资源。此外，新的API更容易集成，并且视觉效果也有了一定改善。
【关键词】MR，Meta，API
【摘要】 7月10日，VR陀螺讯，卡内基梅隆大学（CMU）与Meta于2024年7月9日宣布了一项合作项目，目标是开发一种神经接口腕带，利用可穿戴传感技术提高人机交互能力。该技术通过肌电图（EMG）传感器测量手腕肌肉产生的电信号，将其转化为数字和混合现实（MR）环境中的输入信号。Douglas Weber教授的研究表明，即使手部完全瘫痪的人也能通过前臂肌肉控制设备，为肢体残疾人士提供了使用计算机和其他数字设备的可能。Meta与CMU的研究团队合作，使用Meta的表面肌电图（sEMG）原型和相关软件，评估脊髓损伤患者与数字设备的交互能力。项目以交互式计算任务为中心，参与者首先进行适应性小游戏，熟练后在MR环境中体验新游戏和内容。这项研究是Meta支持开发公平、无障碍界面的一部分，旨在帮助更多人共同完成工作。
【关键词】神经接口，人机交互，Meta
