【摘要】 7月23日，VR陀螺讯，遮挡是指虚拟物体能以正确的空间位置出现在真实物体后面的能力，这是MR设备的关键功能之一。仅对预扫描场景执行此操作称为静态遮挡，而如果系统支持更改场景和移动物体，则称为动态遮挡。早些时候，Meta面向开发人员提供的Depth API已经支持静态/动态遮挡效果，不过如果想要与应用集成则相对复杂，它需要开发人员修改着色器以适应他们想要遮挡的所有虚拟对象。此外，它的动态遮挡效果并不好，如物体边缘容易出现缝隙、手指缝细节容易丢失等。近期，伴随着Meta XR Core SDK v67版本的推出，其Depth API的效果得到了显著改进，Meta表示，相较以往，集成该API后， GPU消耗可减少80%，CPU消耗可减少50%，这可为开发人员释放更多资源。此外，新的API更容易集成，并且视觉效果也有了一定改善。
【关键词】MR，Meta，API
【摘要】 7月10日，VR陀螺讯，卡内基梅隆大学（CMU）与Meta于2024年7月9日宣布了一项合作项目，目标是开发一种神经接口腕带，利用可穿戴传感技术提高人机交互能力。该技术通过肌电图（EMG）传感器测量手腕肌肉产生的电信号，将其转化为数字和混合现实（MR）环境中的输入信号。Douglas Weber教授的研究表明，即使手部完全瘫痪的人也能通过前臂肌肉控制设备，为肢体残疾人士提供了使用计算机和其他数字设备的可能。Meta与CMU的研究团队合作，使用Meta的表面肌电图（sEMG）原型和相关软件，评估脊髓损伤患者与数字设备的交互能力。项目以交互式计算任务为中心，参与者首先进行适应性小游戏，熟练后在MR环境中体验新游戏和内容。这项研究是Meta支持开发公平、无障碍界面的一部分，旨在帮助更多人共同完成工作。
【关键词】神经接口，人机交互，Meta
【摘要】 6月28日，VR陀螺讯，近日英伟达的技术博客更新了一篇文章，提到英伟达正在与斯坦福大学Gordon Wetzstein带领的计算成像小组合作改进AR眼镜的设计，使其更轻、体积更小。新的显示元件——空间光调制器（SLM）不是操纵光的强度，而是操纵光的相位，从而能够在SLM的前面或后面重建3D全息图像。利用这一原理，团队推出了厚度仅为2.5毫米的全息眼镜。利用波导、全息近眼显示器和几何相位透镜，可以制造出厚度极小的全息眼镜。该团队还制作了台式和可穿戴式原型进行测试。双目可穿戴原型支持为虚拟内容提供完整的3D深度提示。它提供了22.8度的对角视场角，具有2.3毫米的静态eye box和具有光束控制功能的动态eye box，重量仅为60克（不包括驱动板）。该设计的另一个重要特点是使用了人工智能驱动的全息算法。SLM由激光等相干光源驱动，其中波导系统中相干波前的精确操控对于全息显示器至关重要，但相干光具有干扰特性，为了应对这一挑战，英伟达团队开发了一个数学模型，利用物理精确建模技术和人工智能相结合来描述相干波在波导中的传播。
【关键词】英伟达，AI，全息AR
【摘要】 6月28日，VR陀螺讯，6月26日，全息技术和解决方案提供商Ceres Holographics宣布与伊士曼化学公司合作，最近推出了一款全集成挡风玻璃，其特点是在单个层压结构中包含多个全息光学元件（HOE）。该公司声称，该解决方案利用其“HoloFlekt”技术生产出具有多个HOE的薄膜，然后利用伊士曼专有的层压工艺将这些薄膜无缝地层压在挡风玻璃内，这种方法为在任何玻璃表面生产多显示屏HUD区域提供了一种更具成本效益和可扩展性的方法。挡风玻璃与汽车结合后，就可以通过汽车仪表板上的小型LED投影仪为每个显示区域投射内容。Ceres指出，其HoloFlekt薄膜实现方法允许在单个挡风玻璃上设置多个显示区域，每个显示区域的尺寸、位置和视角都可根据OEM规格进行定制。然后，每个独立的显示区域都包含一个专门编程的HOE，从而实现更大视场的HUD。Ceres表示，这种独特的功能“只有通过全息技术才能实现”，因为该技术提供的光线操控精确度超越任何传统光学能力。
【关键词】全息技术，显示屏，HUD挡风玻璃
【摘要】 6月28日，新浪财经讯，近日，中国广电在重点城市启动了基于5G商用网络的5G-Advanced（以下简称5G-A）网络能力部署开通，为全面商用5G-A网络奠定了基础。据了解，中国广电5G-A网络应用了三载波聚合技术，并融合了高低频资源，结合了确定性体验保障等技术，能够显著提升网络速率和用户体验。在核心商区、旅游景区、体育场馆、会展中心等人员密集场所，使用中国广电5G-A网络可以有效避免通话掉线、数据传输延迟、低速等问题，保证通信的连续性和实时性。此次部署的中国广电5G-A网络基于TDD+FDD 3CC载波聚合技术，在现网复杂无线传输条件下，实现了3Gbps以上的单用户下行峰值速率，能够满足全场景开展高并发量即时通讯、高清视频、智慧导览、VR/AR多媒体等应用需求。此外，中国广电5G-A网络还支持700MHz低频网络，并引入了5G RedCap（轻量化5）技术。这种技术可以支持包括个人穿戴设备、工业传感器等在内的轻量化5G终端，适用于toC/toB场景。
【关键词】5G-A，高清视频，VR/AR
【摘要】 6月14日，VR陀螺讯，近日，XR芯片解决方案商万有引力宣布团队迎来重要里程碑，其最新芯片JX007，从TSMC回片并顺利点亮。据介绍，该芯片采用了TSMC的先进工艺，于5月完成回片，并在6月初顺利完成芯片的全业务验证，标志着芯片流片成功。JX007芯片具备广泛的应用场景，首先是反向透视功能。这一技术能够带来全新的虚实交互体验，广泛应用于高端XR设备。此外，该芯片还可用于机器人脸部的显示和交互系统，使人形机器人拥有更强的情绪感染力和交流能力，打破人类与机器人交流的壁垒。万有引力商业合作上也取得了重大突破，JX007芯片已与某XR头部企业达成合作项目，旨在利用JX007的先进性能，推动XR设备的技术进步，为用户提供更加自然的虚实社交。
【关键词】XR，芯片，万有引力
【摘要】 5月31日，VR陀螺讯，近期，根据索尼一项专利显示，索尼或将正在开发VR脚部传感器，可以让用户在VR游戏中实现用脚部摆动、倾斜或扭动动作来体验游戏以避免晕动。根据专利图显示，在游戏中跳跃，VR脚部传感器可以通过将双脚移动到某个阈值上触发，传感器将计算双脚与基线位置的位移，并确定已做出跳跃动作，从而导致VR角色跳跃。这将允许玩家保持躯干静止并主要用双脚进行游戏，从而开辟了许多辅助功能选项。然而，值得注意的是，索尼经常提交新的视频游戏技术专利，如果没有官方公告，就不能保证这种VR脚部传感器会被生产和销售。
【关键词】索尼，VR游戏，脚部传感器
【摘要】 5月31日，VR陀螺讯，近日，三星显示副总裁Huh Jong-moo出席了一场由TheElec主办的微型显示器会议，会议期间，他指出，LEDoS（亦称硅基LED或Micro-LED）将从蓝光和量子点（QD）发展到RGB三片屏，而最终则是单片面板技术。首先蓝光和QD LEDoS是通过在COMS面板或背板上形成蓝色LED制成，顶部带有微透镜阵列的QD层用于实现其他颜色（红色、绿色）并增加亮度。RGB三片屏采用三片CMOS屏，每片上面分别集成了R、G、B LED，这需要采用波导技术来控制光波。单片面板仅使用一个COMS面板，其上面的R、G、B LED多采用垂直堆叠或水平对齐。Huh指出，LEDoS与Mico-OLED不同，后者R、G、B OLED可以一起沉积在玻璃或COMS面板上，而LEDoS的R、G、B LED必须单独制造才能安装到COMS面板上，因此存在难度和成本问题。LEDoS不仅是OLED的简单延伸，背后还需要光学、面板、工艺和材料方面的新技术。Huh表示，由于内容缺乏、设备不便以及成本高昂，XR设备仍未普及，而微型显示器市场仍处于早期阶段。
【关键词】Micro-LED，三星显示，AR
【摘要】 5月31日，VR陀螺讯，3D显示技术提供商Leia最近宣布推出Immersity AI，该公司称这一新平台可将2D图像和视频转换为身临其境的3D体验，并支持XR头显。Immersity AI现在可以免费使用。不过部分XR导出功能需要额外付费。Leia指出，Immersity AI（以前称为“LeiaPix”）已经孵化了一年多，在2D到3D的转换中获得了更高的清晰度和速度。据该公司称，在此期间，其最初的工具（可快速将2D图像转化为具有深度和运动效果的3D图像）已获得300万用户，每月新增用户达20万。Immersity AI由Leia的神经深度引擎提供支持，可以在几秒钟内生成精确的深度图像。Leia表示，使用Immersity AI也非常简单。用户只需上传文件、输入深度强度并在几分钟内导出一个20秒的样本。然后，该样本将以所有主流格式提供，可用于传统显示设备和XR设备，如Meta Quest 3和苹果Vision Pro。
【关键词】XR头显，3D视频，AI
【摘要】 5月16日，VR陀螺讯，近日，SID Display Week 2024在加利福尼亚州圣何塞热力开启。LG Display在大会上展示了多款下一代OLED显示器，涵盖VR用OLEDoS新技术、超越画质极限的大尺寸OLED面板技术，以及最适合SDV（软件定义汽车）的车载显示解决方案。据称VR用OLEDoS技术是首次亮相，是一块1.3英寸的屏幕，能够实现10,000尼特的超高亮度。对比当前技术大幅提升了屏幕亮度和分辨率，具备业界领先的画质水平。 此外，4K级4000ppi超高分辨率以及色彩表现准确性达到了数字电影倡导组织（DCI）制定的DCI-P3色域标准97%以上，可为用户带来更逼真的虚拟现实体验。本次展会上，LG还推出了业内首款智能手表用OLEDoS。凭借1.3英寸的显示尺寸以及4K分辨率，该产品用于手腕也可呈现清晰的显示画面。该产品还搭载裸眼3D功能的Light Field Display技术，为用户带来全息显示般的效果体验。
【关键词】LG，VR显示屏，OLEDoS
【摘要】 4月30日，VR陀螺讯，日前，腾讯发布了一种新的可以使用静态照片渲染3D对象的AI模型“InstantMesh”。据悉，InstantMesh是对腾讯旧版Instant3D框架的升级，可以结合多视图扩散模型和基于大型重建模型（LRM）架构的稀疏视图重建3D对象。目前，腾讯已经在Hugging Face上开源该AI模型InstantMesh模型，以便开发者测试其生成效率。此外，腾讯还推出了效果预览应用程序，建模爱好者们可以在程序中添加照片并预览其3D渲染效果。通过测试，这一建模过程可以在10秒内完成，但渲染质量仍有待提高。此外，该模型研究论文还分享了与不同于现有模型（包括最近推出的Stability AI的Stable Video 3D）的基准分数。根据研究数据，InstantMesh在Google扫描对象 (GSO)和OmniObject3D (Omni3D)轨道视图上的表现优于SV3D。SV3D在Omni3D基准测试中的几个参数中表现更好，这些参数与输出的分辨率相对应。
【关键词】腾讯，3D建模，AI模型
【摘要】 4月30日，北京日报讯，4月26日，B站发布国内首个免费数字分身定制工具“必剪Studio”。据悉，该工具一站式集成了“数字分身”及“音色定制”功能，能帮助出镜创作者、录音创作者有效提升创作效率。据介绍，“数字分身”技术可利用真人视频、语音，借助AI技术一比一生成人物数字模型。获得模型后，用户只需导入录音文件或输入文本，即可生成类似实拍效果的出镜口播视频，节省常规创作流程中的实拍出镜环节。“音色定制”技术则让用户的“出镜口播”更加真实自然。据悉，用户在提交30分钟音频后，可以通过AI技术生成具有个人音色的模型。获得模型后，用户只需输入文字，即可生成语音，提升创作效率。值得注意的是，为保护个人隐私及信息安全，该定制模型仅供个人使用。
【关键词】数字人，AI，音色定制
【摘要】 4月23日，VR陀螺讯，在4月18日举办的2024中国生成式AI大会上，李未可科技正式发布为眼镜等未来终端定向优化的自研“WAKE-AI ”多模态大模型。该模型围绕GPS轨迹+视觉+语音打造新一代LLM-Based的自然交互，同时在多模态问答技术的加持下，具备文本生成、语言理解、图像识别及视频生成等多模态交互能力， 能实现所见即所问、所问即所得的精准服务。此外，WAKE-AI还融合了人类意图理解、长期记忆机制、情感大模型及TTS 克隆，可以为用户提供超拟人的情感陪伴服务。为保证实时交互场景的智能性及响应速度 ，WAKE-AI使用了MOE架构，FlashAttention混合精度训练、知识蒸馏等技术大幅降低算力需求跟计算时间。该模型针对眼镜端用户的使用方式、场景等进行了优化，语音返回速度能做到<500ms以内，语音唤醒准确度>90%，ASR字错率低于2%，可以为用户提供户外运动、文化旅行、日程管理及实时翻译等多个室外场景的多模态AI服务。
【关键词】AI大模型，李未可，多模态
【摘要】 4月23日，VR陀螺讯，日前，东京大学的一个团队推出了一种实用且经济高效的方法，可直接使用智能手机生成3D全息图像，旨在消除传统激光系统缺点的同时简化和增强VR/AR的3D显示。由于对激光光源的依赖，传统的全息生成技术虽然可以创建真实的物体3D表示却并不实用，激光器使系统变得复杂、昂贵，并且可能对眼睛有害。而在出版期刊《Optics Letters》中，研究人员描述了他们一项基于计算机生成全息术 (CGH) 的新方法，得益于团队开发的新算法，研究人员能在仅使用iPhone和称为“空间光调制器”的光学组件的情况下再现由两个全息层组成的3D彩色图像。在这项新研究中，研究人员开发了一种更便宜、更实用的非相干CGH方法。新方法使来自屏幕的光穿过空间光调制器，从而呈现多层全彩3D图像。为了演示这种新方法，研究人员通过在iPhone 14 Pro的屏幕上显示一个全息层，在空间光调制器上显示第二层，创建了全彩3D图像的双层光学再现。所得图像的每边尺寸为几毫米。研究人员目前正在努力改进该技术，使其能够显示更大、层数更多的3D图像。同时提高附加层空间分辨率并允许对象出现在距观看者几个不同的深度或距离处，使图像看起来更加真实。
【关键词】VR头显，智能手机，3D全息投影
【摘要】 3月29日，VR陀螺讯，虽然Apple Pencil目前仅与iPad兼容，但该配件即将与Apple Vision Pro适配，以增强Vision Pro的交互特性。据知情人士透露，苹果公司已经内部测试了一款支持VisionOS的新款Apple Pencil。这将使Apple Pencil能够与Vision Pro上的绘图应用程序一起使用，例如Freeform和Pixelmator。目前尚不清楚该项目的具体细节，但一种可能性是用户可以使用Apple Pencil在桌子或其他平面上绘图，并且绘图将出现在开放的VisionOS应用程序中。这实际上会将一个人的周围环境变成一个巨大的画布，并且Apple Pencil还具有压力和倾斜灵敏度，这将在一定程度上满足用户更丰富的构图想法。有传言称，新款Apple Pencil将于4月份与新款iPad Pro和iPad Air机型一起推出，但尚未确认它是否支持目前版本的VisionOS。
【关键词】苹果，配件，VisionOS
【摘要】 3月29日，VR陀螺讯，苹果公布的新专利涉及在头显/未来的Vision Pro型号的光密封组件顶部表面增加触摸传感器/触摸控制装置。在示例中，头显还包括设置在外壳表面的第一触摸感应表面和第二触摸感应表面。以及设置在框架中并与触摸感应表面电连接的应变计。头显的触摸感应表面包括导电织物。触摸感应表面设置在盖板的外表面上的明显处，头显包括一个指示器，用于将用户引导至触摸感应表面（凸起的，从盖沿触摸敏感表面的周边向外延伸）。头显的指示器包括在显示屏上生成的视觉提示。在其中一个示例中，指示器包括设置在盖板内表面上的发光二极管。设置在盖板中的触觉引擎，可以向用户提供触觉反馈，引导用户到达触摸感应表面。另外，头显进一步包括一个位置传感器，该位置传感器被配置为检测触摸感应表面的近距离触摸，以及一个设置在框架上的处理器，该处理器被配置为在传感器检测到近距离触摸时打开触摸感应表面。示例中，头显的位置传感器包括一个摄像头。
【关键词】苹果，光密封组件，触摸传感器
【摘要】 3月29日，VR陀螺讯，苹果正在努力消除用户对Vision Pro处方镜片的需求，让头戴式设备适应不同视力人群。此前，苹果就曾考虑使用可调节镜头系统来解决近视等视力障碍人群使用Vision Pro的难题。如今，一项新披露的专利申请表明，苹果或许已经找到了新的解决方案。这项名为“具有视力矫正功能的头戴式显示设备”的专利包括了多种传感器在内的可以测试用户眼睛特征的传感系统，并通过调整镜片或调整显示位置矫正散光、远视和近视等屈光不正。例如，当一个患有散光的近视用户，其右眼（OD）处方为“球面：-3.00屈光度，柱面：-1.50屈光度，眼轴：180度”时，表明用户需要-3.00和-1.5屈光度的球面和柱面矫正，眼轴为180度表示用户的散光矫正是水平的。在这种情况下，Vision Pro可以通过“Z轴定位器”调整显示器和用户眼睛之间的距离，并且通过调整水平方向的可调谐柱面透镜产生-1.5屈光度的柱面来获得柱面校正。
【关键词】苹果，视力矫正，处方镜片
【摘要】 3月15日，VR陀螺讯，日前，纽约康奈尔大学的研究人员宣布开发出了一种类似声纳的技术原型（arXiv:2402.14634），能够取代VR头显上用于眼动追踪的摄像头。据悉，该技术通过使用微型扬声器，以高于18kHz的频率为每只眼睛发出超过大多数人听力范围的声音。这些声音反射后由头显两侧的四个麦克风拾取，并在“GazeTrak算法”解释后，可以精确确定佩戴者注视的方向。根据研究小组的说法，与基于摄像头的眼动追踪系统相比，声纳技术降低了功耗，并为用户提供了更多的隐私保护，因为摄像头不会不断录音。同时其还显著降低了VR头显的制造成本和重量。在一项有20名参与者的测试中，基于声纳的眼动追踪系统显示出高达3.6度的准确度。这虽然不如当前Apple Vision Pro等高端设备准确，但研究人员认为，对于大多数VR应用来说，这种性能已经足够应付。不过，该系统也有一个无法忽视的缺点：由于眼球的形状因人而异，因此GazeTrak算法使用的AI模型必须针对每个用户单独训练。而为了将眼动追踪声纳商业化，研究还必须收集足够的数据以创建一个通用模型。
【关键词】VR头显，AI，眼动追踪
【摘要】 2月28日，VR陀螺讯，日前，中兴通讯宣布将在巴塞罗那举行的MWC 2024（世界移动通信大会）期间，展示其3D平板电脑的第二个版本nubia Pad 3D II。该设备与去年发布的第一代产品一样，使用户无需特殊眼镜即可在便携式设备上享受裸眼3D效果。根据Nubia的说法，Pad 3D II相比前代产品3D分辨率提高了80%，3D亮度提高了100%，此外还对3D串扰、3D色彩和3D电源效率进行了优化，以改善整体体验。该平板电脑配备了AI眼动追踪引擎，具有增强的响应速度，有助于跟踪和处理用户的眼球运动，以创建更准确、更逼真的3D图像。借助Neovision 3D Anytime AI技术，用户可以将2D内容转换为3D，设备还配备了双摄像头设置，允许用户拍摄类似于Nintendo 3DS的3D照片。结合86度视角，Pad 3D II承诺提供更自然的3D图像观看体验。
【关键词】AI，5G，中兴通讯
【摘要】 2月28日，VR陀螺讯，惠牛科技基于1.35inch Micro-OLED的Pancake新品Si-PK100将于近期面世。作为去年美国SID 2023亮相的Si-PK95升级款，Si-PK100优化为3P架构、重量更轻（单目不超过30g，比上一代轻1/3），FOV从95度提升到100度。目前市面上多数模组FOV在95-100度之间，应用曲贴技术可能超过100度，但难以量产，惠牛新品Si-PK100能够同时实现轻重量和大FOV，而且能够保障量产落地。此外，该模组的出瞳距为15mm@eyebox 10mm，相较于市面上11-13mm@eyebox 8mm的同类产品，能适配更多佩戴眼镜的用户，用户也更容易获得大视场角的沉浸体验，而且画面边缘清晰度更高。
【关键词】光学模组，惠牛科技，Pancake
