来自《钢琴大师》的乔恩·施密特通过数字化创造了一个现实的3D化身，可以通过手机应用坐在家里的钢琴上

在此之前，增强现实技术已经允许我们在购买前将家具摆放在房间里，给照片赋予生命。现在你可以有一个逼真的化身在你的客厅里演奏贝多芬经典乐曲的欢快版。

The Piano Guys音乐团队与AR / VR开发人员Massive Technologies合作，将乐队的Jon Schmidt安置在您家里的钢琴上（如果有的话），或者放在虚拟钢琴上。

Massive Technologies已生成Schmidt的逼真的头像，以“完全视觉和音乐上的准确性”进行表演。智能手机或平板电脑用户只需启动AR Pianist iOS/Android应用程序，将设备的后置摄像头对准任何钢琴，该应用程序就会将Schmidt置于键盘上。

该应用程序使用机器学习技术将虚拟演奏家以1厘米的精度放置在钢琴上，手持设备的人可以在6个自由度的空间内移动，从任何角度观看他的演奏。如果你想要更接近动作，你可以放大，并且如果您想向大师学习，则播放速度可以降低100倍。

乐谱上的音符高亮显示也会在应用程序中滚动以帮助学习，还有一个视图可以点亮屏幕上的按键并对其进行颜色编码，让学生们可以在自己的钢琴上“与Schmidt一起演奏”。该应用程序可以使用移动设备的麦克风来监听音调差异，并提供实时反馈。

当然，现实世界中钢琴的琴键不会移动，乐器也会保持沉默，但屏幕上的游戏区域变得活跃起来，移动设备的扬声器响起了私人家庭音乐会的音符。也就是说，如果你有一台midi装备的原声钢琴或数字钢琴，该应用程序可以在你的家用钢琴上无线触发音符。如果你家里没有钢琴，应用程序就会在你面前生成一台钢琴……

The Piano Guys的视频制作经理兼官方技术专家Craig Knudsen解释说：“任何88键的键盘乐器，无论是声学的还是数字的，都可以使用，但如果根本没有钢琴，那也没有障碍，在这种情况下，AR Pianist将识别出清晰的地板空间或桌面，并提供雅马哈C7 Neo concert grand的详细3D模型，这些模型出现在许多Piano Guys的录音和专辑封面上。”

如果家里没有真正的钢琴，这个应用程序可以让Jon Schmidt坐在虚拟雅马哈C7 Neo音乐会大钢琴上

The Piano Guys为首次在AR Pianist上演出而选择的曲目是从他们最新的专辑《10 》中摘录的，是对贝多芬《Fur Elise》的生动演绎，恰逢下个月这位古典作曲家的250岁生日。这款应用程序还包括越来越多由世界级选手演奏的曲目，但只有《爱丽丝舞会》以乔恩·施密特(Jon Schmidt)的3D动作捕捉形象为特色。

据报道，该应用程序与过去几年中发布的大多数智能手机和平板电脑兼容，但是那些采用LiDAR技术的设备（例如iPhone 12或ToF传感器，例如三星Galaxy S20）将获得更好的体验。

AR Pianist应用程序可以免费下载，且每周2.99美元或59.99美元的年费就可以无限制地访问所有歌曲和高级功能。该应用的未来计划包括一个完整的AR/VR版本，将与Oculus Quest等耳机配合使用。