改进驾驶员监控系统：合成数据的案例
Improving Driver Monitoring System Case of Synthetic Data
评估车轮后面的警觉程度的驾驶员监控系统（DMS）正在迅速成为全球领先的汽车安全功能。例如，在欧盟，车辆安全监管机构EuroNCAP要求所有新车都要搭载DMS以符合其安全评级的要求。
在这种推动下，初创公司正在从DMS领域的商机中受益，提供从心率测量到睡眠开始检测等解决方案。其中，瑞典的Devant正在利用合成数据的潜力。
这家初创公司于2021年推出，生成类似真人的合成数据，以支持机器学习网络（例如驾驶员监控系统背后的网络）的训练、验证和测试。具体来说，它开发了外貌和行为在不同情况下都多样化的3D模拟人类。
那么合成数据到底如何改善DMS？TNW采访了Devant的联合创始人兼首席执行官Richard Bremer，以了解更多信息。
合成数据可以填补的空白
对合成数据的兴趣始于上世纪90年代初，科技行业很快意识到这项技术在加速机器学习方面的价值。
汽车行业是最早支持合成数据的倡导者之一，它在2010年代中期开始采用合成数据，用于自动驾驶汽车、先进驾驶辅助系统（ADAS）和最近的DMS的开发。
驾驶员和乘员监控系统（DMS和OMS）通常使用红外摄像头和传感器收集关于驾驶员和乘客的实时信息。借助计算机视觉和机器学习，这些信息随后会被分析，例如追踪驾驶员的注视或面部表情，以确定他们的警觉程度和对道路的关注。
这意味着为了发挥最佳性能，DMS和OMS都需要在大量高质量的数据上进行训练，其中包括捕捉尽可能多的多样化情况的图像和录像。想象一下驾驶员在开车时发短信、在方向盘上喝水，甚至向后座倾斜以阻止孩子们争吵。
“对于任何AI网络来说，足够的数据量和质量至关重要。”
尽管迄今为止，来自摄像头甚至演员扮演的数据推动了DMS的发展，但仅使用这些数据源来捕捉每种可想象的情况会带来多重挑战。这种方法昂贵、耗时、变化有限，并且涉及隐私问题。
这就是Bremer认为合成数据的价值所在。“合成数据的潜力和有趣之处在于，您可以减少时间和成本，同时提高网络的性能。”
Devant技术的工作原理
这家位于Norrköping的初创公司在其平台上使用逐步的过程，结合不同类型的3D资源创建图像和动画。在汽车案例中，这些内容可以是3D驾驶室和人员，还可以补充细节，如配件、服装或眼镜。
为了确保高质量的结果不会影响机器学习网络的性能，数据的可靠性和准确性通过整个过程中的一系列质量评估系统进行验证。
“就我们所建立的内容而言，主要是确保数据已经经过测试和验证，”Bremer说。
Devant对其3D人体模型的目标有三个：与现实世界的外观一致，扩大其多样性并提供尽可能多样化的不同场景，并满足客户的要求。
出于这个原因，这家瑞典初创公司为用户提供了一个配置工具，用于选择与其需求相对应的参数。调整范围可以从更通用的变量（如年龄、族裔和性别）到更具体的细节，包括服装、眼睑运动的频率或车内的照明条件。
今年6月，该公司与澳大利亚的Seeing Machines合作，Seeing Machines是一家开发主要汽车制造商使用的DMS和OMS的开发商。
通过合作，Seeing Machines将使用Devant的3D模拟来训练和验证其机器学习网络，旨在进一步提升其车内监控系统，并创建一个与EuroNCAP要求一致的分心驾驶行为的大规模数据集。
质量与数量同等重要
要真正发挥合成数据的潜力，不仅仅是按下按钮，在几天内生成数百万张图像，Bremer解释道。数据的质量和准确性也很重要。
前提很简单。“为了使任何AI网络尽可能地表现出色，足够的数量和足够的质量都是必要的。”
关于计算机生成的数据的有希望的方面是，“我们确切地知道每个图像包含的每一个像素级别的细节，这要归功于其附带的元数据，”Bremer说道。相比之下，当涉及到真实世界的数据时，“与合成数据相比，你没有那种粒度级别的控制和准确性。”
但是有一个陷阱。通过增加更多参数和真实性来提高数据的质量，以覆盖大量可能的情况和人类行为，它会变得越来越复杂。反过来，这会增加渲染时间。
“这就是为什么在我们之前没有人采用这种质量方法来生成合成数据，因为从渲染时间的角度来看，这是非常昂贵的，”Bremer声称。实际上，Devant花了相当长的时间来解决保持质量并优化速度的难题。
当前的限制
尽管合成数据在数量上具有明显的优势，并且能够提供准确、高质量的模拟，但Bremer强调，这项技术不应被视为“万能药”。至少目前还不是。
相反，他说，应该以逐步谨慎的方式将真实世界的数据替换为计算机生成的等价物。
“我认为在这里最重要的事情是，DMS是关系到生命的系统，”他指出。还有一些需要克服的挑战——这些挑战超越了需要拥有数千个3D模型以确保足够的覆盖范围。
第一个挑战是建立什么构成好数据和坏数据的阈值，Devant将与Seeing Machines合作探索这个问题。第二个挑战是确定机器学习网络将认为足够重要以供使用的数据。
这家初创公司还将额外努力覆盖更多相机光学的方面。“模拟不同的相机参数非常复杂，特别是当你需要在每个图像的有限渲染时间内完成时，”Bremer解释道。
前进的方向
到目前为止，Devant一直在研究驾驶员分心的各个层面，特别是在真实模拟眼睛方面，包括不同的运动、眼睑行为和不同的瞳孔大小。
通过与Seeing Machines的合作，这家初创公司的目标是不断提升复杂性，并继续增加将覆盖整个EuroNCAP协议的功能。在此基础上，Bremer将昏昏欲睡视为“下一个自然的事情”，而酒醉则是公司名单上另一个有趣的可能性。
Devant选择为汽车行业开发以人为中心的合成数据是一个有针对性的决策，这是由对DMS的日益关注和即将实施的欧盟法规所带来的商机驱动的。据Bremer称，这也是为了产生实际价值，并以有益于人类的方式利用技术。
除了汽车领域，这家初创公司还设想了其他潜在的行业，其技术可以为培训AI系统在早期阶段检测疾病的迹象提供帮助。
