「人车交互」新突破！普渡大学发布Talk2Drive框架：可学习/定制的「指令识别」系统

在普渡大学数字孪生实验室的最新成果中，研究人员引入了一种革命性的技术——利用大型语言模型（LLM）为自动驾驶汽车提供智能指令解析能力。

该技术的核心为Talk2Drive框架，旨在通过理解人类的自然语言来控制自动驾驶汽车，从而实现了一种前所未有的人车交互方式。

图片

论文链接：https://arxiv.org/abs/2312.09397

项目网站：purduedigitaltwin.github.io/llm4ad

Talk2Drive框架通过其创新性的设计，实现了自动驾驶汽车与人类驾驶员之间的高效、直观交互。该框架的运行流程涵盖了从接收命令、处理与推理，到生成可执行代码，以及代码的执行和反馈收集几个关键步骤。

首先，框架通过先进的语音识别技术接收和转换人类的口头命令为文本指令，这一步骤确保了人类的意图被准确理解。

然后，结合云端的实时环境数据，包括天气、交通状况等，LLM能够在处理命令时考虑到这些关键的上下文信息，确保生成的驾驶策略既安全又适应当前的环境条件。

图片

LLM通过使用上下文学习和思维链提示，对命令进行推理，生成的代码不仅包含了简单的驾驶指令，还涉及复杂的驾驶行为和需要在车辆的低级控制器中调整的参数。这些参数的调整，如前瞻距离和速度，是基于对当前道路状况和驾驶员需求的深入理解。

在安全性方面，Talk2Drive框架通过对生成代码的格式和参数进行严格检查，确保了自动驾驶行为的安全性。

，时长05:24

此外，记忆模块的引入，允许系统记录和学习驾驶员的偏好和反馈，为驾驶员提供更加个性化的驾驶体验。

Talk2Drive框架的独特之处在于它的高度个性化服务。

通过分析乘客的语言指令，如「请尽快送我到目的地，我不想让朋友等太久」或「我感觉有些晕车，请减慢速度」，该框架能够精确理解并满足乘客的需求。每次的人车交互都会被记录并用于优化系统，使得它能够学习乘客的偏好，并在未来提供更加定制化的驾驶体验。

图片

此外，实验结果显示，对不同驾驶风格的驾驶员，采用不同的LLM，采用Talk2Drive框架的自动驾驶汽车在实际道路测试中表现出色，能理解驾驶员不同晦涩程度的指令，有效降低了人为接管的需求，并且能够适应不同的驾驶风格和场景。

这一成就不仅展示了大语言模型在自动驾驶领域的巨大潜力，也为未来的自动驾驶技术发展打开了新的道路。

图片

对不同类型的驾驶员， 使用Talk2Drive 框架能显著降低驾驶过程中的接管率。

随着技术的不断进步和优化，Talk2Drive框架将能够为自动驾驶汽车提供更加安全、舒适和个性化的驾驶体验。这一突破性的研究不仅标志着自动驾驶与人机交互领域的融合与进步，也预示着一个以人为本、更加智能化的未来交通时代的到来。

研究团队

普渡大学数字孪生实验室致力于在大语言模型与自动驾驶的交叉领域中进行创新和探索。

欢迎全球对此领域感兴趣的研究者、工程师及行业同仁访问我们的项目网站，共同推进自动驾驶技术的发展，探索未来交通的可能性。

图片

参考资料：

https://arxiv.org/abs/2312.09397