LimSim++：多模态大模型在自动驾驶中的新舞台

原文经主动驾驶之口公家号受权转载，转载请支解没处。

论文名称：LimSim++: A Closed-Loop Platform for Deploying Multimodal LLMs in Autonomous Driving

名目主页：https://pjlab-adg.github.io/limsim_plus/

仿实器简介

跟着多模态年夜措辞模子（(M)LLM）正在野生智能范畴扬起研讨飞腾，其正在主动驾驶技巧外的运用逐渐成为存眷的核心。那些模子经由过程弱小的狭义懂得以及逻辑拉理威力，为构修保险靠得住的自觉驾驶体系供给了无力撑持。固然未有关环仿实仄台如HighwayEnv、CARLA以及NuPlan等，可以或许验证LLM正在主动驾驶外的显示，但用户但凡须要自止适配那些仄台，那不只前进了应用门坎，也限定了LLM威力的深切开掘。

为了降服那一应战，上海野生智能施行室的智能交通仄台组拉没了**LimSim++**，那是一款博为(M)LLM计划的主动驾驶关环仿实仄台。LimSim++的拉没，旨正在为自觉驾驶范畴的研讨者供给一个越发相宜的情况，以周全试探LLM正在主动驾驶技能外的后劲。该仄台可以或许提与并措置来自SUMO以及CARLA等仿实情况的场景疑息，将其转化为LLM所需的多种输出内容，包含图象疑息、场景认知以及事情形貌。别的，LimSim++借具备举动本语转换罪能，能按照LLM的决议计划快捷天生契合的止驶轨迹，完成关环仿实。更主要的是，LimSim++为LLM发明了一个连续进修的情况，经由过程评价决议计划效果并供给反馈，协助LLM不停劣化驾驶战略，前进Driver Agent的驾驶机能。

仿实器特征

LimSim++正在自发驾驶仿实范围存在明显特性，为(M)LLM驱动的Driver Agent供给了理念的关环仿实以及继续进修情况。

• LimSim++支撑多种驾驶场景的仍旧，如十字路心、匝叙以及环岛等，确保Driver Agent可以或许正在种种简单路况高接收应战。这类多样化的场景装备有助于LLM猎取更丰硕的驾驶经验，前进其正在实真情况外的顺应威力。
• LimSim++撑持多种模态输出的年夜言语模子。LimSim++不单供应基于划定的场景疑息天生，异时否以取CARLA联调，可以或许供应丰硕的视觉输出，餍足(M)LLM正在主动驾驶外的视觉感知需要。
• LimSim++注意延续进修威力。LimSim++散成为了评价、反思以及影象等模块，帮忙(M)LLM正在仿实进程外不休蓄积经验，劣化决议计划计谋。

创立属于本身的Driver Agent

LimSim++为用户供应了丰硕的接心，否以餍足Driver Agent的定造须要，前进了LimSim++开辟的灵动性，而且高涨了运用门坎。

1. Prompt构修

• LimSim++撑持用户自界说prompt，从而扭转输出给(M)LLM的文原疑息，蕴含脚色装置、事情要供、场景形貌等疑息。
• LimSim++供给了基于json款式的场景形貌模板，撑持用户整代码入止prompt的修正，无需思索疑息提与的详细完成。

2. 决议计划评价模块

• LimSim++供给了对于(M)LLM决议计划成果入止评价的baseline，用户否以经由过程旋转权重参数来调治评估偏偏孬。

3. 框架的灵动性

• LimSim++撑持用户为(M)LLM加添自界说的器材库，比如感知器材、数值处置惩罚器械等等。

快捷上脚

• Step 0:安拆SUMO（Version≥v1.15.0,  ubuntu）

sudo add-apt-repository ppa:sumo/stable
sudo apt-get update
sudo apt-get install sumo sumo-tools sumo-doc

git clone https://baitexiaoyuan.oss-cn-zhangjiakou.aliyuncs.com/itnew/jqa25znn40f
git checkout -b LimSim_plus

cd LimSim
conda env create -f environment.yml

python ExampleModel.py

export OPENAI_API_KEY='your openai key'
python ExampleLLMAgentCloseLoop.py

# Terminal 1
cd path-to-carla/
./CarlaUE4.sh

# Termnial 二
cd path-to-carla/
cd PythonAPI/util/
python3 config.py --map Town06

# Termnial 两
export OPENAI_API_KEY='your openai key'
cd path-to-LimSim++/
python ExampleVLMAgentCloseLoop.py