随着人工智能技术的快速发展，自动驾驶技术已经逐渐从实验阶段迈向商业化应用。在自动驾驶技术架构中，端到端大模型正逐步成为推动行业进步和技术革命的重要力量。
一、端到端大模型概述
端到端大模型（End-to-End Model）是一种人工智能模型架构，即一个能够直接处理原始输入数据并产生最终输出结果的AI模型，中间不需要传统机器学习流程中复杂的数据预处理和特征提取等步骤。例如，在语音模型方面，传统方式的流程链为：语音转文字、文字输入大模型、大模型处理得到文字结果、文字转换为语音；但端到端大模型可以省略中间的转化过程，直接理解输入的语音并给出基于语音的输出结果。在自动驾驶领域，端到端大模型将自动驾驶中的感知、决策和控制环节整合到一个统一的深度学习框架中，即车载摄像头、激光雷达等传感器采集到的图像、距离等环境信息直接输入大模型，大模型输出方向盘转动角度、车速控制等驾驶操作指令。
图片来源：优发国际绘制
图1 端到端自动驾驶模式示意图
（一）技术优势
由于端到端大模型具有系统简洁直接性、数据驱动性等特点，在自动驾驶领域应用具有如下优势：
1.减少信息传递损耗，更接近人类驾驶体验
传统的自动驾驶系统需要感知、决策、控制等多个模块独立运行，每个模块之间的接口和协调都需要额外的计算和时间消耗。而端到端大模型将多模块整合形成一体化的单模型，信息直接在单模型内部进行传递，避免模块之间信息有损传递、延迟和冗余，提升系统效率。例如，在进行变道操作时，从判断周围车辆距离与自身车速，到做出最终的变道决定，并执行加速或者减速、转向操作，端到端大模型在输出驾驶指令时的连贯性和自然性更好，能够像人类一样一气呵成。
2.以全局最优为目标进行学习，提升可靠性
传统自动驾驶模型依赖于预先设定的规则来判断不同的交通状况，且各个模块单独进行优化，难以达到整个系统的全局最优。端到端大模型能够将整体驾驶任务作为一个目标，通过海量的驾驶场景数据训练优化，使其在各种真实的驾驶场景下都能做出更加合理和准确的决策。
3.自动且持续优化，场景适应能力更强
端到端大模型能够通过海量数据的输入进行自我学习，随着数据量增加，模型性能和精度会不断提升；同时，其具有更好的泛化能力和零样本学习能力，在没有针对某个特定场景进行预训练的情况下，依然能够根据已学习到的知识和模式进行一定的理解和驾驶决策，提升车辆在动态环境中的反应能力。如对于一个新建设且没有出现在训练数据中的新型环岛交通设计，端到端大模型可以根据与环岛类似的圆形道路、让行规则等做出合理的驾驶决策。
（二）面临挑战
1.高质量数据需求巨大
端到端大模型的训练需要不同天气、不同时间段、不同道路条件下的大量标注数据，且数据需满足准确性、一致性等质量要求。而数据采集、处理和标注是一个非常庞大且复杂的任务，对于企业来说是一个巨大的挑战。
2.计算资源需求高
端到端大模型要一次性处理从输入到输出的整个流程，大量的数据计算，需要强大的计算能力，包括高性能的GPU等硬件设备，不仅增加了技术研发成本，也对计算资源的部署和管理提出了更高要求。
3.模型可解释性差
端到端大模型通常被视为“黑箱”，其内部决策过程和依据难以清晰解释，对管理造成困难，例如当模型做出错误决策时，很难确定问题根源，给故障排查、安全性验证和责任界定带来困难，也可能影响公众对自动驾驶技术的信任。
图片来源：优发国际绘
图2 端到端大模型在自动驾驶领域应用的优势与挑战
二、端到端大模型在自动驾驶领域的应用
端到端大模型已经成为自动驾驶技术发展的重要方向，尤其在特斯拉和小鹏汽车等企业的推动下，逐步实现了量产应用。
（一）众多新势力车企率先实现端到端大模型产业化
新势力车企基于互联网思维基因与开发能力，率先自研端到端大模型，并促进其在自动驾驶领域产业化。特斯拉是端到端大模型技术全球引领者，2023年推出全新FSD V12（Full Self-Driving Version 12），在北美和中国等多个市场进行广泛测试，标志着特斯拉成功地将端到端大模型应用于自动驾驶系统并产业化落地。小鹏汽车2024年7月全量推送AI天玑系统，在国内率先实现了端到端自动驾驶大模型的量产应用。截至2024年11月，小鹏汽车已完成全国2595个城市的测试，实车测试里程达958万公里，推动其端到端大模型快速迭代。理想汽车2024年7月发布基于端到端模型、VLM视觉语言模型和世界模型的全新自动驾驶技术架构；10月理想汽车将行业首创的“端到端+VLM”双系统智能驾驶方案正式全量推送。蔚来汽车2024年7月发布智能驾驶技术架构，在其NIO Pilot智能驾驶系统中，逐步采用端到端大模型来提升自动驾驶的安全性与拟人性，特别是在城市道路和复杂环境下的表现逐步提升。
图片来源：优发国际绘制
图3 端到端大模型车企对比
（二）自动驾驶产业链条关键企业快速入局协同发展
端到端大模型的产业化不仅依赖于单一车企的研发，还需要整个产业链的协同发展。硬件方面，车规级芯片、传感器等核心硬件的进步为大模型运行提供基础支持。当前，英伟达、英飞凌等国际芯片厂商主导了自动驾驶领域的计算硬件供应，华为、地平线等国内企业通过自主研发打破技术壁垒，华为昇腾系列、地平线征程系列芯片，已广泛应用于国内车企的自动驾驶系统，为端到端大模型提供强有力的计算支持奠定基础。软件方面，人工智能企业也为车企的自动驾驶系统提供了全方位的服务。元戎启行推出DeepRoute IO平台，是业界率先将端到端技术应用于高阶智能驾驶汽车的方案之一，目前与比亚迪合作，负责比亚迪POC端到端智能驾驶项目。纽劢科技推出将算法、软件、硬件融于一体的自动驾驶技术方案Nullmax Intelligence，基于端到端的架构，采用多模态大模型和安全类脑，以纯视觉、真无图、多模态的技术特点，助力汽车智能化。
（三）商用车或将更快实现端到端大模型产业化落地
由于商用车应用场景较为简单，交通环境和驾驶场景较为单一，供应链中专属定制较少，共享复用较多，易于形成商业化闭环，降低了大规模量产的难度，预计商用车将在较早阶段实现L4级别的商业化应用。新能源重卡“造车新势力”零一汽车已实现惊蛰和小满两款车的量产，其端到端自动驾驶系统计划于2025年实现量产，2026年实现高阶自动驾驶的大规模商业化运营。未来将会从矿区、港口、封闭物流园区等封闭式场景，到短途专线、高速专线等半封闭式区域，再到城郊/国道或者高速公路等全开放式区域，通过场景渐进逐渐推动商用车自动驾驶发展。
（四）行业标准与法规监管体系不断完善
自动驾驶法规和行业标准体系的建设为端到端大模型的产业化提供了重要保障。法律法规与监管方面，2023年9月，十四届全国人大常委会将《道路交通安全法》修订工作列入国务院2024年度立法计划，将对自动驾驶汽车的道路测试、上路通行、交通违法和事故处理相关责任追究等作出详细规定。2023年12月，交通运输部印发《自动驾驶汽车运输安全服务指南(试行)》，明确自动驾驶运输经营者、车辆等要求及运输安全保障、监督管理等措施，引导并规范自动驾驶汽车在运输服务领域的应用。标准体系方面，2023年5月，工业和信息化部、国家标准化管理委员会联合发布《国家车联网产业标准体系建设指南(智能网联汽车)(2023版)，为保障自动驾驶产业高质量发展提供了基本指导。2024年8月，国内智能网联汽车领域的首批强制性国家标准正式发布，明确了汽车信息安全、汽车软件升级的管理体系以及自动驾驶数据记录系统等技术要求和试验方法，为提升自动驾驶安全水平、保障产业健康有序发展提供有力支撑。
三、总结与展望
端到端大模型通过深度学习和数据驱动的方式，打破了传统自动驾驶系统中模块化处理的局限，整合感知、决策和控制等功能，提高了系统的整体性能和对复杂环境的适应能力，使自动驾驶更加拟人化。但对大量高质量数据的需求、高性能计算平台的依赖及因可解释性差导致的管理困难，端到端大模型在自动驾驶领域的应用与普及也面临着巨大挑战。随着更多车企和跨行业企业对技术不断研发创新，自动驾驶数据不断积累，算力支持不断强化，法规与标准体系不断健全，端到端大模型将助力高阶自动驾驶的应用与普及，推动智能网联汽车行业迈向新阶段。
杨佳玲
咨询师
长期专注新能源汽车等领域、完成了北京市汽车产业相关的政府、企业委托咨询业务。
鲁 楠
高级经济师（运输经济）
中级工程师（经济技术）
咨询工程师（投资）
长期专注新能源汽车及充电基础设施、重大技术装备等领域。近年来作为主要负责人完成了新能源汽车产业发展研究、电动汽车充电基础设施行业研究、重大技术装备发展研究等大量政府、企业委托咨询业务，为北京市新能源汽车及充电基础设施发展、智能制造业发展建言献策。
编辑：张 华
审核：孙 磊
