一、报告期内公司所属行业及主营业务情况说明 (一)所属行业发展情况 1所属行业 根据《国民经济行业分类》(GB/T4754-2017),公司所属行业为“I65软件和信息技术服务业”中的“I6513应用软件开发”。根据中国上市公司协会发布的《中国上市公司协会上市公司行业统计分类指引》,公司所属行业为“信息传输、软件和信息技术服务业-软件和信息技术服务业”,行业代码为“I65”。 公司从事计算机视觉技术算法的研发和应用,主要产品有移动智能终端视觉解决方案、智能驾驶视觉解决方案和其他AIoT智能设备视觉解决方案,根据公司主要产品功能及服务对象的特点,公司所属行业为计算机视觉行业,属于软件...
查看全部▼
一、报告期内公司所属行业及主营业务情况说明
(一)所属行业发展情况
1所属行业
根据《国民经济行业分类》(GB/T4754-2017),公司所属行业为“I65软件和信息技术服务业”中的“I6513应用软件开发”。根据中国上市公司协会发布的《中国上市公司协会上市公司行业统计分类指引》,公司所属行业为“信息传输、软件和信息技术服务业-软件和信息技术服务业”,行业代码为“I65”。
公司从事计算机视觉技术算法的研发和应用,主要产品有移动智能终端视觉解决方案、智能驾驶视觉解决方案和其他AIoT智能设备视觉解决方案,根据公司主要产品功能及服务对象的特点,公司所属行业为计算机视觉行业,属于软件和信息技术服务业。
根据国家发改委公布的《战略性新兴产业重点产品和服务指导目录2016版》,公司属于“新一代信息技术产业”。
2所属行业的发展情况
(1)行业发展阶段、基本特点、产业政策
在新科技革命和产业变革的大背景下,人工智能加快向各产业渗透,日益成为科技创新、产业升级和生产力提升的重要驱动力量。视觉人工智能行业为各类人工智能应用提供基础支持技术,广泛应用于各类人工智能细分领域。政府积极出台政策促进人工智能技术发展和应用,深化落实与视觉人工智能息息相关的人工智能、智能制造、信息化和工业化的相关政策,为视觉人工智能的发展提供了政策与配套资源支持。2024年以来,新出台的主要人工智能产业政策如下:
2024年3月,在《2024年国务院政府工作报告》中,提出要深化大数据、人工智能等研发应用,开展“人工智能+”行动,打造具有国际竞争力的数字产业集群。
2024年3月,国务院印发《推动大规模设备更新和消费品以旧换新行动方案》,提出开展汽车以旧换新,加大政策支持力度,畅通流通堵点,促进汽车梯次消费、更新消费。组织开展全国汽车以旧换新促销活动,鼓励汽车生产企业、销售企业开展促销活动,并引导行业有序竞争。
2024年4月,国家发展改革委办公厅、国家数据局综合司印发《数字经济2024年工作要点》,提出适度超前布局数字基础设施、深入推进产业数字化转型、加快推动数字技术创新突破、不断提升公共服务水平、推动完善数字经济治理体系、全面筑牢数字安全屏障、主动拓展数字经济国际合作、加强跨部门协同联动等内容。
2024年6月,工业和信息化部等四部门印发《国家人工智能产业综合标准化体系建设指南(2024版)》,提出以抢抓人工智能产业发展先机为目标,完善人工智能标准工作顶层设计,强化全产业链标准工作协同,统筹推进标准的研究、制定、实施和国际化,为推动我国人工智能产业高质量发展提供坚实的技术支撑。
2024年7月,国家发展改革委、财政部印发《关于加力支持大规模设备更新和消费品以旧换新的若干措施》,就支持地方提升消费品以旧换新能力、提高汽车报废更新补贴标准、支持家电产品以旧换新等方面提供提出了一系列支持措施。
(2)细分领域发展状况
移动智能终端细分领域
根据市场研究机构Counterpoint统计数据,2024年前两个季度,全球智能手机出货量分别约为2.97亿台和2.89亿台。其中2024年第二季度实现了8%的同比增长,是全球智能手机市场连续第三个季度保持增长,显示出市场回暖的积极信号。Counterpoint报告还指出,全球智能手机市场的整体收入同比增长8%,平均售价达到了历年同期的最高水平。高端市场(800美元以上)的份额也有所增加,同比上升2个百分点。
2024年,三星、荣耀、小米、OPPO、vivo、传音等多家安卓手机厂商先后推出了带有AI功能的手机产品。2024年6月,苹果在WWDC24也正式发布了Apple Intelligence(苹果智能系统),同时宣布与OpenAI合作,Apple Intelligence将接入GPT-4o模型。以苹果为代表的端侧AI厂商持续在端侧AI领域发力布局,AI大模型在端侧的垂直场景应用有望加速落地。Counterpoint预测,2027年全球AI手机渗透率约40%,出货量有望达5.22亿部。行业认为,交互方式的革新、功能升级以及诸如折叠屏等新形态的出现等因素相辅相成,预计在一定程度上会推动换机需求。
苹果在2023年发布了其首款头戴式显示设备Apple Vision Pro,并于2024年正式对外发售,产品一经发布便受到市场广泛关注。行业认为,Vision Pro的定价表明,该产品主要面向专业用户和内容开发者,而非普通消费者,但其仍旧是当前AR/VR设备领域的标杆,对XR产业的产品范式、内容生态与产业链迭代都产生着积极影响。根据公开资料,谷歌于2012年首次推出采用AR技术的Google Glass,尽管产品备受瞩目,但市场表现不佳。此后,Meta、小米等大厂纷纷入局智能眼镜赛道。近年,随着各类显示技术的出现与成熟,硬件微型化与计算能力的提升,以及端侧AI技术的赋能,AR眼镜作为AI具有性价比的硬件落地方案又重回大众视野。
智能汽车细分领域
中汽协数据显示,2024年上半年,我国汽车销量继续保持增长,汽车产销分别完成1,389.1万辆和1,404.7万辆,同比分别增长4.9%和6.1%。其中,乘用车产销分别完成1,188.6万辆和1,197.9万辆,同比分别增长5.4%和6.3%;商用车产销分别完成200.5万辆和206.8万辆,同比分别增长2%和4.9%。上半年,中国汽车出口总量279.3万辆,保持30.5%的快速增长,拉动了市场整体增长。
当前汽车智能化按照电动化、智能化、网联化顺序逐步推进,智能化的发展空间正在不断拓展。据国家发展改革委的预测,到2025年,我国智能汽车的数量预计将达到2,800万辆,市场渗透率预计为82%;到2030年,智能汽车的数量将增至3,800万辆,渗透率预计将达到95%。智能驾驶技术已成为众多汽车制造商争夺市场份额的关键领域,同样也是众多供应商竞相投入的焦点。从传统的汽车制造商、新兴的汽车企业、传统的Tier1、科技企业、互联网公司,到消费电子公司,都在积极推进智能驾驶技术的商业化,城市NOA、去高精地图、舱驾融合等技术成为智能驾驶领域的主要趋势,这些技术的发展将推动智能驾驶向更高层次的自动化和智能化迈进。在座舱领域,行业认为,持续优化座舱和其他智能设备的互联互通,以及车载大模型的加入,会是2024年智能座舱发展的主要趋势。
3主要技术门槛
视觉人工智能属于高知识密集型领域,有较高的技术门槛,公司为各类移动智能终端、智能汽车等智能设备提供视觉人工智能解决方案,在前述领域的主要技术门槛包括:
(1)端计算和边缘计算技术的积累
边缘计算极大程度上解决了物联网背景下集中式运算架构中的带宽和延迟两大瓶颈问题,主要难点在于低资源的嵌入式平台环境的开发能力,基于移动终端的边缘计算具有巨大的应用价值,但是受限于移动终端有限算力,诸多企业望而却步。
公司自2003年开始便明确了在嵌入式设备研发相关视觉人工智能技术的发展方向,在边缘计算技术领域积累深厚,多年来建立了全面、复杂的多平台适用的底层嵌入式开发库。公司积累的算法具有高度的紧凑性、稳定性以及易调用性,可以在高性能、有效大幅降低资源消耗的情况下实现高精度运行。
公司长期专注于嵌入式设备算法的研究与开发,多年来积累了大量基于端设备的视觉人工智能算法开发经验。目前公司基于端设备的视觉人工智能算法适用性高、运行稳定,可以在边缘侧发起高效的运算,通过诸如智能手机、笔记本电脑、智能可穿戴等设备实现高效的图像优化、识别与检测等功能。公司的移动智能终端视觉解决方案、智能驾驶视觉解决方案和其他AIoT智能设备视觉解决方案等业务均是从边缘侧发起运算,在智能手机、笔记本电脑、智能可穿戴设备、汽车和各类AIoT设备上实现各类视觉人工智能的功能。
(2)视觉人工智能技术的层次积累
在数码相机以及手机功能机时代,公司就开始专注于视觉人工智能技术的研发与应用,公司主要算法技术都经过了长时间的锤炼,从基本的黑白小分辨率图像的摄取、增强、编辑、检测识别到高清大图像、视频的实时处理均打下了坚实的基础,创造了有利和领先的条件。
公司掌握的视觉人工智能算法技术具有通用性和延展性。多年来,公司积极致力于将视觉人工智能算法与行业应用相结合,凭借先进的科研力量、强大的产品开发能力以及卓越的工程实施能力,公司快速将视觉人工智能算法技术落地为成熟的解决方案,并进一步将应用领域从智能手机扩展到智能汽车、智能家居、智能零售等多个行业,助推行业升级。此外,公司基于自身深厚的技术积累,能够为上述行业快速提供高性能、高效率、硬件平台适应性强、功耗控制优良的解决方案,大大降低各类客户的产品使用先进技术的门槛,帮客户提升产品竞争力,助力视觉人工智能和人工智能相关应用的普及。
(3)工程落地能力
虹软创立至今,除不断积累和发展自身技术、掌握持续开发、迭代与硬件更加匹配的算法的能力,还一直致力于与核心产业链内主流公司开展长期、广泛的合作。公司与高通、联发科等各主流芯片公司建立了长期稳定的合作关系,研发中持续合作交流,深入了解平台硬件特性并为其针对性优化,共同开发核心功能,不断提高视觉人工智能技术算法产品与移动芯片的适配性。公司还与索尼传感器、三星半导体、格科微、OmniVision、舜宇光学、信利等业内核心器件合作伙伴建立了业务交流或合作关系,在项目早期就针对特定相机或硬件做算法适配和调优。针对智能终端的芯片平台,公司具备针对CPU、GPU、DSP和NPU等各个算力单元的强大优化能力。结合各硬件算力单元的能力和算法模块的算力需求,公司具备的异构计算优化能力能够从系统层面更有效地优化性能、降低功耗。得益于此,除核心技术能力突出外,公司同时具备优势明显的工程落地能力,在客户提出技术需求后,能更好地联合和发挥在相机模组、软硬件平台、产线、算法等多方资源合作优势,进而提供效果好、能耗低、效率高、硬件平台适应性广并能够快速落地的解决方案。
(二)主要业务、主要产品及其用途
公司专注于计算机视觉领域,为行业提供算法授权及系统解决方案,是全球领先的视觉人工智能企业,始终致力于视觉人工智能技术的研发和应用,坚持以技术创新为核心驱动力,在全球范围内为智能设备提供一站式视觉人工智能解决方案。
公司拥有丰富的针对智能手机等移动智能终端以及智能汽车的视觉算法产品线,主营业务收入来源于自主研发核心技术的授权许可使用。目前主要客户包括三星、小米、OPPO、vivo、荣耀、Moto等全球知名手机厂商以及国内主要的自主品牌、部分合资及外资品牌汽车主机厂商。
针对智能手机,基于多年的研究开发,公司可以提供目前市面上大部分主流智能手机视觉人工智能算法产品,包括单/双/多摄摄像头在各种场景下的拍摄和高质量成像、深度摄像头在各种场景下的拍摄和高质量成像、潜望式长焦摄像头无级变焦、3D建模、全景、SLAM、AR/VR、人脸解锁、超像素无损变焦、人体驱动等重要核心功能。在笔记本电脑上,公司从画质、隐私、美颜等几个方面来提升用户视频会议体验。通过视频去噪、提升动态范围来改善会议时的画质;通过背景虚化、换背景实现用户隐私进行保护;通过人像美颜、人体自动居中、人脸细节恢复和增强、眼镜去反光等技术提升视频会议效果。
在XR领域,与多家业界头部厂商保持密切沟通和交流。在VR/MR/AR智能可穿戴设备上,公司从标定、感知、交互和视觉呈现四大方向布局算法解决方案。可以提供VR/MR/AR一站式多传感器标定解决方案,包括头显6DoF跟踪、平面检测、稠密重建、语义分析、深度估计、实时人体/手部分割、实时3D Mesh重建等空间感知解决方案,手柄6DoF跟踪、裸手3D手势交互、视线跟踪和虚拟数字人表情驱动、人体驱动等交互解决方案,以及异步时间扭曲、异步空间扭曲、视频透视(VST)等视觉呈现解决方案。
在智能汽车领域,面向舱外,公司在行车辅助功能上储备了基于前视、周视、环视、后视、夜视摄像头系统的视觉感知算法,可以提供ACC、LCC、AEB、ILC等高级智能驾驶辅助功能;在自动泊车功能(APA)上储备了视觉感知算法、超声波视觉融合算法、规控算法;提供360°环视视觉子系统,支持2D/3D AVM全景影像功能,支持透明底盘、哨兵监测功能。面向舱内,公司主要在DMS、OMS两种产品形态上积累了一系列视觉感知算法,可以提供例如疲劳检测、分心检测、健康监测、身份识别(Face ID)、手势识别、遗留提醒等座舱监控、互动系统功能。
面向商业拍摄领域,公司基于ArcMuse计算技术引擎推出的智能商拍解决方案PhotoStudioAI智能商拍摄影云工作室(以下简称PSAI),不仅提供了AI试衣、AI模特视频生成功能,而且对于用户输入的各类真人图、人台图以及商品图,均可高质量生成服装模特展示图和商品展示图。此外,PSAI还提供了包括智能抠图、魔法擦除、画质增强、智能美化、智能补光等丰富功能的AI编辑工具箱。
(三)主要经营模式
1、盈利模式:公司主要盈利模式是将计算机视觉算法技术与客户特定设备深度整合,通过合约的方式授权给客户,允许客户将相关算法软件或软件包装载在约定型号的智能设备上使用,以此收取技术和软件使用授权费用。同时,公司也向客户销售软硬一体视觉解决方案。
2、研发模式:公司主要采取自主研发的模式。研发过程大致分为以下9个步骤:①获取需求信息;②管理层决策研发方向;③搭建研发项目组;④验证研发项目算法,进行项目测试;⑤集体讨论决策项目算法;⑥进行底层算法与实际环境的结合优化;⑦进行实际产品结合测试;⑧产品成熟后路演,选择合适的客户进行测试合作;⑨测试合格后大规模推广。
3、销售模式:公司采用直销的方式,主要向智能手机、智能汽车、笔记本电脑、智能家居、智能零售以及各类带摄像头的AIoT设备制造商销售计算机视觉算法软件及相关解决方案。
4、收费模式:按照业务合同的不同类型划分,公司的计算机视觉算法软件主要收费模式可划分为固定费用模式和计件模式两种模式。①固定费用模式:按合同约定的软件授权期限,收取固定金额的软件授权费用。特定客户在软件授权期限内,针对某款、某系列的特定设备内,可以合法地把含有虹软科技算法技术的特定软件无限量装载在合约限定的智能设备上。②计件模式:在合同约定的软件授权期内,按照客户生产的装载有虹软科技算法技术智能设备的数量进行收费。通常情况下,公司会与客户就不同生产数量区间,约定阶梯价格,保障双方利益。针对软硬一体解决方案,公司目前采用计件模式。
5、采购模式:公司的主要采购内容包括研发、测试和运营所需的各类硬件设备、软件、服务,以及产品解决方案所需的物料等。根据需求部门的请购申请,采购部门按照《采购管理制度》的要求,执行供应商选择、采购合同签订、合同执行跟踪、采购付款申请等流程。针对软硬一体解决方案,由公司进行硬件的设计并购买相应部分核心部件后,委托第三方进行组装生产。
(四)市场地位
目前,视觉人工智能市场格局已经初步形成,核心技术、产品化能力、产业生态链合作均构成行业的核心壁垒,建立在自主创新能力基础之上的产品化能力成为最终创造社会价值和商业价值的核心,而能否寻找到规模化、商业化的应用场景则决定了企业是否能够长远发展。
公司是计算机视觉行业领先的算法服务提供商及解决方案供应商,是全球领先的计算机视觉人工智能企业。除本公司外,行业中国内企业主要有商汤科技、旷视科技,国外企业主要有SeeingMachines、Mobileye、Cipia、Smarteye。
全年出货量达十几亿台的智能手机市场是视觉人工智能技术的重要应用领域,也是公司人工智能产品落地应用最为广泛的领域。基于多年的研发和积累,目前公司可以提供大部分主流智能手机的视觉人工智能算法产品和技术。根据IDC所统计的2019年度至2023年度全球出货量前五的手机品牌中,除苹果公司完全采用自研视觉人工智能算法外,其余安卓系统手机的主流机型均有搭载公司视觉人工智能解决方案。在继续巩固智能手机算法影像行业领导地位的同时,公司依靠对行业演进规律和技术更迭的理解,成熟有效的产品落地能力,正横向大力推进在智能驾驶领域的落地。在该领域,公司为客户提供VisDrive一站式车载视觉软件解决方案,目前已经成为国内基于高通智能车载芯片平台上的主流视觉算法供应商。
二、核心技术与研发进展
1.核心技术及其先进性以及报告期内的变化情况
目前,公司积累了大量视觉人工智能的底层算法,构建了完整的视觉人工智能技术体系。
公司自主研发了诸如人脸分析及识别/人脸美化及修复/人体分析及美化、手势识别/物体识别/场景识别、行为分析、暗光图像增强/超分辨率图像增强/视频画质增强/画质修复、光学变焦、虚化技术、3D AR动画等诸多可应用于智能手机、智能座舱、智能辅助驾驶、笔记本电脑、智能可穿戴设备等终端领域的核心技术。
针对单摄/多摄/TOF/结构光等不同种类的摄像头,公司均可提供相应的3D与AR视觉解决方案,帮助厂商在移动设备上便捷高效地实现落地。为满足各智能终端对于VR/MR/AR应用的需求,公司已经研发并可以直接落地使用的解决方案,包括基于双摄/多摄/TOF/结构光的深度获取和优化,以及基于单摄的深度获取引擎,这些深度数据成为一些上层逻辑应用的核心基础;实现了SLAM中环境Map的构建,物体的3D Modeling,视线的检测、跟踪,人体和动作静态、动态姿态的检测和跟踪,解决了实时显示中的延迟等多种问题。为满足智能驾驶人机交互的需求,公司主要研发了基于红外相机、单摄RGB摄像头、双摄、深摄的交互技术,包括手势交互引擎包、头部动作和口部动作交互引擎、经典表情识别,以及视频、照片拍摄时的娱乐功能。
公司在人体分析、人脸识别、人体识别、手势识别、人体美化等技术上,在当前状态下的中段平台达到超过95%的正确率、毫秒级实时性,这些引擎也可以有效鲁棒地支持低端硬件平台,人物属性分析、对象属性分析、多帧多通道质量提升等技术点能达到业界先进的低功耗、高性能、相对强鲁棒的水平。
公司大部分智能手机视觉解决方案达到国内外先进水平,多数新创技术在行业内属于技术首发,能够满足目前市面上中高端智能手机大多数与视觉相关的技术与应用的算法需求,且公司的智能手机视觉解决方案在除苹果之外的主流手机品牌的大部分旗舰机型上获得使用。
公司拥有多项原始创新的核心技术。
(1)人脸分析及识别
针对人脸检测技术在人脸、宠物脸场景下的误检问题进行了进一步优化,同时提升小人脸的检测率,手机版本在内部最新自建难例测试集上保持速度不变的情况下,召回率由93.9%提升到97.5%,精度由99.2%提升到99.7%。人脸关键点定位技术在自测数据集上精度提升2%,在手机应用中针对残缺人脸的定位精度和跟踪稳定性进一步提升。同时也提升了智能座舱应用中镜片反光场景眼睛点的精度,从而使得DMS功能对摄像头的要求降低。在智能座舱场景中,人脸角度和位置估计新方案平均角度在新的难例自建数据集上精度误差由2.98度降低到2.18度。不断提升人脸重建技术在不同表情、不同人脸角度下的稳定性及贴合性,尤其是在自拍场景下的眼睛、嘴巴贴合度更高,在自测集上贴合精度提升3%。
2D Face ID进一步改善效果,在FAR≤100k的情况下,常规场景和戴口罩场景下,FRR改善1.9%~2.4%,优化注册方案,不同场景整体改善2.5%~3.3%;3D Face ID在FAR≤100k的情况下,常规场景和戴口罩场景下,FRR改善1.2%~3.1%;车载场景的RGB/IR交叉识别持续改善,FRR改善1.6%~2.2%,同时进一步改善海外人种识别效果;通用版本支持开放平台全面更新,较旧版本有大幅度提升;人脸识别大模型更新,在FAR百万分之一的条件下多个场景FRR降至1%以下。静默式活体RGB及IR版本持续改善,同时完成了RGB炫光活体的初始版本,效果更优于常规静默版本。性别识别RGB版本精度提升2.6%,IR版本精度提升3.9%;年龄识别效果大幅提升,RGB版本MAE减少28.6%,IR版本MAE减少33.3%。
(2)人体分析及美化
人体检测技术进一步提升,针对手机移动端场景,提升了人体召回率并且降低了误检率,同时提升了目标跟踪稳定性,在内部困难自测数据集上,召回率提升了3.2%达到90.9%,精度提升1.1%达到94.5%,尤其是伸手、踢腿、弯腰等场景的检测效果更加稳定。而车载场景下召回率提升1.4%达到93.19%,精度提升2.75%达到98.75%。人体骨骼关键点技术,在座舱内场景中存在复杂动作、成像存在大畸变的情况下,点位的准确性和稳定性提升较为明显,整体map提升1.81%,为后续人体分析提供了更加可靠的基础信息。人体重建技术通过多相机球型实验室数据的采集和补充以及新方案改进,SMPL模型精度提升2%。遗留儿童检测技术在人脸方案和人体方案两个方面都进行了算法效果提升,人体版本儿童召回提升1.02%,精度提升1.45%。行为识别技术不断完善,针对座舱内场景,精准定位>50个自适应动态关键点,辅助行为分析,进一步提高儿童危险行为识别率。基于行为识别的环视哨兵功能,报警输出算法召回率提升,提高画面中间位置人体很近时的跟踪率,前后画面距离很近破坏车牌场景,以及左右画面前车窗距离很近场景的召回率提升,整体报警召回率提升2%达到98.9%。
人脸美型方案,在效果、性能、稳定性方面有了很大的改进。效果方面,在保持原有形变效果的基础上,精细参数调节,实现非局部形变的功能,模拟出更加自然的形变效果,通过客户验收并获得认可。性能方面,在开启多个形变功能时,优化变形逻辑,提升预览性能,用户体验更好。重构强边缘及大角度保护机制,增强预览稳定性,降低美型失效概率。新增AI人脸美型,参考真实整容技术,注重保留用户原本的脸部特征,使用户脸型美化更加自然,并实现个性化脸型美化效果。人脸美化方向由视觉艺术团队主导,使得美型效果更显美观。基于AI美型方案,已经实现个性化人脸强边缘平滑功能,效果达到预期,计划添加更多美型效果。
人体美型方案根据客户需求,新增人像自然瘦腹功能,提升人像气质。升级人体感知模块,应用人体语义分割、三维人体重建等技术点,人体参数感知结果更准确,变形控制更到位。
(3)宠物分析
宠物身体检测技术采用新的方案进一步提高mAP,有力地支持了Bokeh等产品的宠物场景效果提升。宠物面部关键点检测技术针对大角度姿态、小目标场景进行优化,检测率提升约16%,有效提升了复杂场景下检测的鲁棒性,在宠物面部关键点检测的基础上进一步开发了宠物五官关键点检测,眼睛状态分类,面部姿态分类,可以获取更加准确的宠物五官轮廓,为后续宠物表情增强等产品提供了强大支持。
(4)行为分析
继续提升满足DDAW以及Euro NCAP法规的驾驶员疲劳/分心检测技术方案。通过大量路测数据对疲劳/分心的误报进行实车数据分析,通过多数据融合将基于车机信号与车辆控制信号在内的驾驶员行为数据与视觉感知信息进行融合,通过数据统计优化行车中的误检问题。与此同时,根据大量KSS以及心理行为研究实验结论,结合大量实车疲劳路测数据分析,完成了更加符合疲劳认知的全新疲劳解决方案的研发。根据大量疲劳研究实验进行了真实疲劳数据采集和真实疲劳检测技术更新,提升了基于真实疲劳反应的驾驶员疲劳分级检测,在视觉信息获取上增加多帧、多时间窗口的分析,增大疲劳分析的时间窗口区间,将大量与疲劳行为相近但表现形式有差异的混淆行为进行鉴别,对诸如低头向下看、从左右两侧注视手机屏幕或者其他交互区域等行为与闭眼或疲劳进行区分,形成了与市场同类产品技术的差异化,目前正在尝试将该新技术融入量产方案中,并且实车测试已达到DDAW认证要求。
视线追踪技术已经支持了众多智能座舱量产项目,结合座舱标定方案为驾驶员分心技术提供视线落点输出支持,完成了Euro NCAP法规中需要支持的视线落点检测研发,对驾驶员视线检测覆盖到舱内23个区域。满足了车上所有可能摆放手机位置下的驾驶员看手机分心检测要求,满足Euro NCAP所有视线分心测试场景的检测要求,并将过标方案融入量产方案中,实现了更多满足法规要求的视线功能设计。
根据对ADDW法规解读与技术实现分析,目前已经完成ADDW实车专项测试,并即将在各量产方案中设计算法方案,满足该法规标准继续进行单摄像头下视线追踪技术的精度提升,自主研发基于3D人脸重建与追踪的底层数据特征表达,实现3D视线追踪技术,该技术方案在客观数据指标上实现总体20%的提升,并在大角度场景下实现近30%的精度提升;视线追踪技术继续对多摄像头方案进行研究,并根据项目需要应用在量产项目中,全面提升驾驶员在车内的视线精度,尤其是在人脸大角度下的视线精度,全面覆盖各种摄像头下的人脸全角度。基于多相机方案的视线真值系统已经进入了第二阶段产品原因的研发,目前已经实现了实验室、演示箱与座舱三种场景的搭建,可在多种条件下采集视线与头部位姿的真值数据;与此同时,自主研发了基于用户行为的无感自标定视线精度提升方案,对于视线基础引擎的精度做了较大的提升。当前该方案已经取得了重大进展,通过多组实验获得了新型自研模型,在无需用户配合的条件下完成用户个性化特征提取,与原有方案对比平均视线精度获得了20%以上的提升,当前方案的迭代还在持续进行中。该方案有望实现视线技术在量产方案中的精度突破,为智能座舱交互带来更好的用户体验。同时,视线研发团队还对眼睛瞳孔虹膜特征在成像上的差异进行深入研究,获得了一整套最适用于视线的摄像头设计准则,指导量产项目中的视线摄像头设计。
为了更好地解决量产项目中的不同车型以及各种容易引起摄像头位姿变化的外界影响,研发了一整套完善的视线无感自标定解决方案,为主机厂降低了相机标定带来的成本,目前该方案已经大规模用于量产项目中,适配各种车型的活动摄像头安装需求。与此同时自标定方案在2024年继续进行新技术方案探索,挖掘各种不同车型座舱的共性特征,大规模降低自标定技术依赖的数据存储空间与车型适配成本。该新自标定技术方案架构将在今后的量产方案中大规模应用,为视线一体化方案带来更高的鲁棒性。该技术方案目前可以兼容支持由于内饰颜色、纹理、光照带来的差异,并可以较高精度兼容有差异的车型之间的自标定方案共用,大大提升了产品的容错率与大平台化的可能性。同时该技术方案也在公司的一体化DOMS相机产品中发挥了作用,新的自标定方案将为DOMS一体化带来可靠的技术保障,让DOMS一体化产品的落地提供有力的保证。
基于XR头显的眼动追踪完成了双眼双目多光源方案的研发与调优,并配合头显的需要完成了与眼动相关的外围视觉算法研发,完成了设备端部署,精度效果已经达到业内领先水准。同时对适用于多种条件下的眼动算法进行研究,提升底层引擎的检测精度,并设计融合方案实现眼动追踪精度最优化。
车载表情识别与唇语关键词识别技术也有了重大突破。为了设计出符合用户感知习惯的技术方案,满足更好的用户体验,通过大量实车数据分析,构建了一套全新基于用户无感表情标定的表情识别技术,可以满足个性化用户表情识别的需求,精准捕捉到一些具有个性化的面部行为,大大提升了用户体验。唇语关键词识别技术完成了多模态技术的研发,将语音与图像信息融合,解决了一些有歧义的唇语关键词无法用单一视觉技术方案覆盖的问题。
车载危险行为检测,大力推进基于人体行为分析的多通道信息融合方案,针对目标物存在遮挡、光照条件恶劣等边界场景和困难场景,结合人体姿态信息,在时空域感知目标物体和动作,在对危险行为做出检测的基础上实现初步预测,使得之前单帧方案无法解决的抽烟、打电话难例也能被检出,并且进一步降低了误检的风险。这种结合人体的多通道信息融合方案,也应用在包括方向盘脱手检测在内的危险驾驶行为all-in-one解决方案上,进一步优化了产品体验。面向商用车市场,由于平台差异,研发了不同算力的标准化模型,在提升产品体验的同时大大降低了模型的部署难度和资源消耗。
(5)手势识别
手势识别相关底层算法持续优化改进。手部检测/跟踪算法针对不同目标硬件平台,可选择不同运算量的基础模型,并且增加了左右手等属性的输出,加强了算法的适用性。尝试基于大模型的视频手部跟踪算法。手部姿态估计算法鉴于应用场景越来越多,将姿态估计算法分别整合为不同模型。新的方案通过模型优化,基本解决了关键点估计在大角度及自遮挡条件下效果欠佳的业界痛难点问题,并且提升了所输出的关键点置信度的可靠性。手部姿态估计模型,通过以手部左右手属性为先验输入,可以用之前一半的算力获得更好的性能和精度。持续改善包含手部关键点的上半身人体关键点检测模型,在公司内部客观测试集上,在双手交互的场景下,手部姿态估计的mAP相比单独手部的姿态估计算法提升接近10%。
移动端和PC端手势产品线在推进手势技术落地方面持续发力,多个新增的手势解决方案接近上线。针对手机AON设备的近距离凌空手势控制方案,报告期内针对实际应用场景,优化了识别率和误识率,并且放宽了对用户动作的限制,使得用户可以自然地通过上下、左右挥手,按压和画圈等动作隔空控制手机APP,实现翻页、切歌、播放/暂停、接听/拒接电话等功能。针对手机直播、社交等应用场景,推出了基于单双手静动态手势识别的手势特效解决方案,体现出手势交互的趣味性。此外,应用于windows一体机的静动态手势交互方案,通过系统级整合,将手势交互技术无缝应用于任务管理、多媒体控制、视频会议等场景。目前这些技术正在性能和功耗等方面持续调优,并且根据复杂的实际使用环境逐步提升用户体验。
车载智能座舱手势产品线,基于OMS的RGB/IR镜头的静动态手势交互技术,在报告期内重点优化动态手势,通过在时间域上考察更加完整的手部运动规律来排除相似动作的误识,并实现自适应帧率机制以适应不同设备平台的不同算法调用帧率。此外,针对不同车型在镜头布置上的区别,不断调整算法方案,提升算法效果,保证算法交付质量,为终端用户提供良好的交互体验。鼠标手势交互技术重点提升多人场景下手势检测和跟踪的稳定性,优化用户体验。随着手部姿态估计底层算法的改进,鼠标手势在大角度姿态、手部自遮挡等较难场景下提升了动作的识别精度。为提升舱内手势产品竞争力,新研发了基于双目输入的舱内3D手势识别方案,该方案利用双目视觉算法、双目手部检测/跟踪算法,双目手部3D姿态估计/3D mesh建模算法,实现精准的手部3D位置和姿态的估计。并以此为基础,开发舱内/舱外3D空间目标指向识别、3D手势动作识别等新颖的手势应用。此外,为满足部分新增客户需求,研发了多项手势demo。其中手指指向识别demo基于单目RGB/IR摄像头,可准确区别至少8个方向上的手指指向,该技术可用于舱内多模态交互应用;石头剪刀布、切水果等流行手势游戏demo,具有高准确性、低延迟等特点,能为用户提供有趣的游戏体验。
VR/AR/手势产品线,基于双目输入的3D手势解决方案持续优化。其中手部检测模块重点优化了一些边界条件下的检测效果,整体性能也有了大幅度的提升。基于双目图像输入的手部关键点估计算法优化幅度较大,不论是3D关键点精度还是模型推理速度都有较大改善,尤其对于一些复杂的自遮挡情况算法也有较好的鲁棒性。另外,通过引入时序信息,关键点的帧间稳定性也有所改善。目前3D手势解决方案在准确性、稳定性和流畅性等方面稳步提升。
(6)图像质量分析
人像质量分析重点优化车载客户关注的人脸遮挡,对不同类型的遮挡(口罩、墨镜、手、水杯等)判断正确率提升0.6%~3.1%;以3D建模数据辅助改善角度判断,效果提升2.0%。
HDR场景识别技术持续优化算法方案,在保持低计算量的前提下,稳步提升预测稳定性和场景预测准确率;通用场景的图像画质分析技术,综合评分基础上增加对比度、亮度、色彩度、清晰度、噪声等维度的评分,同时优化评分的单调性,并支持加权组合以灵活适配不同应用场景。
(7)高动态范围(HDR)
YUV HDR支持了旗舰处理器AEB模式下的HDR融合。该模式配合改进的HDR融合算法,实现了零延时的高动态范围合成,实现了高光还原和亮度过渡的平衡,实现了防鬼影和防噪音的平衡,实现了对霓虹灯、日落、天空、室内flicker等不同场景的智能优化,提高了整体的合成率和还原度,该模式支持对动态曝光输入的自适应调整,保持输出曝光的稳定性。在防鬼影方面,加入了基于AI的增强技术,实现了提亮和去噪,减少了运动区域的噪音,提高了运动场景的画质。针对高饱和度区域的还原,转换到HSV空间进行颜色、饱和度、亮度的动态融合,获取更鲜艳真实的颜色。针对中低端平台无法提供ISP提亮帧的情况,通过调整原有框架,改进HDR融合算法和鬼影处理策略,改善融合结果。开发暗光环境人像HDR功能,并支持闪光灯和屏幕补光模式,在暗光人像模式能更好的还原场景动态,同时保持人像的亮度和人脸的细节。根据对不同风格的要求,定制HDR融合策略。基于机器学习算法结合预览图片的统计特征改进动态EV算法,为系统推荐适配的低曝光图片的EV值,提升融合结果的动态还原效果。
基于RAW域的HDR在AI去噪、高动态图像获取方面都取得了巨大进步,针对HDR摄影的复杂环境,从白天到夜晚都准备了鬼影处理策略,在影调方面以保持真实场景亮度分布为出发点,自适应调整影调,在保持原本动态范围扩展能力的基础上使最终结果更贴近客户美学需求。基于场景识别与语义分割,实现对不同被摄环境、不同语义区域的自适应影调调节,并且保持成片的自然度。根据senser、环境信息,智能提升了最终成片的通透程度。针对运动场景实现了智能优化,提升了运动区域的画质,提高了抓拍成片率。弱光环境结合图象分割方面,根据图象区域分割的结果动态调整局部的融合策略,最终的融合结果更加自然。开发暗光环境闪光灯模式和屏幕补光模式人像HDR功能,在暗光人像模式能更好地还原场景动态,同时保持人像的亮度和人脸的细节。进一步拓展了HDR的特性和应用范围:适配了Quadbayer数据,为使用最新sensor获取更好的纹理细节提供了保障;灵活支持可变倍率,为全倍率RAW域HDR的实现打下了基础。在亮光环境下,利用不同通道的混合输入数据,在继承了HDR影调的同时实现了图像纹理细节的大幅提升。
(8)暗光图像增强
暗光图像增强技术,公司为客户的摄像头传感器做了针对性支持,确保每个摄像头的去噪以及保留细节达到最佳效果。改进对齐算法,提升运动区域和人像的配准精度,使得算法结果细节保留更多。改进多帧融合算法,结合AI增强提升细节。改进针对运动区域的去噪和融合算法,消除运动噪音和运动模糊。改进训练策略,使得落地后的性能优化版本效果更好。研发基于增强型的暗光图像增强算法,实现最终出图效果清晰度明显提升。针对中低端设备虫噪严重的特点,开发新的单帧处理算法优化图像。针对人脸部分,开发专门的算法对人脸进行去噪和增强,有效改善人脸的视觉效果。对不同的平台计算资源,比如NPU、GPU、DSP等做性能的最佳适配。同时,针对更低平台做了算法的针对性改进,维持效果和性能的最佳平衡,使得算法可以平铺到更多的客户设备。针对中低端平台将轻量化单帧图像增强AI模块和多帧模块配合,在很小的系统消耗的情况下,实现细节提升。
(9)超分辨率图像增强
超分辨率图像增强技术,通过不同方案的尝试和实践,最终方案在清晰度上有突出优势,在效果和性能上达到了一个新的高度,满足市场客户的需求。拓展更深层的超分维度,YUV域,RAW域,Quadbayer域等,实现超分辨率的质的提升。改进运动区域检测策略和配准精度,改进融合算法,优化AI模型训练流程,提升AI增强的效果。研发基于增强型的AI超分辨率算法,实现在不同的倍率,清晰度和解析力都得到了明显提升。改进针对不同摄像头传感器的去噪效果,提升结果细节。优化代码框架,提升性能。实现在不同的放大倍率上,都展现出更好的去噪效果以及细节水平。结ZSL和PSL的RAW数据,开发25M产品,提升结果细节的同时,保留场景的动态,在多轮算法迭代和框架优化后,实现性能和功耗的大幅优化。
(10)画质修复
屏下摄像头画质修复技术实现了预期的功能,在抑制图像原有噪声的同时提升图像清晰度、对比度和色彩饱和度,图像整体视觉效果更接近普通摄像头效果。文档图像去阴影技术更新了基础模型,改善了阴影Mask检测的效果。通过对模型的优化和精简,在降低计算量的同时,也大幅降低了内存占用量,并且效果和之前基本一致,从而使得该技术在更多中低端手机上落地应用。此外,通用场景去阴影技术的研发,也拓展了该技术的应用领域。
美食阴影去除方案,提升了对美食阴影区域的精确分割,支持对室内各种强弱和不同形状的阴影做更合理的处理,在阴影去除后恢复出真实的食物颜色和对比度,进一步提升了用户的使用体验。在数据方面,阴影分割模型仅使用少量标注数据训练预标注模型,大幅节省数据方面的人力需求,提高了数据迭代的效率。支持开发了多种合成数据方案,有效补充了不同美食和阴影数据的场景组合。目前美食阴影方案在平均得分上超越竞品2%,同时在多个困难场景主观评测上得到提升,满足用户的画质处理需求。
通过对摩尔纹产生机理的深入研究,对摩尔纹合成算法进行了改进,可以根据不同场景,生成对应的摩尔纹,提升了数据的真实性和丰富性。算法上尝试了多种新的方案,提升了去摩尔纹的效果以及泛化性能,同时精简了模型,降低了计算量。去反光技术细分各种拍摄场景,设计了有效区分反光层和背景层的代价函数,有效地改善了强反光边缘的场景使用效果并抑制误去除,相比基础版本有明显的改善,未来还需要进一步与竞品效果做比较。
图像去反光技术使用了更加简洁和高效的网络模型,通过设计多种有效的数据合成方案,降低了样本采集难度、提升了数据制备效率。此外,针对客户需求,优化了特定场景下的效果。目前算法在去反光效果、颜色保持、抑制伪影等方面相比之前版本有了较为明显的提升,相比竞品具有一定优势。接下来会根据需求继续打磨效果,进一步提升市场竞争力。
(11)视频画质增强
视频超夜技术,持续改善AI降噪模型的降噪能力和细节保持能力。针对PC端需求,合理根据多款摄像头的不同噪声特性,设计针对性的训练方案和量化策略,达到降噪质量和性能上的较好平衡。针对PC端视频会议的需求,提升视频噪声估计模块的准确率,使算法在不同环境下自适应调整处理强度,获得更好的效果。进一步提升了鬼影检测技术,改善了运动物体的去噪效果。扩展了视频超夜技术的应用场景,将其应用到鱼眼镜头,针对这种特殊的镜头专门设计了训练数据的采集方案,在模型设计上也采用了新的技术,保证了鱼眼镜头的视频超夜技术具有良好的去噪效果。视频超分技术,持续改善AI超分模型的效果,针对视频会议应用中的文字内容,着重提升了其在多种字体下较小字号时的清晰度和可阅读性,以及提升了人像区域的清晰度。增强了模型的鲁棒性,提升了混合语言文字场景的效果。优化密集纹理场景的效果,减少这类场景出现假纹理现象的概率。视频插帧技术,针对该技术在模拟长曝光场景的应用,持续提升了其在大运动和频闪等复杂场景下的追踪能力和稳定性,强化了其对非刚性运动物体的运动表示能力,改善了运动轨迹的平滑性和动态范围。针对该技术在视频编码插帧场景的应用,提升了其在物体遮挡和复杂背景下的追踪精度,改善了插帧结果的边缘清晰度。对于两帧图像焦距、焦点、画质变化比较大的场景进行了针对性优化,重新设计了数据采集方案,使得这种差异大的图像插帧效果具有良好的平滑性。
(12)畸变消除
进一步优化了光学畸变消除性能和功耗表现,提升了视频流的处理性能;进一步提升了身体部分的修正效果并优化了任意输入区域透视畸变弱化的效果;设计实现了人脸和身体透视畸变检测及自适应矫正的方案,扩展了人像矫正的适用范围。增加了人像俯仰拍摄畸变修正方案,针对不同角度拍摄人像进行拍摄角度修正,合理利用畸变,提升了人体拍摄美观度。
(13)光学变焦
平滑切换支持更多的摄像头组合,变焦算法扩展至更多的低平台,更新镜头间公差校正算法,解决低端平台因摄像头公差较大导致的旋转跳变感,更新融合过渡算法(即fusion),功能上将fusion模式拆分,实现模块化和参数化,能够针对客户需求定制fusion效果,提高效率。
同时在更多的场景下支持fallback模式,新增融合过渡,使得切变效果更加自然;改进融合技术涉及到的核心算法,自适应处理不同场景下的融合切变,效果提升明显。支持客户ISZ模式输入的光学变焦,fallback模式和融合切变。支持跨镜头间的fallback/recovery,并同时加上融合过渡效果,另外首次在四摄上同时实现上述功能。针对客户需求,研发用于视频record的多摄像头平滑切换算法,相比preview模式,切变效果更加平滑自然。
(14)多摄标定
进一步扩大AVM标定和BSD标定的适配范围,以完成更多厂商/车型的需求,设计完成全套车载摄像头标定解决方案,包括EOL、在线、售后车载多摄像头标定姿态相对/绝对标定解决方案,设计完成激光雷达标定、AR HUD标定、红外传感器标定方案。开发全新的车载实时标定方法,可以更加有效地应对大曲率弯道及大坡度上下坡场景,并对车道线短期失效场景具有一定的鲁棒性。完善在线标定和售后标定方案,投入实车部署。售后标定针对实车部署进一步提高了性能,精度及稳定性,支持范围扩展到了远近红外镜头。针对双目电影模式OIS开发了标定功能。
(15)全景拼接
增加了对RAW数据作为输入的支持,在低光场景下对噪声抑制有一定的提升,并能够扩展全景图的动态范围;针对一些带有运动物体的场景,通过检测运动场景内的运动物体并加以保护,减少鬼影,对于大的运动物体,效果提升比较明显。针对3x摄像头下图像帧间移动距离变大,景深差异更大的特点,改进了匹配和融合算法,改善了拼接错位,减小了扭曲程度。针对超广角镜头优化了部分场景直线扭曲的问题。针对慢速移动并轻微手抖的拍摄方式,改进了选帧算法和策略,减少错位。针对仰拍和俯拍的场景,加强了匹配算法,使得这种视角变化比较大的场景,具有较高的匹配精度,同时利用GPU等硬件资源,实现了算法的加速,使得效果提升的同时保持性能不增加。进一步改善了强边缘问题,并针对不同倍率的镜头进行了优化,使得近距、广角、长焦拍摄全景都具有良好的质量。
(16)人脸美化及修复
公司在图像修复与编辑方向上长期致力于Live Photo、视线校正、人头姿态校正等人脸修复与编辑技术。
Live Photo技术调整了深度神经网络结构,针对性地改进了口腔区域模糊、不真实的问题;研发了针对特定人物的微调技术,使得算法能够生成更加逼真的结果;对网络进行性能优化,使得效果可以在PC设备上做到实时。改进的新版本可以不依赖于初始的对齐步骤,利用隐式参数传递即可完成人物驱动,提升了技术的易用性。新研发了视频口播数字人技术,基于用户提供的几分钟视频素材可以训练得到对应的数字分身,在输入不同的文字内容时可以进行相应的生动播报,支持中文、英文等多语种。新改进的版本提供了可跳过预训练的通用口型生成方式,使得用户可以便捷地对视频中人物口型进行替换,降低创作门槛,同时新版本还增加了语音克隆和视频延长的功能,进一步提升了生成视频的真实性。视线校正技术研发了全新的3D视线校正算法,创新地结合了三维人脸重建和二维图像编辑方法,相较于前代算法产品,突破了正脸姿态的限制,并且大幅度拓展了算法能支持的视线角度,在人脸角度和视线偏移角度均较大的情况下算法依然可以得到正确的矫正结果。在用户主观测试报告中,新的算法在真实感、矫正范围、算法稳定性、准确性等方面均明显优于竞品。人头姿态矫正技术结合了三维人脸重建与生成网络技术,设计了新的实现方案,相较于去年的版本,对效果的自然性、头部角度支持的角度大小、算法性能消耗等方案均进行了较大幅度的改进。在效果上,相较于前代版本,解决了可能会出现的额头部分变长、脖子区域融合拼缝、面部抖动、面部刘海导致眼镜断裂等问题,在视频上能做到连续、稳定、自然的结果。在性能上算法完成了模型的蒸馏和量化训练,以及计算过程全部部署在GPU上,实现了算法在设备端的实时运行。
在人脸美化技术上调整了磨皮方案,进一步提升了细节表现力,肤质纹理更加自然,增强了对不同画质人脸去噪的自适应性,改善人脸明暗不均现象的同时立体感也得到提升;实现预览磨皮算法,在去脏能力、通透度、立体感、肤质细腻度方面都有所提升;实现了Vulkan方案的磨皮、美白、美唇、亮眼、白牙等美颜技术和腮红、眼影、SkinGloss、美瞳等美妆技术,在基本保持性能和视觉效果优势的情况下,解决了客户不同设备平台间驱动更新时产生的兼容性问题,降低了产品的维护成本;实现了4D眼睫毛、眼影、唇彩、腮红、SkinGloss等4D美妆技术,较大程度上提升了美妆的真实性、立体感和光泽度,进一步优化了大角度、姿态下的美妆效果;实现了AI唇部、眼部遮挡物体分割算法,提升了美妆技术的实用性;实现了AI预览祛斑算法,较大提升了预览美颜的祛斑、去脏能力,对肤质纹理也有很好的保留;优化了拍照AI祛斑算法,对大侧脸提升祛斑效果的稳定性;图像祛斑方面也增加了去抬头纹、去颈纹等新功能。性能功耗方面,进行了GPU优化、模型优化和NPU硬件优化。优化了拍照AI祛斑算法,对大侧脸提升祛斑效果的稳定性。预览头发柔顺技术可以去除视频中的杂乱发丝、捋顺发束,达到美发风格化的效果。针对海外市场需求,定制实现了Bindi检测技术,可保护印度女性眉心Bindi,提升美颜效果;针对客户对高清人像的需求,开发了结合AI的人像算法,在调整光影瑕疵、修饰皮肤质感和恢复五官结构上做到了光影更好看、肤质更细腻、五官更清晰,打造了人像审美的高级感。
低光照和极暗光线下的人脸美颜解决方案继续扩展了超清人像美颜风格的应用平台,人像视觉效果更加自然、整洁,同时保持清晰度和立体感。视频任务上,针对移动设备端改善了模型以及任务框架,增强人像效果以及自然程度,同时提升了性能并优化了功耗。而PC端主要增强人像修复强度,提升人像解析力,同时针对不同平台做了专门性能优化。实现针对车载、平板、PC、手机等设备的视频人像修复的轻量级模型部署。
人脸修复技术针对不同画质的人像照片,进行了更细致的算法区分处理,能够让正常拍摄的人像脸部肤质更显性、更自然,将长焦或极差环境下拍摄的人脸恢复清晰,目前算法都已实现在手机端的部署,作为整体画质增强模块的一部分,人脸修复技术已应用到多个产品之中。
(17)虚化技术(Bokeh)
持续优化视频虚化(电影模式)、单摄虚化、双摄虚化的产品细节,始终保持行业的领先地位。视频虚化支持了P010格式,色彩更加丰富,光斑的层次感、立体感及艺术感更强;支持了任意形状的光斑,效果更具有艺术性和创造性;优化了自动及手动对焦算法,对焦主体检测及跟踪更加准确、稳定。单摄虚化支持了极浅景深效果,能够模拟超大光圈拍摄人物特写时的虚化效果。视频虚化和人像虚化均继续改善了边界的准确性,效果更加真实、自然。在保持准确性提升的同时,性能和功耗也都有10%以上的优化。作为底层核心技术,视频虚化和单摄虚化均持续保持行业领先,并在更多客户及平台成功出货。
视频虚化继续精细打磨产品细节,持续保持行业领先水平。重构并升级了底层渲染引擎,对各硬件平台均具有更好的适配性和通用性,提升了算法部署效率。进一步优化了性能及功耗。优化了视频光斑触发算法,使得光斑更具层次感和立体感。单摄电影模式继续在更多手机客户及平台大规模成功出货,双摄电影模式也开发完成并成功出货。
升级了新一代渲染算法,该算法在效果上更加逼近大光圈的单反镜头,光斑更具真实性、自然性和艺术性;改善了渐变的层次感,使其更加立体、自然;改善了边界的准确性,使其更加锐利;进一步改善了虚化效果的准确性及渐变虚化的层次感,提升了成片率;支持了圆形及椭圆形电影镜头级光斑效果。支持了高通SM8550等旗舰手机平台4K分辨率30FPS实时渲染,同时支持下沉到高通SM7325等中端手机平台并成功出货。实现了已拍摄视频在相册中重新编辑虚化强度、对焦点等功能的算法原型;作为底层核心技术,多维度达到了业内领先水平,为电影模式在多家手机客户成功出货提供了重要技术支撑。
升级了视频换背技术,能够根据背景图像自适应地调整前景的色调和亮度,使融合结果更加自然、真实。优化了手机前置摄像头自拍场景下的人像虚化效果,发丝更加准确、真实、自然。双摄虚化基于更加精确的双摄AI深度,进一步优化算法,使得效果更加精确和自然,接近单反相机拍照的效果。同时虚化算法、HDR和超级夜景等画质类算法结合,显著提高了虚化光斑的层次感和真实感。进一步基于特定的单反相机或镜头专门优化光斑效果,使得更加接近光学镜头拍摄的效果,如哈苏风格化等。结合第二代AIMatting技术,发丝的数量和精准度对比前一代有了显著的提升,使得发丝更加分明,更加接近光学相机拍摄的效果。
双摄虚化与Turbo Fusion技术有机结合为Turbo Fusion Bokeh,利用Turbo Fusion获得真实场景亮度信息,使得虚化更加接近单反相机在实际场景中的拍照效果,光斑更具能量感和层次感,形状更加接近单反相机的效果,颜色也更加真实。Turbo Fusion Bokeh的光斑效果升级成2.0版本,光斑的颜色、亮度、形态和层次进一步逼近真实相机拍摄的效果。
全新的AI Bokeh技术,可以修复深度图上的瑕疵,是业界首次可以逼真地模拟出接近单反相机真实自然的前景虚化效果,同时还可以支持多种单反相机的光斑形态。
(18)深度恢复
持续迭代优化不同场景、算力、精度条件下的各类单摄深度恢复模型,超高精度深度恢复模型的准确性进一步提升,能够更加准确表达多景物、同层次、不同纵深等场景的深度描述,并且进一步优化了边界准确性,为更多高精度深度需求的应用提供底层支撑;高精度深度恢复模型应用于单摄虚化等拍照应用,重点改善了同层次一致性等维度的精度,大幅提升了成片率,支持了单摄虚化的极浅景深模式;应用于人像视频虚化(电影模式)的视频深度恢复,显著提升了整体准确性和成片率,提升了中远距离人像场景的精度,同时优化了性能与功耗,持续在多维度保持了行业领先水平,满足了多家客户对于精度、功耗、性能等指标的高标准要求。
为进一步满足客户要求,双摄方案利用全新的技术对双摄深度进行估计,对传统方法比较难处理的重复纹理、无纹理区域有着极大的改善,并且极大地提高了深度的准确性和精细度。同时针对一些特殊情况,比如细小物体、透明物体、反光物体、低光夜景场景等,训练了全新的双摄深度复杂模型。进一步优化了复杂模型的效果,针对移动设备上的性能限制,在兼顾效果的同时训练了内存和性能更优的小模型,并且对于不同的双摄模组排布支持的也更加完善。针对夜景的双摄深度模型,使得深度效果更加稳定。另外,双摄视频虚化方案则进一步提高了深度图的准确性、景深变化的自然感、前后帧的稳定性,并对OIS的启用提供了支持,同时做到功耗可控,同期首次在安卓平台上部署推出了双摄电影模式。
(19)图像语义分割
优化人像Matting算法,针对接入人像虚化后,发丝区域在复杂背景和光照下的误虚、漏虚和断续等问题,在算法端和数据端同时发力,对Matting效果进行了迭代升级,使得发丝效果更加连续顺滑,细节得以准确保留,整体效果更加真实自然。
继续优化AI Camera智能场景识别算法,在稳步提升白天场景多语义分割准确性的同时,还特别针对夜晚场景进行了效果优化,提升了夜间人像、天空等类别的精度,为夜景增强应用提供了支持。
针对日益增加的视频处理需求,开发了视频物体分割算法,并实现了该算法的设备端部署。该算法对于物体的遮挡、消失、形变等问题也有较好的鲁棒性。该算法能够为多种视频编辑应用提供支持。
对AIGC线上人体区域解析大模型进行了优化,在分割效果维持不变的情况下,推理性能优化了30%。通过进一步的数据迭代,充分发挥了大模型的学习能力和特征提取能力,提升了人体区域和服饰区域的分割精度。
(20)物体识别
车牌检测解决方案针对行车记录、哨兵模式、车外实况直播等应用场景进一步优化效果。支持常见自动驾驶芯片和车机芯片,并结合GPU、DSP、NPU等高性能运算资源进一步优化性能,可以满足在线实时检测的需求。同时车牌检测解决方案已支持Android、Linux和QNX等操作系统。进一步优化了复杂光照车牌场景下的检测效果,当前在内部车载多种应用场景实车采集测试集中测试结果召回率提升至98%以上,误检率降低至5%以内,满足《汽车传输视频及图像脱敏技术要求与方法》中的相关要求。哨兵模式针对不同的车厂客户,优化满足不同类型摄像头的车牌检测和脱敏,支持了不同国家和颜色外观的车牌检测。增加了车辆的最近点测距,优化不同角度行驶方向的车辆测距精度,改善开门杀的功能检测率到97%以上。支持车辆在低速行驶时对运动目标的检测识别,增加车辆在AVM场景下的碰撞预警功能,增加了车辆和其他非机动车的目标识别和测距算法,增加车门开关动作识别,同时支持高中低三档灵敏度的报警算法,方便用户选择。
(21)场景识别
场景识别引擎GPU版本继续更新迭代算法模型,支持高通、MTK等NPU平台的运行,进一步提升了全体场景检测准确率,改善支持任意角度和有限度遮挡的目标场景检测。
(22)三维重建
三维重建技术更新了基于3D高斯的重建算法方案。与原先的NeRF方案相比,重建速度和效果都有比较明显的提升。实现了一套在线内参标定算法,可以支持任意手机拍摄的视频作为算法输入而无需事先标定,方便服务器端重建应用场景使用。实现了一种全局一致的前景分割算法,能从视频中自动分割出前景物体完成重建,剥离不相关的背景。支持手机端实时渲染,能较好地复现各向异性的光照效果。
针对XR眼镜应用场景,迭代和部署实时三维重建技术。迭代实时语义场景重建,并构建出室内场景的布局信息,目前已经支持室内场景墙、门、窗、天花板、地面、桌子、椅子等元素的布局信息,形成一个更简洁,信息更丰富的室内场景信息,为XR上层应用提供更加完善的语义信息,方便XR创作者创造出更加丰富的应用。
开发静态场景隐式建模技术,支持生成高真实感的新视点图像。该技术方案根据视频与实时获取的相机位姿,用神经网络隐式建模三维场景,通过可微的体渲染技术,实现端到端训练。该技术方案可重新规划相机路径后渲染得到新的视频,用于视频编辑和立体视频生成等。结合神经辐射场和隐式符号距离函数几何表达,还可用于重建静态场景的三维网格模型。在静态场景建模技术基础上,增加室外街道场景的动态物体建模,从而支持对开放式动态场景进行建模,并同时对静态场景和动态物体进行渲染。增加了基于3D高斯的动态街道场景建模,提升了渲染的图像质量与速度。
(23)光照重建
继续对基于Diffusion模型的人像光照重建功能进行了优化和改进。首先,通过算法改进,增大了生成图像的分辨率,使得图像细节层次更加丰富细腻,提升了光影的表现力,使得重建后的人像图像在光照效果上更加自然逼真。其次,为进一步提升处理成功率并减少潜在问题,显著提升了整体处理效果的稳定性和可靠性。在保持并提升效果的同时,我们优化了网络结构,实现了处理性能的显著提升,性能较优化前提升了一倍以上。
为满足客户将重打光功能部署至中低端设备的需求,开发了Lite版本。该版本在略微调整处理质量以适配资源限制的同时,大幅度提升了处理性能,确保了功能在中低配置设备上的流畅运行。
为丰富打光功能的应用场景,将重打光功能进行了拓展,从原本专注于人像、宠物等特定对象的打光处理,拓展至可作用于普通商品的重打光。
(24)即时定位与地图构建(SLAM)
VR手柄跟踪是SLAM技术的一个新拓展领域,是VR终端设备的刚需技术。VR手柄算法完成了从仿真到实际设备开发的转变。支持多种第三方设备,并支持双手柄实时交互,实现了安全区设定、空间划线等功能。对VR手柄跟踪算法的性能、鲁棒性、精度等进行了全面的优化,在高通XR2设备平台上,算法单帧耗时在22ms以内,支持视野可见范围内2m/s的剧烈运动,平均定位精度小于6.5mm。除了基于光斑的传统VR手柄,还开发了使用手机作为VR手柄的功能,可以使用普通的Android手机实现实时六自由度跟踪定位,实现菜单点选、简单的游戏交互等。对手机手柄跟踪算法的性能、鲁棒性、精度等进行了全面的优化。从逻辑上优化了用户体验,使得输出轨迹更加光滑、流畅。
SLAM技术在XR眼镜的头部位姿估计上取得显著进步。头部位姿估计是XR眼镜的一个核心技术和基础功能,要求低功耗、高精度和低时延。通过优化SLAM算法和把视觉模块从CPU移到DSP,SLAM算法计算效率提升30%,有效地降低了功耗和运动时延。针对XR常见的室内小面积使用场景,对建图模块进行大量优化,极大提高后端建图和实时定位精度。同时,改进姿态预测模块,实时定位准确度提升30%,接近业内毫米级的定位精度要求。已有版本在多款XR原型眼镜上集成,能为快速、准确的头部位姿估计提供良好的用户体验。
同时,SLAM技术在本年度内扩展到高阶辅助驾驶领域,包括城市NOA产品的记忆行车自建图算法和基于SDMap Pro地图的BEV道路融合定位。在轻图辅助下,本报告期内实现了硬件选型,BEV+GPS+里程计的多传感器融合定位算法,支持城区内各种复杂路段。
(25)3D AR动画
公司打通了3D数字人创建、编辑、实时驱动全流程。支持基于单张图或扫描模型完成数字人重建。与之前的重建算法相比,改善了头顶区域、眼睛的相似度,提升了纹理重建效果。编辑模块支持对重建模型的脸型、头型、五官、脖子等进行直观地修改。实现了基于单个RGB摄像头的实时全身驱动,包括表情跟踪与手势跟踪,实时动画效果基本达到业界领先水平。3D数字人重建增加了人头重建模块,提高重建人头几何的相似度;支持双眼皮的拟合,眼睛的相似度;增加了编辑模块,支持重建模型的再编辑及调整,同时也支持从中性模型开始编辑。新研发了基于球形实验室多视角数据的超写实数字人重建方案。新方案的重建质量远好于传统方案,3D渲染结果能达到以假乱真的地步。支持左右90度的视角渲染,渲染结果包含部分躯干。支持表情实时编辑,也可进行单目表情实时驱动。为了改善3D数字人重建的真实性及超写实数字人重建的便捷性,新研发了基于3D高斯表达的数字人方案,此方案更加便捷,用户仅需输入两分钟左右的自拍视频,即可重建出包含部分驱动的写实数字人,算法可在手机端运行,不仅支持表情、视线、头部位姿的实时编辑及驱动,也能较好地复现出各向异性的光照效果。
(26)健康监测
在保持健康监测技术稳步量产的前提下,丰富座舱健康监测内容,提升用户体验感受。心率检测方面,利用先进信号处理技术,实时跟踪心率动态变化,针对升降变化过快或过高过低情况进行报警提示,将生理测量技术落实到驾驶员安全保障应用上;呼吸检测方面,利用新的信号处理方法,扩大瞬时呼吸支持范围,提升瞬时呼吸算法场景鲁棒性和精度,并在主动检测功能中新增9种呼吸异常状态的检测。完成了基于IR摄像头的HRV测量初始版本,心理健康算法功能进一步完善,精度提升。
(27)高级驾驶辅助系统(ADAS)
ADAS产品扩大测试范围,感知引擎针对复杂场景深入优化,功能上不断细化补全。前视解决方案中,在各困难场景中的表现显著提升。其中远距离大型障碍物、进出隧道切换场景、暴雨场景、封闭道路上下匝道场景迭代更新分析模型,针对城市道路车道切换场景等困难场景都达到量产效果。基础AEB功能上,通过模型迭代,大幅降低广告牌、标识牌类误检,优化AEB误报率,使得繁忙道路下AEB误报率达到1次/6小时以下;近盲区感知功能也得到提升,通过优化车辆朝向角算法,提升切入切出车辆识别率,扩大识别范围。前视ADAS产品功能也继续细化、完善,针对各类临线行驶机动车或两轮车,新增防御性避让功能,提升驾驶员在行驶过程中的安全感。用户人机界面上,重点提升各输出要素稳定性,降低各类切换跳变现象,目标流畅度达到市面同等配置产品主流水平,且目标数量上高出平均值50%以上。行车感知新增7V BEV感知方案预研,面向下一代L2+行车功能感知解决方案。因多相机观测,支持更广的横向感知距离,且在BEV空间做特征前融合,少了多相机输出的后融合步骤,感知上限更高。产品整体表现上,场景适配范围更广,用户体验显著改进。夜视解决方案中,底层障碍物模型持续迭代,大型车辆检测精准率提升3%,跟踪ID跳变率降低5%;多个复杂场景持续适配,变道场景通过时序算法优化。繁忙城市场景通过调节碰撞轨迹预测算法,降低行人二轮车误报率;CNCAP场景引入更多车机信号的联合优化,提高响应命中率。整体表现更鲁棒,有效报警率提升。
(28)图像特效
基于丁达尔效应产生的物理原理,选择合适的场景对仿真实现进行合理的简化和模拟,最终实现一套结合AI和CG的方法,为特定的场景图像添加上合适的丁达尔特效效果,提升图像艺术感。人像线条画效果和宠物线条画效果,这两种效果都结合了AI技术和审美的艺术,通过AI算法提取出具有表现力的线条,然后根据审美的评判制定一些准则将原始图像转换为一幅线条艺术画。目前二者都已实现手机端部署,并有参数控制线条粗细、颜色、数量等,从而满足不同用户的自适应调整需求。
光照耀斑项目基于对物理世界相机镜头与光照规律的精确建模,通过模拟实际镜头的参数,设计任意预想的耀斑效果。在用户拍照时添加耀斑效果,能显著提升图像的层次感和真实感。同时,精心设计的耀斑样式还能提升图像的艺术美感。该算法结合了光照方向检测,能够根据当前光照环境自动调整耀斑样式,以确保耀斑效果与当前场景自然贴合。目前,该项目已在手机端部署,并包含耀斑颜色与样式设计模块,可以满足用户获取不同耀斑风格的需求。
Flair Clip人像风格化效果通过无监督、少样本地学习特定风格的图像,将图像风格迁移到目标人像中,同时保留人物的可识别特征,实现了数据需求量低、效果稳定、帧间连续性好的人像风格迁移算法,并在服务器端进行了部署,同时向客户递交了一些测试通过的风格化模型进行商用。
(29)生成式AI(AIGC)
新研发了AIGC视频生成技术,能够基于单张人物全身照片和预定义的动作模板生成相应的动画视频。该技术使用便捷,生成的视频能够很好地保持输入图像的人物脸型、发型、服装、配饰等外观,也能较好地保持图像背景不变。同时,能够很好地表现大角度的人脸以及生成转身的效果。目前,该技术在PSAI网站上线,基于用户上传的图像生成模特走秀视频。
通过深入的尝试与研究,基于潜心沉淀的视觉大模型、小模型(细分模型与浅层模型)以及各类CV和CG引擎包构建了一套专有的计算技术引擎ArcMuse。该引擎为虹软PSAI赋予了卓越的智能商拍能力,可高质量生成服装模特展示图、服装展示图、商品展示图及模特展示视频,全方位提升商拍图片及视频的美感和质感,助力用户在效率、创意和成本方面取得更大的提升。
对于其中的AI模特视频生成功能,用户仅需要上传一张全身模特照片,即可生成转身等复杂动作,高保真地展现和还原模特穿上服装后的动态效果,以及衣服的物理效果。它基于ArcMuse计算技术引擎大模型的生成能力,并结合了公司多年沉淀的视频人像属性解析技术,能够保持模特自然的写实效果,无论是正面、侧面、大角度都可以高保真生成和还原,同时可以完美地还原服装物理效果,如裙摆的飘动,完美地表现模特穿上服装之后优雅的风采和神态。
对于其中的AI智能试衣功能,用户只需要上传一张服饰图,选择目标模特,即可生成该模特穿着该服饰的效果图,该效果图能够真实体现服饰穿着在模特身上的悬垂感、褶皱及光影变化等,且与真实服饰保持较好的一致性。其中的服饰图可以支持挂拍服饰图、平铺服饰图及3D服饰图,且支持上装、下装、裙子等多个品类的服饰。目标模特同时支持内置模特和用户自定义模特,其中内置模特覆盖不同年龄、性别、肤色等,用户自定义模特可由用户根据自身需求上传相应图像。该功能基于虹软自研扩散模型基础架构及海量数据训练,能够极大简化传统真人模特拍摄的流程和效率。
对于其中的真人图/人台图功能,用户上传一张真人图或人台图后,PSAI将智能保持用户提供图片中的服装信息,在生成阶段,PSAI为用户提供丰富多样的预设模特和场景资源选择。预设模特包括不同年龄、性别、人种和风格的模特,例如儿童、中年和老年,网红风、韩风、美式复古风等;场景方面,PSAI提供上百种不同预设场景风格的选择,包括影棚等各种室内场景,以及森林、雪山、草原、沙漠等室外场景,这些多样化的资源将帮助用户在提升效率、创意和降低成本方面取得更大的进步。同时,PSAI支持了用户通过提示词自主描述模特场景,或上传场景参考图,丰富了场景来源和选择性。真实而风格迥异的模特形象,可以吸引更多目标消费者的注意力,增强商家的品牌形象。
对于其中的AI商品图功能,用户只需上传一张商品图,即能够智能保持商品主体信息,并基于ArcMuse计算技术引擎大模型和众多引擎组件的生成与控制能力,高效地生成多种场景和风格的精美广告图,大大降低了商品图的制作成本。为了达到商品与场景的完美融合,提供了纯色、展台、海边、雪山、赛博朋克、多巴胺等多种预制场景供用户选择。通过在算法层面对生成过程的精细控制,使得生成的场景更加真实、效果更加自然。同时,针对用户的个性化需求,还支持了任意画幅比例生成、预制素材库、上传参考图等功能,允许用户自主控制画面的构图、元素、色彩和风格,极大地扩展了用户的创作空间。报告期内,PSAI也支持了用户通过提示词自主描述商品场景、背景合成、相似风格、拍同款等功能,给客户提供了更多更便捷的选择。
除了以上四种核心AI技术,PhotoStudio AI还提供了智能补光、智能美化、魔法擦除、画质升级和智能抠图等AI编辑功能,既可以完成商拍成品图的美学提升,也为用户的创作提供了更大的发挥空间。
(30)泊车辅助系统(AVM/APA/HPA)
AVM技术扩展统一了各视图的效果调整策略,可以有效地支持客户对不同效果的定制化需求,完成了标准化、平台化、工具化,提升项目落地效率;精细优化了产品的动态效果,支持前视图和透明底盘的动态展示,增加全景视图到局部视图切换动画,丰富车模的动画效果;接入多传感器信息,自适应优化鸟瞰图拼接参数,减少显示盲区和拼接损失;深入改善了透明底盘功能,改进在车辆变速、转弯等复杂场景下的对齐效果,提升底盘内容的清晰度,并实现了精确的底盘区域分割和细腻的动态轮廓效果。
在L2级行泊一体解决方案中,自动泊车辅助(APA)和记忆泊车辅助(HPA)是其重要组成部分。APA功能能够在无需驾驶员干预的情况下自动完成泊入动作,而HPA则允许用户在完成一次路线行驶后,再次到达相同停车场时基于历史建图自动完成循迹泊车。自动泊车辅助在视觉感知方面拆分为车位检车和避障检测两大技术点:①车位检测能够在寻库、泊入阶段实现垂直、水平、斜列、砖线、机械全类别的检测结果,并且能够提供视野范围内任意目标车位的高精定位,3m内车位入口感知精度误差<2cm,为极窄车位、机械车位等困难场景提供可靠的安全冗余;特别针对业界难点的机械车位,开发了配套的感知解决方案,配合规控已经实现了机械车位成功泊入,泊车成功率持续优化中。在本报告期内,待优化项更加收敛,针对难例场景进一步迭代模型,提升低照度、强曝光、强阴影、积水等开放场景的感知稳定性。自动泊车辅助过程中,结合融合多帧的车位检测结果,构建基于车位角点的优化问题,提供车位跟踪、车位建图以及基于车位的自车定位功能,在寻库、泊车过程中向下游提供稳定、精准的车位地图,达到准量产水平。②在避障检测方面,Free Space检测通过数据工程模型方案的持续改进,显著提高了模型精度,并支持了不接地、墙体在内的更多语义。在模型设备端输出最关注的0~5米内,同类别点平均距离误差下降至原有误差的70%,所有点平均距离误差下降到原有误差的67%,测距点满足分类和距离要求的召回率显著提升;OD算法中进一步加入了车辆行人等类别的关键点检测,通过模型输出目标朝向角和测距点细粒度语义,服务下游模块。在视觉空间车位检测上,支持了不同方向下对车辆角度的准确估计,实现了水平和垂直空间车位的有效检测和跟踪,完成了准确的视觉空间车位泊入,弥补了超声波雷达空间车位的不足。在多模态感知融合方面,增加了超声波雷达障碍物检测结果与视觉障碍物检测结果的感知融合,提供了更加安全可靠的泊车可行驶区域。
APA自动泊车规控上利用混合A*成功实现了垂直车位、平行车位、斜列车位的正常泊入,并顺利匹配到大小不同车型上,并在小车型上验证了立体车库的泊入效果。重新梳理架构之后,引入了决策模块,并将R核中消耗算力过大的部分移植到A核中,完善了整个泊车系统的完整模块架构和链路。充分利用混合A*优势对泊入轨迹进行有效拼接,极大地提高了泊入成功率,用于解决断头路,极窄车位等难题。
HPA在视觉感知方面的技术点则为大范围语义泊车地图的构建,包括车位、立柱、地表标志、减速带、道路边界等元素的泊车语义地图构建。完成构建泊车地图,可用于自车定位,提供目标车位的指引;也可用于记忆泊车过程中的路径规划。在本报告期内,HPA算法的效率、稳定性和初定位重定位的准确性进一步提升,确保车辆在进入泊车区域时能够迅速且准确地进行定位,并在需要时进行精确的重定位。在规划控制方面,HPA实现了循迹代客泊车功能,能够根据泊车语义地图中的信息,循迹引导车辆沿着记忆路线行驶。无论直行、转弯还是绕行,均能精确控制车辆的行驶轨迹。
(31)三维渲染引擎
三维渲染引擎提供了渲染、动画、UI等完整的图形引擎解决方案。渲染模块内置基于物理的HDR渲染管线,支持glTF文件格式,符合glTF的材质和渲染标准,可以加载大量高质量3D模型,与通用材质模型兼容,可以渲染多种材质如金属、塑料、玻璃、皮肤等。重构渲染管线,支持前向渲染及延迟渲染,支持多种反走样方案,提升渲染真实度。动画系统实现了播放及编辑模型预置骨骼动画,基于人体捕捉系统,可以实时驱动数字角色。额外支持弹簧振子系统,有助于实现头发、衣服等物体跟随摆动。为满足车载业务,新增节点动画和形变动画具有可编辑功能,从而满足三维雷达墙、相机环视等复杂动效。HMI方面在原有2D UI方案上升级为3D UI,可以在三维场景中实现引导线,轨迹线等车载相关业务需求。引擎系统模块提供丰富接口,让开发者自由组织三维场景内容,支持多种平台,已经为移动端、PC、服务器端提供稳定且高效渲染效果。针对车载低算力座舱平台,我们优化了调度指令和资源预编译系统,引擎初始化时间减少70%。优化渲染指令调用,减少50%的CPU耗时。针对车载HMI多物体渲染优化如下功能:添加场景管理,减少视野外物体所带来的额外性能消耗,CPU与GPU交互时间降低30%;支持GPU压缩纹理,进一步减少初始化时间;优化内部数据结构,减少内存访问次数。
2.报告期内获得的研发成果
截至报告期末,公司拥有专利282项(其中发明专利258项)、软件著作权151项。相较于2023年末,报告期内净增发明专利10项、软件著作权4项。
3.研发投入情况表
4.在研项目情况
5.研发人员情况
6.其他说明
二、经营情况的讨论与分析
公司专注于计算机视觉领域,为行业提供算法授权及系统解决方案,是全球领先的视觉人工智能企业,始终致力于视觉人工智能技术的研发和应用,坚持以技术创新为核心驱动力,在全球范围内为智能设备提供一站式视觉人工智能解决方案。
公司以技术创新赋能行业为使命,聚焦主业经营,通过技术和产品创新、市场开拓、经营管理优化等多方面工作,不断巩固公司在视觉AI领域的优势地位,持续扩大行业影响力。2024年上半年,公司实现营业收入38,091.66万元,同比增长11.97%;实现归属于上市公司股东的净利润6,145.89万元,同比增长22.82%。其中,公司移动智能终端视觉解决方案本期实现营业收入33,192.34万元,同比增长6.43%;智能驾驶及其他IoT智能设备视觉解决方案本期实现营业收入4,336.40万元,同比增长93.19%。
公司保持高水平研发投入,为持续进行技术创新、产品创造和行业应用拓展提供有力保障。2024年上半年,公司研发费用共计19,399.99万元,占营业收入的50.93%。截至2024年6月30日,公司研发人员595人,占公司总人数的比例为63.64%,研发人员中硕士及以上学历占比61.18%。
2024年上半年,公司按照既定目标,重点开展并推进了如下工作:
(一)移动智能终端业务
2024年上半年,在全新升级的智能超域融合(Turbo Fusion)架构之下,公司继续丰富该产品系列,持续更新和提升核心引擎的同时,为客户提供更加个性化和多样化的产品选择,重点研发投入Turbo Fusion技术在超夜、人像、抓拍、远距等场景相关的影像解决方案,并新推出了智能超域融合即刻拍摄解决方案、智能超域融合夜景影调解决方案、智能超域融合25M高分辨融合解决方案。公司还将Turbo Fusion图像处理技术延伸至视频应用,方案原型已经获得几大重要客户的认可,且获得平台厂商的支持。2024年上半年,公司加速了Turbo Fusion技术和产品的推广,除继续在各客户旗舰机型平台应用外,还在更多高端机型上落地应用,并已逐步向市场主流机型渗透;同时,公司对引擎进行优化和瘦身,向中、低端机型推广。
(二)智能汽车业务
1、VisDrive一站式车载视觉软件解决方案
舱内产品上,公司的健康监测算法引擎得到了理论上的突破,该算法产品于2024年上半年开始了从1到N的复制,目前已获得多个量产车型定点项目。法规类的产品除了DDAW以及NCAP要求的DMS规模化量产上线外,首次通过了欧洲最新的ADDW以及国内的IVISTA中国智能汽车指数和C-IASI的测试标准并完成了量产上线,而基于CPD的儿童检测也已为未来客户的过标做好了准备,期待市场和客户的检验。2024年下半年,公司将继续深耕座舱市场客户,拓宽车型覆盖范围,持续提升市场占有率。
舱外产品上,2024上半年,公司3D AVM算法产品的核心引擎进一步更新和升级;3D AVM、哨兵监测算法产品(含基于AVM摄像头的算法产品)均持续出货,并获得新增量产车型定点;公司的周视感知算法已在OEM客户车型上线;具备极暗及恶劣环境夜视能力的ADAS产品已完成OEM客户的定向开发;公司VisDrive升级版中的舱泊一体解决方案已经成熟,达到量产水平,上半年拓展了多个合作伙伴,在技术研发的同时借助合作伙伴项目,积极进行技术验证和产品研发,预计在2024年下半年借助项目驱动产品逐步成熟。公司将继续以项目驱动产品落地,以产品驱动市场,在下半年继续积极拓展更多客户。
2、面向舱内、舱外的前装软硬一体车载视觉解决方案
公司面向舱内的前装软硬一体车载视觉解决方案Tahoe已获得多款车型的全球定点项目。2024年上半年,除继续推进已定点项目的量产开发,并开拓海外新定点项目之外,公司也正推进在客户车型上导入更多功能项目,帮助海外客户加速智能化进展。下半年,公司还将加强和海外Tier1合作伙伴的合作和市场拓展,和Tier1合作伙伴一起继续开拓海外新定点项目,发挥公司在合规能力上的市场竞争优势、技术积累优势,帮助国内外客户更快地满足海外法规和行业标准的需求。
2024年上半年,公司加速面向舱外的前装软硬一体车载视觉解决方案Westlake的产品化进程,并逐步开展市场推广工作。一方面,加大泛化性测试力度,打磨行车视觉算法的性能表现,上半年依托实车部署的自动化测试系统,针对评价视觉算法的“有效高价值”场景进行了更大规模的实车泛化性测试,行车类功能性能进一步提升,对比业内同级主流视觉算法方案,各项性能表现均基本达到同档位产品量产水平,个别性能表现优于同档位产品量产水平。另一方面,继续通过软硬件一体化设计与开发,优化解决方案,提升产品功能上限,上半年深入开发无高精度地图的高速NOA、记忆行车、记忆泊车等功能,记忆行车、记忆泊车已完成开发部署,无图高速NOA在进一步拓宽使用场景。
3、商用车及工程机械车辆相关解决方案
在商用车及工程机械车辆领域,公司提供一站式的软件算法解决方案以及AiTrak软硬件一体解决方案。2024年上半年,公司面向商用车、工程机械前装OEM市场的产品技术方案继续迭代。公司取得了欧盟GSR法规要求的ISA功能的STU认证证书;帮助客户的多款定点车型顺利通过EU2021/1314(DDAW)、EU2021/1958(ISA)、R159(BSIS)、R151(MOIS)、R130(LDW)、R155(网络安全)整车认证;针对欧盟GSR法规要求的公司AiTrak软硬件一体解决方案已经帮助如金旅、海格等多家客车主机厂通过DDAW/MOIS/BSIS/ISA/LDW等多项功能的认证测试。通过与多家Tier1的合作,公司商用车视觉解决方案已经在多家头部商用车企业量产,并在2024年上半年新增多款定点车型。
(三)基于AIGC的智能商拍解决方案
在AIGC方向,公司持续重点投入,不断优化ArcMuse的大模型底模及计算技术引擎并将ArcMuse的新能力应用到PSAI智能商拍云工作室在内的产品上。2024年上半年,公司PSAI产品相关的多个算法通过了境内深度合成服务算法备案;同时,公司ArcMuse计算技术引擎也成功通过了国家互联网信息办公室《生成式人工智能服务管理暂行办法》规定的大模型备案许可,这些合规能力上的提升为公司AIGC数字生成技术服务各行业提供了坚实保障。
2024年上半年,PSAI产品正式上线了AI模特视频生成功能,用户仅需要上传一张照片,就可以生成写实、优雅的动态视频,通过动作的表现力,全方位展示服装上身后的效果。这也是国内商拍赛道率先推出的,具有高保真、高物理还原度的模特视频生成产品;公司也不断打磨AI智能试衣、真人/人台图换模特以及换背景等PSAI核心功能,为客户提供了更加自然和逼真的服装细节与版型还原,更加写实和高清的模特生成效果。同时,在AI编辑产品模块中,拓展了商拍客户常用的智能抠图等功能,丰富和完善了商拍工具箱。
结合智能商拍新业务的商业模式特征,公司通过战略协同、拓展与渠道商的合作等方式来实现公司新商业模式的快速落地。考虑有数千万的商家客户在各大电商平台聚集,公司大力推动了PSAI平台战略,积极拓展与国内主流电商平台的合作。2024年上半年,PSAI率先进入面向国内电商平台的商家工作台和服务市场,陆续入驻阿里巴巴集团旗下的淘宝千牛商家工作台和1688平台、抖店微应用、抖店服务市场。下半年,PSAI进一步迈向国际电商平台市场,已入驻TikTok应用和服务市场,服务包括面向英国、泰国、马来西亚、新加坡、越南、菲律宾等国家和地区在内的TikTok跨境商家。接下来,公司还会陆续接洽和赋能更多的主流电商平台,让PSAI商拍的优质产品与服务惠及更多的电商商家和客户。
(四)优化经营管理,提高经营质量与效率
2024年上半年,公司优化人力资源配置,促进管理质效提升。公司根据业务的战略目标和人才盘点,及时调整各项业务的人才布局,确保人才投入的有效性,以应对充满挑战与机遇的市场环境。同时,在重点关注和激励核心人才的同时,大胆启用和培养新生力量,为公司中长期发展注入强劲动力。公司通过定向培训为员工成长赋能,激发组织活力。面向各类技术人员,公司组织了丰富的专业技术培训与分享;面向关键管理岗位人才,公司组织开展了“绩效管理”“卓越领导力赋能与目标管理”“把科学的降本增效带到团队”等管理培训项目。
2024年上半年,公司持续提升业财融合,优化经营管理。一方面,公司持续推进各产品线销售与研发管理报表的人效收益工作,深入践行目标导向管理,提高各业务单元的经营自主性和管理效率。另一方面,公司继续优化自动化办公系统和库存供应链管理系统,逐步推进系统功能之间的数据互通,特别是加强了对供应链管理信息的可读取性和可追溯性,强化了销售与供应链的协同管理,进而提升运营的效率和效果。
2024年上半年,公司加强现金管理,确保资金安全与收益的平衡。为确保有足够的资金投入到技术研发,同时也为防范企业经营过程中的不确定性风险,公司继续保有较高现金储备,截至2024年6月30日,本公司的资金存量共计为人民币207,457.47万元。同时,公司制定了全球统筹的资金收益管理模式,在保证较高现金储备的基础上,进一步提高全球资金收益率。2024年上半年,美元汇率及美元存款利率处于较高水平,公司在当前人民币存量能够满足日常运营的情况下,采取了按需结汇策略。下半年,公司将紧密结合政治、经济及汇率走势情况,基于谨慎原则,灵活地调整策略,以有效降低汇率风险。
三、风险因素
1、技术升级迭代风险
公司所处的视觉人工智能行业技术升级迅速,是典型的科技驱动型行业,产品更新换代频繁,市场对技术与产品的需求不断提高,更多的视觉人工智能技术正被运用到各类智能终端。公司是以研发和技术为核心驱动力的企业,如果公司不能正确判断和及时把握行业的发展趋势和技术的演进路线,并投入充足的研发力量布局下一代的视觉人工智能技术研发,可能导致公司无法保持当前的技术领先性,从而对公司未来的经营产生不利影响。
智能手机市场的需求变化较快,相关技术的迭代周期较短,迭代周期约为1-2年。如果公司未能及时更新升级相关技术或根据市场需求成功开发出新产品,则公司可能出现技术落后、技术迭代不及时等情况,从而导致市场占有率大幅下降。在其他移动智能终端领域,尽管公司利用既有技术整合开发出一些符合客户需求的产品并已进行了一系列前瞻性的技术和业务布局,但若无法抓住未来市场涌现的机遇尽快获取客户,则可能导致错失发展机遇的风险。在智能汽车领域,产业竞争加剧,产品和品牌是企业竞争的核心,如公司无法快速与OEM合作伙伴推出针对智能驾驶相关有竞争力的量产产品,则公司可能面临错失发展机遇的风险。
2、市场竞争风险
公司所处行业发展前景广阔,近年来参与者不断增多,并不断加大技术研发及市场开拓的投入,行业竞争加剧。众多企业凭借其在特定细分领域的优势参与各垂直应用领域的竞争。若公司不能持续有效地制定并实施业务发展规划,保持技术和产品的领先性,则将受到行业内其他竞争者的挑战,从而面临市场竞争加剧而导致的毛利率下滑和市场占有率下降的风险,进而影响公司的经营业绩和发展潜力。
3、核心技术泄密的风险
公司销售的各类产品均基于公司独立研发积累的大量计算机视觉核心技术。为保护公司的核心技术,公司制定了严格的保密体系,但上述措施仍无法完全避免公司核心技术泄密的风险。未来如果公司相关核心技术内控制度不能得到有效执行,或者出现重大疏忽、恶意串通、舞弊等行为而导致公司核心技术泄露,将对公司的核心竞争力产生风险。
4、新业务开发和拓展风险
公司经过数十年的发展,积累了大量视觉人工智能的底层算法,这些底层算法具有通用性、延展性,除了可以广泛运用于智能手机外,还可应用于笔记本电脑、智能可穿戴设备等其他消费电子产品以及智能汽车、AIGC、智能保险、智能零售、智能家居、医疗健康等多个领域。
新业务的成功与否既受到行业发展状况、市场需求变动以及市场竞争状况等因素影响,又受到公司对新领域的理解、认知、推广力度及与伙伴的合作等诸多因素影响。因此,公司对新业务开发和拓展可能不及预期。如果公司在新领域产品开发或市场推广效果不佳,或者出现其他不利因素,将可能导致公司新业务开发失败,从而对公司未来的经营业绩产生不利影响。
5、主要客户采购量减少的风险
报告期内,公司前五名客户销售额为24,382.30万元,占销售总额的64.01%。如果智能手机出货量下滑、主要客户业务发展战略发生调整、主要客户因供应链短缺等原因延迟推出新机型或者其他不可预知的原因导致对公司产品的采购需求下降,则会对公司整体经营业绩产生不利影响。
6、核心人才流失、未能招募足额的优秀人才及人力成本上升风险
公司所处的视觉人工智能行业近年来发展蓬勃,对人才的需求量较大。公司的业务发展,需要一批稳定的研发技术人员、产品化人才及管理人才,这些核心人才对于公司业务的发展壮大起到至关重要的作用。
公司的成功取决于不断吸收和留住高水平的研发、产品、销售和管理人才。尽管公司通过内部培养及外部引进逐步形成了较为稳定的核心人才团队,并通过树立企业文化、优化薪酬体系、改善工作环境、完善绩效考核机制等方式完善了人才培养体系,但是,仍然可能出现核心人才流失的情况,从而给公司业务带来不利影响。
公司所处行业内企业对于优秀人才的竞争越来越激烈。如果公司未能招募到满足公司业务发展需求的优秀人才,则会对公司的业务发展产生不利影响;如果公司在人力成本上的投入增长速度持续高于收入的增长速度,则会对公司的短期经营业绩产生不利影响。
7、管理能力不能满足业务发展需求的风险
目前,公司已积累了适应业务快速发展的经营管理经验,完善了相关内部控制制度,逐步实现了公司内控制度的完整性、合理性和有效性。随着新业务的深入推进,公司资产规模和经营规模扩张,在研究开发、市场开拓、资本运作、内部控制、运营管理、财务管理等方面对公司的管理层提出更高的要求。若公司的组织模式、管理制度和管理人员未能适应公司内外环境的变化,将给公司持续发展带来不利影响。若公司管理水平不能快速适应不断扩大的经营规模,解决上市公司经营管理面临的新课题,也将对公司发展带来不利影响。
8、行业风险
目前,公司提供的视觉人工智能解决方案主要应用于智能手机、智能汽车行业,主要客户包括了三星、小米、OPPO、vivo、荣耀、Moto等全球知名手机厂商以及国内主要的自主品牌、部分合资品牌、外资品牌汽车主机厂商。报告期内,公司移动智能终端视觉解决方案业务收入为33,192.34万元,占公司营业收入比例为87.14%,公司下游主要客户集中于智能手机市场。
公司智能手机视觉解决方案收入与智能手机和摄像头的出货量虽无明显线性相关关系,但如果智能手机出货量下滑、摄像头出货量出现下降,主要智能手机业务客户发展战略发生调整或者其他不可预知的原因导致对公司的智能手机计算机视觉解决方案的采购需求下降,则会对公司经营业绩产生不利影响。智能汽车业务方面,若行业竞争加剧,公司技术及产品竞争力不足,客户业务发展战略发生调整、客户自身业务发展状况发生改变或供应链紧缺等,可能导致公司智能汽车业务进展不及预期,以上因素可能会对公司经营业绩产生不利影响。
9、宏观经济风险
公司主要从事视觉人工智能技术的研发和应用,主要产品有移动智能终端视觉解决方案、智能驾驶视觉解决方案和其他AIoT智能设备视觉解决方案,主要终端应用领域包括智能手机、笔记本电脑等消费电子产品以及智能汽车等,应用领域对国内外宏观经济、经济运行周期变动较为敏感。如果国内外宏观经济发生重大变化、经济增长速度放缓或出现周期性波动,公司主要客户因终端需求下滑、调整自身市场计划,或因供应链短缺等原因延迟推出新产品而对公司采购需求下降,且公司未能及时对行业需求进行合理预期并调整公司的经营策略,可能对公司未来的发展以及经营业绩产生负面影响。
10、贸易摩擦风险
随着公司经营规模的不断扩大,公司人员增加、结构优化导致各项费用增加,同时在国际贸易摩擦的背景下,国外客户受美国制约可能向公司减少采购,国内外客户受制于贸易摩擦或其他因素导致的自身销量下降进而可能对公司采购下降,以上因素可能会对公司的短期业绩形成不利影响。
11、税收优惠的不确定性风险
报告期内,公司及子公司享受了一系列增值税税收优惠、所得税税收优惠,尽管税收减免对公司业绩的影响有限,但如果未来公司所享受的税收优惠政策出现不可预测的不利变化,或者在税收减免期内公司不完全符合税收减免申报的条件,则公司将在相应年度无法享受税收优惠或存在所享受的税收优惠减少的可能性。公司税收优惠政策可能的变化会使公司未来经营业绩、现金流水平受到不利影响。
12、汇率波动风险
虹软科技是一家全球化公司,在海外多地拥有经营主体,且客户分布韩国、日本、台湾地区、美国及欧洲等各地,报告期内公司来源于境外的收入占比为46.78%,上述境外业务使用外币进行结算,受到人民币汇率水平变化的影响。随着公司业务的发展,公司外汇结算量将可能进一步增加,同时人民币汇率受国内外政治、经济环境等综合因素的影响,存在波动风险,进而对公司的经营业绩产生不利影响。
13、诉讼风险
在业务发展过程中,公司可能面临各种诉讼、仲裁。公司不排除在经营过程中,因公司业务、人力、投资等事项而引发诉讼、仲裁事项,从而耗费公司的人力、物力,以及分散管理的精力。
公司实际控制人Hui Deng(邓晖)于2019年9月出具承诺,针对“Marc Chan、Lei Li及其家庭基金诉讼事宜”,如发生任何纠纷(包括但不限于诉讼、仲裁、索赔等)给公司造成任何经济损失(包括但不限于支付赔偿款、律师费、诉讼费等)均由公司实际控制人Hui Deng(邓晖)独立承担。截至目前,双方均已提起上诉。
14、募投项目无法实现预期收益及新增折旧摊销对公司业绩的风险
根据中国证监会证监许可[2019]1180号《关于同意虹软科技股份有限公司首次公开发行股票注册的批复》同意注册,公司获准在上交所向社会公开发行人民币普通股4,600万股,共募集资金总额人民币132,848.00万元,募集资金净额为人民币125,485.92万元。根据公司《首次公开发行股票并在科创板上市招股说明书》,募集资金到位后,按轻重缓急顺序投资于智能手机AI视觉解决方案能力提升项目、IoT领域AI视觉解决方案产业化项目、光学屏下指纹解决方案开发及产业化项目、研发中心建设项目。2022年12月29日,公司2022年第三次临时股东大会决议终止募投项目光学屏下指纹解决方案开发及产业化项目,将该项目剩余募集资金投入募投项目IoT领域AI视觉解决方案产业化项目。
由于募集资金投资项目数额较大,对公司经营管理、研发管理、市场开拓、财务管理及人力资源管理等各方面能力提出了更高要求。如果未来市场发生不可预料的不利变化或管理疏漏等原因对募集资金投资项目的按期实施及完全达产造成不利影响,将导致募投项目经济效益的实现存在较大不确定性。募投项目建成后,新增大量固定资产、无形资产、研发投入,年新增折旧摊销等费用金额较大。如果行业或市场环境发生重大不利变化,募投项目无法实现预期收益,则募投项目折旧摊销等费用支出的增加可能导致公司利润出现一定程度的下滑。
15、母子公司多层架构的风险
公司下设多家境内外子公司,层级较多,公司面临各国法律及税收的监管要求。如果未来境外子公司所在国家或地区法律及税收的监管要求发生不利变化,同时公司实际控制人、管理层缺少相应的管理经验和能力,将增加公司管理协调的难度,带来经营管理风险,从而对公司业绩造成不利影响。如果未来境外子公司所在国家或地区对于现金分红、资金结转等事项进行严格监管,可能对公司下级子公司的经营利润逐级分配至母公司构成一定障碍,可能造成母公司没有足额资金进行现金分红的风险。
16、知识产权侵权风险
公司坚持自主创新的研发路线,经过多年的技术开发和业务积累,掌握了多项核心技术,拥有发明专利258项、软件著作权151项。公司的商标、专利、软件著作权等知识产权对于公司的业务经营至关重要,公司建立了完善的知识产权维护机制以保护公司的知识产权免受侵犯。但是,考虑到知识产权的特殊性,第三方侵犯公司知识产权的情况仍然有可能发生,从而导致公司为制止侵权行为产生额外费用,对公司正常业务经营造成不利影响。
同时,虽然公司一直坚持自主创新的研发战略,以开发自有、底层技术为主要研发路线,以避免侵犯第三方知识产权,但仍不排除少数竞争对手采取恶意诉讼的市场策略,利用知识产权相关诉讼等拖延公司市场拓展,以及公司员工对于知识产权的理解出现偏差等因素出现侵犯第三方知识产权的风险。
四、报告期内核心竞争力分析
(一)核心竞争力分析
1、人才优势
在超过30年的发展历程中,公司磨合出一支以博士为带头人、硕士为骨干的核心研发团队,充分掌握核心技术算法,并进一步落地成为成熟的商业产品。通过长期的潜心学习,公司始终立足于领域内的最前沿,建立和长期保持行业内经验积累和能力上的领先优势。
虹软科技及其下属公司经过30多年的摸索,不断改善形成了一套独有的高效管理模式,基本实现自动化、自驱、自愿的高效运行状态,同时采用“导师制”培养模式,有效减少研发的试错次数。高效的研发管理体系提高了公司的自主创新能力和产品研发速度,提升了公司视觉人工智能技术算法水平。目前,公司拥有良好人才储备并在持续完善,为重要项目的推进奠定了基础。
2、技术积累优势
公司技术积累优势主要体现在端计算和边缘计算技术的积累优势、视觉人工智能技术的层次积累优势、工程落地能力。
虹软自成立以来便致力于计算机视觉技术的研发,技术所应用的终端,从个人电脑、数码相机、智能手机,再发展到智能汽车、VR/MR/AR智能可穿戴设备以及其他AIoT领域,一直与影像产业的发展、消费者的需求和影像科技创新紧密相连。经过数十年的技术、专利和人才积累,公司已全面掌握视觉人工智能及人工智能的各项底层算法技术并不断进行技术演进,掌握包括即时定位与建图、图像语义分割、人体识别、物体识别、场景识别、图像增强、三维重建、虚拟人像动画、虚拟数字人等全方位的视觉人工智能技术。公司所掌握的这些底层技术具有通用性和延展性,在此基础之上,公司构建了不同的组件和产品,并衍生出多种产品应用方案满足相应的细分市场需求。
公司坚持以创新驱动企业发展,持续高水平研发投入,不断打磨视觉人工智能技术能力。截至报告期末,公司拥有专利共计282项(其中发明专利258项),软件著作权151项。
3、产业链深度合作优势
公司业务涉及到的消费电子产业、汽车产业特别强调产业高度协同,相互赋能、协同发展成为产业发展壮大的内在需求。公司拥有紧密、稳定的生态关系,与高通、联发科、格科微、索尼传感器、三星半导体、艾迈斯半导体、OmniVision、舜宇光学、英飞凌等平台、传感器、摄像头模组厂等产业链上下游主流公司开展合作。在智能汽车业务上,除了既有的合作伙伴之外,公司也持续与更多的芯片、相机模组、Tier1等诸多上下游产业链公司形成了相互信赖的合作伙伴关系。
凭借与产业链内主流公司长期、广泛的合作,公司掌握了持续开发、迭代与硬件更加匹配的算法的能力,通过共同研发、持续合作交流,得以在客户提出技术需求后,在最短时间内及时响应,提供低能耗、高效率、硬件平台适应性广的解决方案,保持技术持续处于行业最前沿。
4、客户及品牌优势
公司是全球智能手机视觉人工智能算法重要供应商,目前已在视觉人工智能算法行业形成良好的口碑,客户遍布全球,算法产品基本覆盖安卓手机品牌。公司自与主要客户建立合作以来,均保持了持续良好的合作关系;对于展露市场的新客户,公司也通过帮助新客户成就其产品快速获得了客户的信赖。优良的客户质量、良好的市场口碑、国际化的品牌认可度、海量历史销售数据,为公司后续业务发展奠定了良好基础。公司正逐步利用在手机行业形成的技术、品牌和客户服务经验等优势,把产品和业务扩展到汽车行业以及其他AIoT行业。
收起▲
一、经营情况讨论与分析 公司专注于计算机视觉领域,为行业提供算法授权及系统解决方案,是全球领先的视觉人工智能企业,始终致力于视觉人工智能技术的研发和应用,坚持以技术创新为核心驱动力,在全球范围内为智能设备提供一站式视觉人工智能解决方案。 作为全球影像视觉技术的赋能者,公司秉承成就客户、创造价值的理念,持续自我突破并挑战新的技术边界,致力于在产业迭代的潮涌中破浪前行,在成就客户的过程中创造企业价值。2023年,公司以创新驱动企业发展,巩固扩大了在移动智能终端领域的技术和市场优势,大力开拓了智能汽车领域的新市场和新客户,同时着眼产业趋势进行前瞻性的技术培育和业务布局,公司进一步夯实了核心竞...
查看全部▼
一、经营情况讨论与分析
公司专注于计算机视觉领域,为行业提供算法授权及系统解决方案,是全球领先的视觉人工智能企业,始终致力于视觉人工智能技术的研发和应用,坚持以技术创新为核心驱动力,在全球范围内为智能设备提供一站式视觉人工智能解决方案。
作为全球影像视觉技术的赋能者,公司秉承成就客户、创造价值的理念,持续自我突破并挑战新的技术边界,致力于在产业迭代的潮涌中破浪前行,在成就客户的过程中创造企业价值。2023年,公司以创新驱动企业发展,巩固扩大了在移动智能终端领域的技术和市场优势,大力开拓了智能汽车领域的新市场和新客户,同时着眼产业趋势进行前瞻性的技术培育和业务布局,公司进一步夯实了核心竞争力,实现了新质生产力在公司业务上的落地实践。
2023年,全球智能手机出货量继续下滑,据Counterpoint统计,2023年,全球智能手机出货量为11.5亿台,同比下降6%,创下十年来的新低,其中第四季度实现反弹,为后续市场复苏带来信心。与整体出货量呈现的下滑形成对比,高端智能手机出货量创下增长的新纪录。在这一领域,公司为手机拍摄所打造的创新性全链路超域解决方案正赢得更多客户的青睐与认可,基于智能超域融合(TurboFusion)创新技术研发和推出的夜景、HDR、超分、人像、运动抓拍解决方案实现了量产落地并持续出货。2023年度,公司智能手机业务收入实现较好增长,带动移动智能终端视觉解决方案实现营业收入58,129.02万元,同比增长22.82%。
2023年,中国汽车产销继续同比增长,据中汽协统计,2023年,中国汽车产销量分别达3,016.1万辆和3,009.4万辆,同比分别增长11.6%和12%。在这一领域,随着公司智能汽车业务定点数量的增加及其相应的定点产品量产交付,项目生命周期内对公司营业收入有积极贡献。2023年度,公司智能驾驶及其他IoT智能设备视觉解决方案实现营业收入7,429.40万元,同比增长67.26%。
报告期内,公司实现营业收入67,025.44万元,同比增长26.07%;实现归属于上市公司股东的净利润8,848.77万元,同比增长53.03%。公司重点开展并推进了如下工作:
(一)移动智能终端业务产品创新,引领影像视觉行业潮流
1、以TurboFusion系列为代表的各类算法产品持续出货
公司不断推出新技术和多品类算法产品,持续为智能手机、平板电脑、笔记本电脑等领域的OEM客户提供强劲动力。公司于2022年打造并推出了TurboFusion创新产品系列,为行业带来了开创性的全链路超域解决方案。与传统的硬件升级模式不同,TurboFusion技术聚焦于软件层面的优化和处理,通过利用公司高并发异构计算框架构建了“软件ISP”平台,在此基础上实现对图像的智能处理。这一创新不仅改善了图像的动态范围、减少噪音,还进一步优化了图像的细节和色调映射,为用户带来更高清、灵动的影像拍摄新体验。
报告期内,针对消费者普遍关注的画质、人像、影调、抓拍、色彩五大需求,公司提炼整合出升级的TurboFusion架构;同时,公司加速产品化落地,在原有夜景、HDR、超分产品应用的基础上,扩展应用至运动抓拍、人像抓拍、长焦超清、高分辨率超分等视觉解决方案,该产品系列正赢得更多客户的青睐与认可。
2、着眼XR产业发展趋势,构建空间计算技术体系
公司前瞻性布局了XR领域,从标定、感知、交互和视觉呈现四个维度构建了一套完整的虹软空间计算技术体系,为客户打造了一站式、全方位的产品解决方案。公司在大力更新技术的同时,也与多家业界头部厂商保持密切沟通和交流,持续扩大技术合作生态圈。
虹软智能XR头显空间感知解决方案
报告期内,公司持续优化基础技术指标,并已将大部分核心技术嵌入到了OpenXR框架中,为客户和开发者提供丰富、灵活且易于整合的产品组合。
针对头显SLAM和手柄SLAM,公司提升了定位和跟踪精度,为用户在虚拟现实和混合现实环境中提供更准确、稳定的体验。SLAM解决方案为设备提供定位和环境感知能力,使用户能够在现实世界和虚拟世界之间无缝切换。
针对视频透视(VST)相关算法,公司将整个流程的时延优化到了业界领先水平,使得人眼通过头显观测到的动作和实际的动作时延大幅缩短,进一步提升了佩戴者的临场感体验。VST解决方案可以让用户通过设备的摄像头实时观察周围环境,从而更好地融入虚拟体验中。
公司还重点实现并改善了XR头显手眼联合交互技术(HandandGazeFusionInteraction),该技术融合了手势交互技术(用户可通过手势动作来控制虚拟物体)和眼动追踪技术(跟踪用户视线,并根据其注视点进行相应操作),通过分析手部、眼部的运动轨迹及其关系,实现手眼协调的交互操作,给用户提供了更自然和直观的交互方式,让用户可以通过手势和视线来操控虚拟世界。
(二)智能汽车业务有序推进,全方位夯实业务发展基础
1、VisDrive一站式车载视觉软件解决方案继续迭代,搭载量持续提升
报告期内,公司客户数量、合作深度继续拓展,陆续获得多家车企及Tier1定点。2023年1月以来,新增与长安新能源、长城、睿蓝、极氪、吉利、合众、长安、岚图、奇瑞、北汽新能源、一汽红旗等车厂在内的多个前装量产定点项目。
报告期内,公司舱内外算法产品搭载量持续提升。分别搭载了公司DMS、OMS、FaceID、TOF手势、舱外体态识别拍照、健康监测、AVM、智能尾门、哨兵监测等算法的量产出货车型累计已有数十款。随着定点产品量产交付,项目生命周期内对公司业绩产生积极影响。
报告期内,公司舱外算法产品逐步量产交付。公司具备3D能力的AVM自推出以来累计获得了几十款车型的定点,并有近二十款实现量产,基于AVM摄像头的扩增产品如智能尾门、视觉的哨兵监测也已完成OEM客户的定点导入并实现量产。此外,具备红外夜视能力的ADAS产品也成功完成定点导入。
报告期内,公司助力车企开拓国际市场。公司迄今累计取得了二十余款海外车型定点项目,其中已有十余款量产出货,覆盖欧盟、英国、挪威、以色列、澳大利亚、新西兰等地区。随着国内自主品牌主机厂商的量产车型持续出海,依托公司在合规能力上的竞争优势,公司在出海的车载量产业务上也会继续提升。
报告期内,公司持续迭代VisDrive一站式车载视觉软件解决方案。伴随着智能座舱芯片的发展,智能座舱SoC芯片的CPU、DSP、NPU、GPU等内核算力获得大幅增强。公司将继续与高通等主流厂商合作,基于这些主流的方案平台更新迭代VisDrive一站式车载视觉软件解决方案,把视觉融合的自动泊车(APA)、记忆泊车(HPA)等泊车辅助功能迁移到座舱中,实现舱泊一体的完整解决方案,并进一步将智驾(ADAS)和泊车辅助功能(APA、HPA)整合为中高端芯片平台的一体化行泊视觉解决方案。
2、前装软硬一体车载视觉解决方案获全球定点,舱外方案产品化进程加速
报告期内,公司面向舱内的前装软硬一体车载视觉解决方案Tahoe系列产品获得多家国内外主机厂的合作项目,在帮助主机厂满足国内外DMS法规要求的主动安全功能同时,还可搭载公司智能座舱软件,在舱内智能互动及舒适性功能方面为主机厂提供可快速量产的可行选择。目前,Tahoe系列产品已经获得数家海外车厂多款车型的全球量产项目定点。
报告期内,公司面向舱外的前装软硬件一体车载视觉解决方案Westake产品化进程加速,通过精益化软件架构设计与开发集成,达成了单颗SoC行泊车功能一体的产品化开发目标。①行车方面,AEB等安全类的功能根据区域性法规和行业标准需求进行了迭代;ACC、LCC、ILC等舒适类的功能在复杂场景中的性能表现得到进一步优化;L2+类的功能高速领航辅助已完成开发部署,并在实车测试中表现出色。以上功能均通过了阶段性里程累计测试,行车类功能性能显著提升,视觉感知算法达到准量产水平。②泊车方面,基础的垂直、水平、斜列车位泊车功能持续提升,同时机械车位泊车功能通过全新的感知及规控算法得以实现。
3、围绕大型商用车驾驶安全需求打造差异化产品,市场拓展初见成效
基于公司车载视觉技术及产品的长期积累,公司面向商用车市场提供驾驶安全的一站式解决方案。在该领域,公司提供DMS、预警ADAS、BSD、AVM等一系列的软件算法解决方案,在报告期内已经有规模化出货。同时,为满足欧盟最新的GSR法规要求,公司提供能够满足GSR法规要求
的DDAW/ADDW/BSIS/MOIS/ISA/LDW等多项功能的AiTrak软硬件一体解决方案,报告期内已经成功取得多家客车主机厂的出口车型定点。
(三)把握AIGC产业方向,完善能力架构并打造新产品
1、完善AIGC能力架构,积极探索基于AIGC的创新应用
报告期内,公司通过扩充算力中心、升级ArcMuse计算引擎、引入研发、市场和销售端人才等举措持续完善AIGC能力架构。公司除在2023年推出了AIGC相关新技术和新产品,实现在移动智能终端和智能商业拍摄领域的实践落地外,AIGC技术还正在赋能公司智能汽车业务研发测试等环节,将加速公司舱外产品的落地和迭代进程。
AIGC技术持续快速发展,随着大模型参数量小型化和手机芯片算力的不断提升,更多的AIGC和大模型相关应用将进一步从云端下放到端侧,带动AI手机算法应用的爆发。公司也在积极布局,不断探索AIGC在手机端侧的新应用和新产品。例如,公司于报告期内研发了扩散模型图像超分辨率、扩散模型图像深度信息和AIGC星空扩图等解决方案。扩散模型图像超分辨率和深度信息解决方案均运用了Diffusion扩散模型,实现了图像超分辨率、画质增强技术以及对图像深度信息的精准计算。AIGC星空扩图解决方案中,通过公司智能寻星解决方案实现寻找并定位图像中的星体位置,用于指导Diffusion扩散模型在执行扩图任务时,生成出真实性高并且更大视野的星空摄影图像,提升用户星空拍摄的后续体验。
报告期内,公司与高通、联发科等芯片平台公司开展合作,在其智能芯片平台上进行关于AIGC的应用演示,如在10月召开的2023高通骁龙峰会上展示了基于新一代骁龙8移动芯片的虹软创新性视频应用“VideoObjectEraser”,11月召开的MediaTek天玑旗舰新品发布会上展示了虹软基于新一代天玑9300旗舰平台推出的“生成式AI超级分辨率技术”。基于更先进平台的特性,公司将下一代影像提升至更高水平,为用户带来前所未有的影像产品和视觉体验。
2、推出基于AIGC的智能商拍解决方案,解决商拍行业痛点
随着电商销售行业的迅猛发展,服装和各类商品的效果展示图已经成为商品销售的重要部分。对于供应商和销售商来说,制作高质量的服装和各类商品的展示图是一项重要且颇具挑战的任务。传统外包给商拍工作室的模式,存在成本高企、效果受限、过程耗时、操作繁琐、模特缺乏、反馈延迟、复用性差等问题。
为了解决这些问题和不足,公司利用基于多年积累的包含有效语义的大量样本,以及丰富的面向商拍应用的新样本集,为智能商拍构建了一套专有的ArcMuse计算技术引擎,它融合了虹软视觉大模型、视觉小模型、CV&CG技术和计算摄影技术。依托于ArcMuse计算技术引擎,公司于2023年第三季度上线了PhotoStudioAI智能商拍云工作室商品版和服装版。
报告期内,公司不断优化ArcMuse计算技术引擎,迭代视觉大模型,同时优化基于边缘检测、人体几何、深度恢复和智能分割等核心引擎的条件视觉小模型,对于用户输入的各类真人图、人台图或者商品图,均可高质量生成服装模特展示图和商品展示图。同时,公司2023年第四季度在PhotoStudioAI服装版中正式推出了衣服图功能,仅需一张长袖或者短袖衣服平铺图,即可智能生成服装模特展示图。此外,还新增实现了一系列AI编辑功能,包括画质增强、智能美化、魔法擦除、智能补光、随心变形等丰富的AI编辑工具,通过深入商拍垂直领域,ArcMuse展现卓越效能,全方位提升商拍图片的美感和质感,并助力用户在效率、创意和成本控制方面取得更大的提升。
(四)构建完善的产品合规能力和质量体系,打造合规能力上的竞争优势
在智能汽车业务领域,公司构建并不断完善产品合规和质量管理体系,在DMS等产品上形成了领先于同行的市场竞争优势,并基于此获得了多个国内外合规类产品量产定点项目。2023年,公司在产品合规能力以及质量体系建设方面的重点工作内容如下:
1、产品安全
在产品合规测试方面,公司致力于确保智能汽车产品符合国内外各项法规要求。2023年,公司智能汽车产品通过了多项欧盟准入法规的测试,包括适用于(EU)2019/2144ADDW的高级驾驶员分心警告系统、适用于UNReguationNo151的车辆盲区检测系统、适用于UNReguationNo159的行人移动监测系统,正在进行(EU)2021/1958ISA智能速度辅助系统的STU认证,这些举措旨在为客户提供面向海外的合规产品,为其拓展海外市场奠定坚实基础。与此同时,公司紧追国内车载产品标准,目前公司舱内DMS软件已配合主机厂通过C-NCAP、C-IASI等最新标准测试,展现产品能力。
在产品网络安全方面,为确保公司智能汽车产品网络安全管理符合全球多个国家和地区的法规要求,公司在2023年初步搭建了ISO/SAE21434汽车网络安全管理体系,并在商用车海外项目中落地实施了网络安全开发,在设计、开发和生产过程中均采取了必要的安全措施,有效降低了汽车产品在整个生命周期内受到黑客攻击、数据泄露和操纵等安全威胁,提升了产品在整个生命周期内的安全性。
在产品功能安全方面,在2023年,公司基于通过认证的ISO26262功能安全管理体系进行项目落地,并在体系实践过程中持续改进,通过了认证机构在体系适用性和持续改进方面的年审。
在隐私数据合规方面,基于《中华人民共和国个人信息保护法》《中华人民共和国数据安全法》、智能网联汽车数据通用要求等法律法规的要求,公司在产品端的个人信息和隐私保护方面做了明确的梳理和优化,对涉及用户相关数据的过程采取了更加可靠的技术措施,并对隐私政策的管理上进行了改进,在产品测试环节开展隐私数据合规的专项测试和安全检查,只有测试通过和安全检查通过的版本(不遗留中高级别问题)才可发布。
2、质量体系
在质量体系方面,2023年6月,公司智能汽车智能感知软件项目获得了iNTACS最高级评估师的AutomotiveSPICE能力等级评估,被认定达到了AutomotiveSPICE能力等级2的汽车软件开发过程能力。同时,公司开始在合资项目中执行该标准,为车厂和OEM厂商提供高质量的产品与服务。
在前期取得ISO9001质量管理体系认证基础之上,公司于2023年开始进行ISO9001质量管理体系、ISO14001环境管理体系和ISO45001职业健康安全管理体系的合并建设,并于2024年年初完成认证。
(五)优化人才战略布局,激发人才队伍活力
报告期内,公司树立了稳定现有团队结构、实现人才结构均衡配置和人才质量有序提升、有效激发团队活力的人才管理目标。在该目标的指引下,公司重点展了如下工作:
公司践行“专业专注、学习创新”“坚持创新、追求卓越”的人才培养理念,重点推动各层次人才专业能力发展提升。报告期内,公司新增开设“管理培训研修班”,带动一线业务管理者提升管理全局思维,提高组织能力与目标管理、高效团队管理能力;组织年度“项目管理训练营”活动,培养具备跨部门协作的项目管理骨干;开设“学习发展嘉年华”课程,分享培养挖掘内部优秀讲师;设计实施“虹鹰训练营”活动引导新员工积极融入公司氛围,为新员工提供了展示其工作潜力和综合素质的新平台。同时,公司持续强化技术创新文化氛围建设,通过开展“工程质量奖”“信息安全卫士”“专利启航”等评选活动,继续促进学习型组织和技术创新文化的传承和沉淀。
公司在持续做好内部人才梯队建设、通过校招引入新生力量的同时,根据技术、业务的最新方向及需求,迅速响应、及时调整和优化了人才战略布局,陆续引进了智能汽车、AIGC等特定领域业务攻坚型人才,提前储备、培养具备国际化业务能力的人才以适应智能汽车海外市场拓展需求。
公司着重对各类专业人才、管理人才进行梳理盘点,对涉及核心技术架构、工程研发、产品管理等类别的资深专家级人才和高潜力青年骨干人才的岗位分布、任用配置、能力发展、效能评价等内容进行系统评估,优化员工职业发展通道体系,初步构建了多类别、多元化的人才发展模式。在这一过程中,公司提拔、任用了一批业绩、能力表现优秀,有发展潜力的新生代骨干人才充实到研发、产品、销售、运营等重要岗位上,进一步激活了人才队伍的内在驱动力。
(六)健全公司治理,铸就高质量发展基石
在内部控制方面,公司已建立了内部控制体系,制定了相应的内部控制制度,并在报告期内不断改进和完善,继续深化内部控制体系建设,逐步实现权责明确、管理科学,以保障公司规范运作和健康发展,实现公司战略和经营目标。报告期内,围绕法律、行政法规、证监会部门规章以及交易所业务规则的最新要求,公司于2023年11月启动了对现有治理制度的梳理工作,全面系统地修订或新增了包括《公司章程》《独立董事工作制度》《独立董事专门会议工作制度》等共计十七项治理制度,并已经公司第二届董事会第十五次会议审议通过,相关制度还将提交2023年年度股东大会审议。
二、报告期内公司所从事的主要业务、经营模式、行业情况及研发情况说明
(一)主要业务、主要产品或服务情况
公司专注于计算机视觉领域,为行业提供算法授权及系统解决方案,是全球领先的视觉人工智能企业,始终致力于视觉人工智能技术的研发和应用,坚持以技术创新为核心驱动力,在全球范围内为智能设备提供一站式视觉人工智能解决方案。
公司拥有丰富的针对智能手机等移动智能终端以及智能汽车的视觉算法产品线,主营业务收入来源于自主研发核心技术的授权许可使用。目前主要客户包括三星、小米、OPPO、vivo、荣耀、Moto等全球知名手机厂商以及国内主要的自主品牌、部分合资及外资品牌汽车主机厂商。
针对智能手机,基于多年的研究开发,公司可以提供目前市面上大部分主流智能手机视觉人工智能算法产品,包括单/双/多摄摄像头在各种场景下的拍摄和高质量成像、深度摄像头在各种场景下的拍摄和高质量成像、潜望式长焦摄像头无级变焦、3D建模、全景、SLAM、AR/VR、人脸解锁、超像素无损变焦、人体驱动等重要核心功能。在笔记本电脑上,公司从画质、隐私、美颜等几个方面来提升用户视频会议体验。通过视频去噪、提升动态范围来改善会议时的画质;通过背景虚化、换背景实现用户隐私进行保护;通过人像美颜、人体自动居中、人脸细节恢复和增强、眼镜去反光等技术提升视频会议效果。
在XR领域,与多家业界头部厂商保持密切沟通和交流。在VR/MR/AR智能可穿戴设备上,公司从标定、感知、交互和视觉呈现四大方向布局算法解决方案。可以提供VR/MR/AR一站式多传感器标定解决方案,头显6DoF跟踪、平面检测、稠密重建、语义分析、深度估计、实时人体/手部分割、实时3DMesh重建等空间感知解决方案,手柄6DoF跟踪、裸手3D手势交互、视线跟踪和虚拟数字人表情驱动、人体驱动等交互解决方案,以及异步时间扭曲、异步空间扭曲、视频透视(VST)等视觉呈现解决方案。
在智能汽车领域,面向舱外,公司在行车辅助功能上储备了基于前视、周视、环视、后视、夜视摄像头系统的视觉感知算法,可以提供ACC、LCC、AEB、ILC等高级智能驾驶辅助功能;在自动泊车功能(APA)上储备了视觉感知算法、超声波视觉融合算法、规控算法;提供360°环视视觉子系统,支持2D/3DAVM全景影像功能,支持透明底盘功能。面向舱内,公司主要在DMS、OMS两种产品形态上积累了一系列视觉感知算法,可以提供例如疲劳检测、分心检测、健康监测、身份识别(FaceID)、手势识别、遗留提醒等座舱监控、互动系统功能。
(二)主要经营模式
1、盈利模式:公司主要盈利模式是将计算机视觉算法技术与客户特定设备深度整合,通过合约的方式授权给客户,允许客户将相关算法软件或软件包装载在约定型号的智能设备上使用,以此收取技术和软件使用授权费用。同时,公司也向客户销售软硬一体视觉解决方案。
2、研发模式:公司主要采取自主研发的模式。研发过程大致分为以下9个步骤:①获取需求信息;②管理层决策研发方向;③搭建研发项目组;④验证研发项目算法,进行项目测试;⑤集体讨论决策项目算法;⑥进行底层算法与实际环境的结合优化;⑦进行实际产品结合测试;⑧产品成熟后路演,选择合适的客户进行测试合作;⑨测试合格后大规模推广。
3、销售模式:公司采用直销的方式,主要向智能手机、智能汽车、笔记本电脑、智能家居、智能零售以及各类带摄像头的AIoT设备制造商销售计算机视觉算法软件及相关解决方案。
4、收费模式:按照业务合同的不同类型划分,公司的计算机视觉算法软件主要收费模式可划分为固定费用模式和计件模式两种模式。①固定费用模式:按合同约定的软件授权期限,收取固定金额的软件授权费用。特定客户在软件授权期限内,针对某款、某系列的特定设备内,可以合法地把含有虹软科技算法技术的特定软件无限量装载在合约限定的智能设备上。②计件模式:在合同约定的软件授权期内,按照客户生产的装载有虹软科技算法技术智能设备的数量进行收费。通常情况下,公司会与客户就不同生产数量区间,约定阶梯价格,保障双方利益。针对软硬一体解决方案,公司目前采用计件模式。
5、采购模式:公司的主要采购内容包括运营、研发和测试所需的各类硬件设备、软件、服务,以及产品解决方案所需的物料等。根据需求部门的请购申请,采购部门按照《采购管理制度》的要求,执行供应商选择、采购合同签订、合同执行跟踪、采购付款申请等流程。针对软硬一体解决方案,由公司进行硬件的设计并购买相应部分核心部件后,委托第三方进行组装生产。
(三)所处行业情况
1.行业的发展阶段、基本特点、主要技术门槛
根据《国民经济行业分类》(GB/T4754-2017),公司所属行业为“I65软件和信息技术服务业”中的“I6513应用软件开发”。根据中国上市公司协会《中国上市公司协会上市公司行业统计分类指引》,公司所属行业为“信息传输、软件和信息技术服务业-软件和信息技术服务业”,行业代码为“I65”。
公司从事计算机视觉技术算法的研发和应用,主要产品有移动智能终端视觉解决方案、智能驾驶视觉解决方案和其他AIoT智能设备视觉解决方案,根据公司主要产品功能及服务对象的特点,公司所属行业为计算机视觉行业,属于软件和信息技术服务业。
根据国家发改委公布的《战略性新兴产业重点产品和服务指导目录2016版》,公司属于“新一代信息技术产业”。
1.1行业的发展阶段、基本特点
1.1.1行业发展阶段、基本特点、产业政策
在新科技革命和产业变革的大背景下,人工智能加快向各产业渗透,日益成为科技创新、产业升级和生产力提升的重要驱动力量。视觉人工智能行业为各类人工智能应用提供基础支持技术,广泛应用于各类人工智能细分领域。政府积极出台政策促进人工智能技术发展和应用,深化落实与视觉人工智能息息相关的人工智能、智能制造、信息化和工业化的相关政策,为视觉人工智能的发展提供了政策与配套资源支持。2023年以来,新出台的主要人工智能产业政策如下:
2023年2月,国务院印发了《数字中国建设整体布局规划》,明确数字中国建设按照“2522”的整体框架进行布局,推进数字技术与经济、政治、文化、社会、生态文明建设“五位一体”深度融合;推动数字技术和实体经济深度融合,在农业、工业、金融、教育、医疗、交通、能源等重点领域,加快数字技术创新应用;提升数字文化服务能力,打造若干综合性数字文化展示平台,加快发展新型文化企业、文化业态、文化消费模式。
2023年3月,在《2023年国务院政府工作报告》中,提出要大力发展数字经济,支持平台经济发展,促进数字经济和实体经济深度融合,加快传统产业和中小企业数字化转型,着力提升高端化、智能化、绿色化水平。
2023年7月,国家网信办联合国家发展改革委、教育部、科技部、工信部、公安部、广电总局公布《生成式人工智能服务管理暂行办法》,鼓励生成式人工智能技术在各行业、各领域的创新应用,生成积极健康、向上向善的优质内容,探索优化应用场景,构建应用生态体系。支持行业组织、企业、教育和科研机构、公共文化机构、有关专业机构等在生成式人工智能技术创新、数据资源建设、转化应用、风险防范等方面开展协作。同时,对生成式人工智能的服务规范、监督检查和法律责任等方面进行了规定。
2023年7月,工信部、国家标准化管理委员会发布了《国家车联网产业标准体系建设指南(智能网联汽车)(2023版)》,提出到2025年,系统形成能够支撑组合驾驶辅助和自动驾驶通用功能的智能网联汽车标准体系。到2030年,全面形成能够支撑实现单车智能和网联赋能协同发展的智能网联汽车标准体系。
2023年7月,国家发展改革委等部门印发了《关于促进电子产品消费的若干措施》,提出加快电子产品技术创新。顺应新一轮科技革命和产业变革趋势,推动供给端技术创新和产业升级,促进电子产品消费升级。鼓励科研院所和市场主体积极应用国产人工智能(AI)技术提升电子产品智能化水平,增强人机交互便利性。依托虚拟现实、超高清视频等新一代信息技术,提升电子产品创新能力,培育电子产品消费新增长点。
2024年3月,在《2024年国务院政府工作报告》中,提出要深化大数据、人工智能等研发应用,开展“人工智能+”行动,打造具有国际竞争力的数字产业集群。
2024年3月,国务院印发《推动大规模设备更新和消费品以旧换新行动方案》,提出开展汽车以旧换新,加大政策支持力度,畅通流通堵点,促进汽车梯次消费、更新消费。组织开展全国汽车以旧换新促销活动,鼓励汽车生产企业、销售企业开展促销活动,并引导行业有序竞争。
1.1.2细分领域发展状况
移动智能终端细分领域
据Counterpoint数据统计,2023年全球智能手机出货量为11.5亿台,同比下降6%,创下十年来的新低。面对日益加剧的市场竞争,手机厂商不断推动创新和产品优化,使得智能手机在设计、处理能力、显示技术和摄影功能等多个方面持续进步和演变。尽管智能手机的总体出货量呈现下降趋势,但已发展近五年的折叠屏手机凭借差异化为手机市场带来活力,成为高端手机迭代的方向。在消费者最为关注的摄影能力方面,领先的手机制造商不仅致力于提升产品的计算摄影技术,还通过其产品展现了对计算摄影艺术的深刻理解和独到见解,是塑造其独特竞争优势的关键因素。
2023年,AI大模型技术吸引了市场的广泛关注。在消费电子领域,主要的芯片厂商如英伟达、高通、联发科等都在加大对AIGPU的投入。各大手机厂商也在积极推进AI技术的研发和应用。2024世界移动通信大会上,AI手机成为了展会的热点,包含OPPO、荣耀、小米、三星等多家手机厂商均展示了主打AI功能的新款手机。行业将2024年定义为“AI手机元年”,预期未来生成式AI将在手机终端上得到广泛应用。业界认为,AI手机将成为继功能机、智能机之后,手机行业的第三阶段。根据国际数据公司IDC的预测,2024年开始,新一代AI手机的出货量将急剧上升,预计全球出货量将达到1.7亿部,占到智能手机总出货量的15%。
2023年,苹果发布了首款MR产品,引领了XR行业的新趋势。该产品不仅在游戏领域展现了其潜力,还成功地将XR技术与日常生活和工作环境相融合,为用户提供了更加沉浸式的体验。这款产品的推出,对产业链上游的软硬件及下游内容及应用带来了新的机遇和挑战。在苹果发布MR产品之前,行业内已有多家科技巨头开始布局XR领域并推出了各自的产品,苹果的加入为这一领域的竞争注入新的活力,加速了技术创新的步伐,并可能推动行业标准的形成。随着产业链的不断完善和技术的持续进步,越来越多的企业和开发者开始进入XR领域,推动内容应用的多样化和丰富化,不仅将为用户带来更多选择,也为XR终端设备市场份额的提升提供了动力。
智能汽车细分领域
2023年,中国汽车行业迎来全面跃升,跨进年销3,000万辆级新时代,出口首次跃居全球第一,新能源汽车月产销首破双百万辆等多项令人瞩目的成绩。以创新驱动为核心的新质生产力成为2023年汽车行业发展的主旋律,推动现代化汽车产业体系向纵深发展。未来,在国家各项政策鼓励的背景下,对于产业持续发展的核心实力仍不容置疑。
智能驾驶已经成为各大主机厂占领市场的必争之地,也是多家供应商纷纷发力的热点。2023年的智能驾驶市场各路玩家百家争鸣,传统主机厂、造车新势力、传统Tier1、科技公司、互联网企业、甚至消费电子企业,都在大力布局智能驾驶业务,力争在激烈的汽车智能化赛道上拥有一席之地。城市NOA、去高精地图、舱驾融合(驾驶舱与驾驶辅助系统融合)成为了当前智能驾驶的主要热点和核心追求,这三项技术的发展将推动智能驾驶向更高水平的自动化、智能化发展。
在新能源商用车这个细分赛道上,中国企业在“量”的维度上已领先海外企业一步。凭借产业链先发优势和成本优势,国内新能源商用车企业正在加速抢占国际市场红利。当下,全球商用车电动化浪潮正在加速来临,不少国家都提出了商用车电动化的时间表,催生出了庞大的市场需求。以欧洲市场为例,随着欧盟颁布的GSR法规的落地执行,国产商用车面临一系列法规认证需要通过认证,BSIS/MOIS/DDAW/ADDW/ISA等一系列商用车基于视觉融合解决方案的法规执行,以及欧盟法规在全球其他大洲的标杆作用,为虹软商用车视觉解决方案的应用提供了巨大的机会。
1.2主要技术门槛
视觉人工智能属于高知识密集型领域,有较高的技术门槛,公司为各类移动智能终端、智能汽车等智能设备提供视觉人工智能解决方案,在前述领域的主要技术门槛包括:
(1)端计算和边缘计算技术的积累
边缘计算极大程度上解决了物联网背景下集中式运算架构中的带宽和延迟两大瓶颈问题,主要难点在于低资源的嵌入式平台环境的开发能力,基于移动终端的边缘计算具有巨大的应用价值,但是受限于移动终端有限算力,诸多企业望而却步。
公司自2003年开始便明确了在嵌入式设备研发相关视觉人工智能技术的发展方向,在边缘计算技术领域积累深厚,多年来建立了全面、复杂的多平台适用的底层嵌入式开发库。公司积累的算法具有高度的紧凑性、稳定性以及易调用性,可以在高性能、有效大幅降低资源消耗的情况下实现高精度运行。
公司长期专注于嵌入式设备算法的研究与开发,多年来积累了大量基于端设备的视觉人工智能算法开发经验。目前公司基于端设备的视觉人工智能算法适用性高、运行稳定,可以在边缘侧发起高效的运算,通过诸如智能手机、笔记本电脑、智能可穿戴等设备实现高效的图像优化、识别与检测等功能。公司的移动智能终端视觉解决方案、智能驾驶视觉解决方案和其他AIoT智能设备视觉解决方案等业务均是从边缘侧发起运算,在智能手机、笔记本电脑、智能可穿戴设备、汽车和各类AIoT设备上实现各类视觉人工智能的功能。
(2)视觉人工智能技术的层次积累
在数码相机以及手机功能机时代,公司就开始专注于视觉人工智能技术的研发与应用,公司主要算法技术都经过了长时间的锤炼,从基本的黑白小分辨率图像的摄取、增强、编辑、检测识别到高清大图像、视频的实时处理均打下了坚实的基础,创造了有利和领先的条件。
公司掌握的视觉人工智能算法技术具有通用性和延展性。多年来,公司积极致力于将视觉人工智能算法与行业应用相结合,凭借先进的科研力量、强大的产品开发能力以及卓越的工程实施能力,公司快速将视觉人工智能算法技术落地为成熟的解决方案,并进一步将应用领域从智能手机扩展到智能汽车、智能家居、智能零售等多个行业,助推行业升级。此外,公司基于自身深厚的技术积累,能够为上述行业快速提供高性能、高效率、硬件平台适应性强、功耗控制优良的解决方案,大大降低各类客户的产品使用先进技术的门槛,帮客户提升产品竞争力,助力视觉人工智能和人工智能相关应用的普及。
(3)工程落地能力
虹软创立至今,除不断积累和发展自身技术、掌握持续开发、迭代与硬件更加匹配的算法的能力,还一直致力于与核心产业链内主流公司开展长期、广泛的合作。公司与高通、联发科等各主流芯片公司建立了长期稳定的合作关系,研发中持续合作交流,深入了解平台硬件特性并为其针对性优化,共同开发核心功能,不断提高视觉人工智能技术算法产品与移动芯片的适配性。公司还与索尼传感器、三星半导体、格科微、OmniVision、舜宇光学、信利等业内核心器件合作伙伴建立了业务交流或合作关系,在项目早期就针对特定相机或硬件做算法适配和调优。针对智能终端的芯片平台,公司具备针对CPU、GPU、DSP和NPU等各个算力单元的强大优化能力。结合各硬件算力单元的能力和算法模块的算力需求,公司具备的异构计算优化能力能够从系统层面更有效地优化性能、降低功耗。得益于此,除核心技术能力突出外,公司同时具备优势明显的工程落地能力,在客户提出技术需求后,能更好地联合和发挥在相机模组、软硬件平台、产线、算法等多方资源合作优势,进而提供效果好、能耗低、效率高、硬件平台适应性广并能够快速落地的解决方案。
2.公司所处的行业地位分析及其变化情况
目前,视觉人工智能市场格局已经初步形成,核心技术、产品化能力、产业生态链合作均构成行业的核心壁垒,建立在自主创新能力基础之上的产品化能力成为最终创造社会价值和商业价值的核心,而能否寻找到规模化、商业化的应用场景则决定了企业是否能够长远发展。
公司是计算机视觉行业领先的算法服务提供商及解决方案供应商,是全球领先的计算机视觉人工智能企业。除本公司外,行业中国内企业主要有商汤科技、旷视科技,国外企业主要有SeeingMachines、Mobieye、Cipia、Smarteye。
全年出货量达十几亿台的智能手机市场是视觉人工智能技术的重要应用领域,也是公司人工智能产品落地应用最为广泛的领域。
基于多年的研发和积累,目前公司可以提供大部分主流智能手机的视觉人工智能算法产品和技术。根据IDC所统计的2019年度至2023年度全球出货量前五的手机品牌中,除苹果公司完全采用自研视觉人工智能算法外,其余安卓系统手机的主流机型均有搭载公司视觉人工智能解决方案。在继续巩固智能手机算法影像行业领导地位的同时,公司依靠对行业演进规律和技术更迭的理解,成熟有效的产品落地能力,正横向大力推进在智能驾驶领域的落地。在该领域,公司为客户提供VisDrive一站式车载视觉软件解决方案,目前已经成为国内基于高通智能座舱平台上的主流视觉算法供应商。
3.报告期内新技术、新产业、新业态、新模式的发展情况和未来发展趋势
2023年,AIGC和AI大模型技术继续成为市场焦点,形成不可逆转的发展方向,并且被广泛应用于多个行业。AIGC的快速发展将颠覆文字、图片、视频、音频和3D内容的生产方式,它不仅降低了创作门槛,减少了内容生产的时间和经济成本,还使得个性化和定制化的内容生产成为现实。这种技术的进步不仅限于创意产业,在消费电子领域,随着大模型参数量小型化和手机芯片算力的不断提升,更多的AIGC和大模型相关应用将进一步从云端下放到端侧,有望带动AI手机算法应用的爆发。
AI大模型技术的发展为端到端的智能驾驶提供了技术基础,吸引了来自不同领域的企业参与其中,并且已经取得了一定的成果。传统主机厂利用自身在量产车辆上的优势,收集大量真实道路数据,用于优化和迭代AI大模型。同时,主机厂利用其在产业链中的主导地位,整合上下游资源,推动智能驾驶技术的发展。
在智能驾驶解决方案的提供方面,Tier1供应商主要从软件算法层面入手,开发专门针对智能驾驶的垂直领域大模型。这些供应商通过提供智能驾驶大模型服务,帮助主机厂提升自动驾驶能力,并构建自己的数据闭环系统,形成了一个完整的大模型生态系统。例如,BEV+Transformer模型就是目前多家Tier1供应商正在开发和推广的一种大模型解决方案,它通过结合车辆的行驶数据和先进的算法,为智能驾驶提供了强大的技术支持。这些技术的融合和应用,将进一步推动智能驾驶技术的发展。
(四)核心技术与研发进展
1.核心技术及其先进性以及报告期内的变化情况
一、核心技术及其先进性
目前,公司积累了大量视觉人工智能的底层算法,构建了完整的视觉人工智能技术体系。
公司自主研发了诸如人脸分析及识别/人脸美化及修复/人体分析及美化、手势识别/物体识别/场景识别、行为分析、暗光图像增强/超分辨率图像增强/视频画质增强/画质修复、光学变焦、虚化技术、3DAR动画等诸多可应用于智能手机、智能座舱、智能辅助驾驶、笔记本电脑、智能可穿戴设备等终端领域的核心技术。
针对单摄/多摄/TOF/结构光等不同种类的摄像头,公司均可提供相应的3D与AR视觉解决方案,帮助厂商在移动设备上便捷高效地实现落地。为满足各智能终端对于VR/MR/AR应用的需求,公司已经研发并可以直接落地使用的解决方案,包括基于双摄/多摄/TOF/结构光的深度获取和优化,以及基于单摄的深度获取引擎,这些深度数据成为一些上层逻辑应用的核心基础;实现了SLAM中环境Map的构建,物体的3DModeing,视线的检测、跟踪,人体和动作静态、动态姿态的检测和跟踪,解决了实时显示中的延迟等多种问题。为满足智能驾驶人机交互的需求,公司主要研发了基于红外相机、单摄RGB摄像头、双摄、深摄的交互技术,包括手势交互引擎包、头部动作和口部动作交互引擎、经典表情识别,以及视频、照片拍摄时的娱乐功能。
公司在人体分析、人脸识别、人体识别、手势识别、人体美化等技术上,在当前状态下的中段平台达到超过95%的正确率、毫秒级实时性,这些引擎也可以有效鲁棒地支持低端硬件平台,人物属性分析、对象属性分析、多帧多通道质量提升等技术点能达到业界先进的低功耗、高性能、相对强鲁棒的水平。
公司大部分智能手机视觉解决方案达到国内外先进水平,多数新创技术在行业内属于技术首发,能够满足目前市面上中高端智能手机大多数与视觉相关的技术与应用的算法需求,且公司的智能手机视觉解决方案在除苹果之外的主流手机品牌的大部分旗舰机型上获得使用。
二、核心技术报告期内发生的主要变化
(1)人脸分析及识别
人脸检测技术针对戴口罩的大侧脸、戴墨镜的小人脸等困难场景进行了优化,手机版本在内部通用测试集上保持精度和速度不变的情况下,召回率提升1.32%。另外,人脸检测算法在车载舱内场景召回率提升1.64%,精度提升1.68%,尤其是车内的光线较差和模糊的三排人脸场景,人脸召回指标明显提升。人脸关键点定位技术在自测数据集上精度提升2%,同时提升眼睛点的精度和动作一致性,让美妆效果更加自然。在智能座舱场景中,人脸角度和位置估计新方案平均角度误差在自测数据集上精度达到2.3度,并且优化了戴口罩场景的人脸角度和位置的精度。人脸重建技术在稳定性及性能上进行进一步优化,不断提升不同表情、不同人脸角度下的稳定性及贴合性,在自测集上平均稳定性提升2%,功耗降低30%,使得4D美妆的使用者获得更好的体验。
2DFaceID进一步改善效果,在FAR≤100k的情况下,常规场景和戴口罩场景下,FRR改善3.2%~5%,针对大角度(主要是pitch角)识别专项优化,改善6.3%~13.5%;3DFaceID在FAR≤100k的情况下,常规场景和戴口罩场景下,FRR改善2.3%~2.8%;另外针对海外一些客户,大胡子用户较多、误识率偏高的情况,做了定制调优改善了效果;车载场景的RGB/IR交叉识别持续改善,尤其对大角度识别进行优化,FRR改善1.8%~4.2%,同时优化深色人种的识别效果,完成了全人种支持的通用版本;通用版本针对儿童做了定制调优,整体改善幅度达13%,以适配校园场景的刷脸应用。静默式活体RGB及IR版本持续改善,针对各类困难场景调优,SAR下降到2%以内,同时完成了配合式活体版本。
(2)人体分析及美化
人体检测技术进一步提升,针对车内场景,进一步提升了人体召回率并且降低了误检率,在内部自测数据集上,召回率达到95%,精度达到97.5%。同时针对成人抱小孩并且存在大面积遮挡情况的检测效果也改善明显。人体骨骼关键点技术,在座舱内场景中的复杂动作、成像存在大畸变场景下点位的准确性和稳定性提升较为明显。同时针对智能商拍产品,不仅提升了人体关键点的准确性,还支持了假人模特的关键点定位和残缺人台关键点补全功能,为后续的AIGC部分提供了坚实的技术支持。人体重建技术通过多相机大球实验室数据的采集和补充以及新方案改进,精度提升1.5%,为公司AIGC产品提供了更好的技术支持。遗留儿童检测技术针对座舱内乘客非配合场景导致人脸角度过大甚至不可见的技术难点,将人体分类合并到了算法模块中,在精度不变的情况下召回提升了27%。行为识别技术不断完善,针对座舱内场景,进一步提高儿童危险行为识别率。基于行为识别的环视哨兵功能,在正常场景下,召回率提升2.1%,改善车角和车边缘的类人目标误检情况,使得哨兵功能的误报率进一步降低到3%以下。
人脸美型方案,在报告期内效果和性能方面有了很大的改进。效果方面,在保持原有形变效果的基础上,精细参数调节,实现非局部形变的功能,模拟出更加自然的形变效果,通过客户验收并获得认可。性能方面,在开启多个形变功能时,优化变形逻辑,提升预览性能,用户体验更好。新增AI人脸美型,参考真实整容技术,注重保留用户原本的脸部特征,使用户脸型美化更加自然,并实现个性化脸型美化效果。人脸美化方向由视觉艺术团队主导,使得美型效果更显美观。
人体美型方案根据客户需求,新增人像提肩功能,提升人像气质。升级人体感知模块,应用人体语义分割、三维人体重建等技术点,人体参数感知结果更准确,变形控制更到位。
(3)宠物分析
宠物身体检测技术采用新的方案,在减少参数量的同时,mAP提升约8%,有力地支持了Bokeh等产品的宠物场景效果提升。宠物面部关键点检测技术针对大角度姿态、小目标场景进行优化,检测率提升约26%,有效提升了复杂场景下检测的鲁棒性,在宠物面部关键点检测的基础上进一步开发了宠物眼睛关键点检测,眼睛状态分类,面部姿态分类,可以获取更加准确的宠物眼睛轮廓,为后续宠物眼睛增强等产品提供了强大支持。
(4)行为分析
继续提升满足DDAW以及EuroNCAP法规的驾驶员疲劳/分心检测技术方案。通过大量路测数据对疲劳/分心的误报进行实车数据分析,通过多数据融合将基于车机信号与车辆控制信号在内的驾驶员行为数据与视觉感知信息进行融合,通过数据统计的方式为正常行车过车中的误检信息去除提供有效方案。与此同时,根据大量KSS以及心理行为研究实验结论,结合大量实车疲劳路测数据分析,完成了更加符合疲劳认知的全新疲劳解决方案的研发。根据大量疲劳研究实验进行了真实疲劳数据采集和真实疲劳检测技术更新,提升了基于真实疲劳反应的驾驶员疲劳分级检测,在视觉信息获取上增加多帧、多时间窗口的分析,增大疲劳分析的时间窗口区间,将大量与疲劳行为相近但表现形式有差异的混淆行为进行鉴别,对诸如低头向下看、从左右两侧注视手机屏幕或者其他交互区域等行为与闭眼或疲劳进行区分,形成了与市场同类产品技术的差异化,目前正在尝试将该新技术融入量产方案中,并且实车测试已达到DDAW认证要求。
视线追踪技术已经支持了众多智能座舱量产项目,结合座舱标定方案为驾驶员分心技术提供视线落点输出支持,完成了EuroNCAP法规中需要支持的视线落点检测研发,对驾驶员视线检测覆盖到舱内23个区域。满足了车上所有可能摆放手机位置下的驾驶员看手机分心检测要求,满足EuroNCAP所有视线分心测试场景的检测要求,并将过标方案融合入量产方案中,实现了更多满足法规要求的视线功能设计。根据对ADDW法规解读与技术实现分析,目前已经完成ADDW实车专项测试,并即将在各量产方案中设计算法方案,满足该法规标准继续进行单摄像头下视线追踪技术的精度提升,自主研发基于3D人脸重建与追踪的底层数据特征表达,实现3D视线追踪技术,该技术方案在客观数据指标上实现总体20%的提升,并在大角度场景下实现近30%的精度提升;视线追踪技术继续对多摄像头方案进行研究,并根据项目需要应用在量产项目中,全面提升驾驶员在车内的视线精度,尤其是在人脸大角度下的视线精度,全面覆盖各种摄像头下的人脸全角度。基于多相机方案已经成功用于多相机视线真值系统研发项目中,实现在座舱与实验室条件下的视线真值数据采集与实测;与此同时,自主研发了基于用户行为的无感自标定视线精度提升方案,对于视线基础引擎的精度做了较大的提升。该方案基于用户行为中与视线交互相关的行为进行自标定研究。同时,视线研发团队还对眼睛瞳孔虹膜特征在成像上的差异进行深入研究,获得了一整套最适用于视线的摄像头设计准则,指导量产项目中的视线摄像头设计。为了更好地解决量产项目中的不同车型以及各种容易引起摄像头位姿变化的外界影响,研发了一整套完善的视线无感自标定解决方案,为主机厂降低了相机标定带来的成本,目前该方案已经大规模用于量产项目中,适配各种车型的活动摄像头安装需求。与此同时自标定方案在2023下半年做了较大的技术路线更新,兼容支持了由于内饰颜色、纹理、光照带来的差异,支持了内后视镜位置一体化DOMS相机的自标定方案,为DOMS一体化以及更加鲁棒的自标定方案提供了技术保障。
基于XR头显的眼动追踪完成了双眼双目多光源方案的研发与调优,并配合头显的需要完成了与眼动相关的外围视觉算法研发,完成了设备端部署,精度效果已经达到业内领先水准。同时对适用于多种条件下的眼动算法进行研究,提升底层引擎的检测精度,并设计融合方案实现眼动追踪精度最优化。
车载表情识别与唇语关键词识别技术也有了重大突破。为了设计出符合用户感知习惯的技术方案,满足更好的用户体验,通过大量实车数据分析,构建了一套全新基于用户无感表情标定的表情识别技术,可以满足个性化用户表情识别的需求,精准捕捉到一些具有个性化的面部行为,大大提升了用户体验。
唇语关键词识别技术完成了多模态技术的研发,将语音与图像信息融合,解决了一些有歧义的唇语关键词无法用单一视觉技术方案覆盖的问题。
车载危险行为检测,智能座舱危险行为检测在支持范围、功能和性能等方面持续提升。所支持的摄像头安装位置扩展到了B柱,并开始支持全车乘客的行为检测,功能上增加了喝水检测功能。抽烟打电话识别,重点优化相似物体(如吸管等)可能被误识的问题,所用场景感知模型和识别策略更加合理,可以获得更加精准贴合的目标检测结果,同时可推理出更多辅助感知信息,相似物体的误报率降低至3%以下。通过对大量实车数据进行统计分析得到易误检的行为和场景,更新了基于行为分析的多帧信息融合方案,利用时空信息感知模型区分危险行为和其它容易混淆的正常行为。为配合公司智能座舱DMS和OMS一体化产品的布局,针对单颗OMS摄像头,研发了集抽烟、打电话、玩手机、喝水、方向盘脱手等多种危险驾驶行为检测为一体的a-in-one解决方案。商用车市场,针对多种低算力平台,研发了更加高效的适配不同硬件的小算力模型。对于自顶向下(top-down)视角的玩手机与方向盘脱手检测,针对一些画质较差的摄像头模组,设计了更加合理的检测逻辑与测试方案,事件召回率较之前版本提升10%以上。
(5)手势识别
手势识别相关底层算法模块持续优化改进,在车载、手机、数字人与AIGC等多个业务方向上优化提升,改善了遮挡、模糊、双手近距离交互等复杂场景下的检测和跟踪效果,保障了下游算法的效果,提升了用户体验。在公司内部客观测试集上,mAP相比历史最优模型提升4%。同时,也尝试将手部分割算法与检测算法结合,在输出检测框的同时输出手部Mask。手部姿态估计在通用场景下,新研发了多套技术方案。使用基于Transformer的大模型,助力公司的AIGC和数字人等相关业务;新训练了上半身人体关节点检测模型,将手部关节点算法的范围扩展到人体加人手;采用同时输出双手关节点的新方案,改善了双手交互时手部姿态估计的精度。基于深度图的手部分割算法和3D手部关节点估计算法针对实车场景和车规级TOF摄像头做了相应优化,提升了较远距离下常见手型、小目标手型和大角度手型的手部分割和关键点回归的精度,增加左右手属性识别输出,为上层TOF手势应用提供更好的支持。
车载智能座舱产品线,手势技术持续升级并获得更多市场落地。基于OMS的RGB/IR镜头的手势交互技术,增加了支持的静/动态手势种类,支持更多车载目标平台,在一些新的NPU、DSP芯片上部署了量化加速模型。鼠标手势交互方案推陈出新,继基于手掌加握拳的手势交互方案,又推出了基于手掌加两指捏合以及基于食指点击的两套新方案。依托手部跟踪、手部分割及精准的3D关节点估计技术,对手指运动进行建模分析,准确识别手指捏合、点击、推拽等动作。相比老方案,新方案的手部动作更加自然省力,可以有更好的用户体验。为丰富产品矩阵,所有鼠标手势交互方案都可分别在TOF摄像头和RGB/IR摄像头下运行。基于TOF镜头的自顶向下视角的手势控制方案,解决了左右挥手动作存在的痛难点问题,支持更多手势交互动作,用户体验明显提升。此外,还研发了一些手势创新应用,如体感切西瓜游戏,“灯随手动”——智能阅读灯手部感应等,为客户提供更多具有科技感和趣味性的体感应用选择。面向公司智能座舱软硬一体的Tahoe产品线,针对其硬件和图像特点做了专项优化,目前一些静动态手势识别已经部署在Tahoe产品上对客户展示。
移动端手势产品,针对手机AON设备,实现凌空手势控制方案,目前可识别手掌/握拳/剪刀手等静态手势以及挥手/转圈/推压/抓放等动态手势,为不解锁即实现手势控制手机提供可能。
VR/AR/MR手势技术方向,引入新的动态手部数据采集方案,可实时高效地获取手部图像和3D关键点标注信息。针对整个数据链做了充分优化,提升了数据标注精度。此外,对生成式大模型在数据预标注方面的应用也做了探索性研究。数据质量的改善直接带来了手部姿态估计效果的提升,特别是在一些较精细的动作如两指捏合上提升明显。手部检测模块针对差光照和自遮挡场景做了优化,在暗光、高光、和双手近距离交互下也有良好的检测效果。手部关节点估计持续改进并尝试了多个新方案,针对3D关键点精度指标MPJPE和稳定性指标MPJPA达到业内领先水平。整体性能也得到较大优化,配合视线追踪技术,基于手眼配合的新交互方案也研发落地。
(6)图像质量分析
人像质量分析重点改善光照、遮挡、角度这三个使用频率最高、客户对指标要求最细的case方面,光照判断正确率提升4.6%;对遮挡的情况进一步细分,例如口罩遮挡、手遮挡、异物遮挡、墨镜遮挡、大角度自遮挡等,对遮挡程度细分轻中重不同程度,针对性优化,整体效果改善10.6%;同时对海外人种的效果做了一定程度调优;对人脸角度,利用高精度采集设备,构建标准化数据集,帮助改善算法,整体效果提升6.8%。
HDR场景识别技术持续优化算法方案,在保持低计算量的前提下,稳步提升预测稳定性和场景预测准确率;通用场景的图像画质分析技术,综合评分基础上增加对比度、亮度、色彩度、清晰度、噪声等维度的评分,同时优化评分的单调性,并支持加权组合以灵活适配不同应用场景。
YUVHDR支持了旗舰处理器AEB模式下的HDR融合。该模式配合改进的HDR融合算法,实现了零延时的高动态范围合成,实现了高光还原和亮度过渡的平衡,实现了防鬼影和防噪音的平衡,实现了对霓虹灯、日落、天空、室内ficker等不同场景的智能优化,提高了整体的合成率和还原度,该模式支持对动态曝光输入的自适应调整,保持输出曝光的稳定性。在防鬼影方面,加入了基于AI的增强技术,实现了提亮和去噪,减少了运动区域的噪音,提高了运动场景的画质。针对中低端平台无法提供ISP提亮帧的情况,通过调整原有框架,改进HDR融合算法和鬼影处理策略,改善融合结果。开发暗光环境人像HDR功能,并支持闪光灯和屏幕补光模式,在暗光人像模式能更好的还原场景动态,同时保持人像的亮度和人脸的细节。根据对不同风格的要求,定制HDR融合策略。基于机器学习算法结合预览图片的统计特征改进动态EV算法,为系统推荐适配的低曝光图片的EV值,提升融合结果的动态还原效果。基于RAW域的HDR在AI去噪、高动态图像获取方面都取得了巨大进步,针对HDR摄影的复杂环境,从白天到夜晚都准备了鬼影处理策略,在影调方面以保持真实场景亮度分布为出发点,自适应调整影调,在保持原本动态范围扩展能力的基础上使最终结果更贴近客户从美学角度的需求。基于场景识别与语义分割,实现对不同被摄环境、不同语义区域的自适应影调调节,并且保持成片的自然度。针对运动场景实现了智能优化,提升了运动区域的画质,提高了抓拍成片率。弱光环境结合图象分割方面,根据图象区域分割的结果动态调整局部的融合策略,最终的融合结果更加自然。开发暗光环境闪光灯模式和屏幕补光模式人像HDR功能,在暗光人像模式能更好地还原场景动态,同时保持人像的亮度和人脸的细节。进一步拓展了HDR的特性和应用范围:适配了Quadbayer数据,为使用最新sensor获取更好的纹理细节提供了保障;灵活支持可变倍率,为全倍率RAW域HDR的实现打下了基础。
(8)暗光图像增强
暗光图像增强技术,公司为客户的摄像头传感器做了针对性支持,确保每个摄像头的去噪以及保留细节达到最佳效果。改进对齐算法,提升运动区域和人像的配准精度,使得算法结果细节保留更多。改进多帧融合算法,结合AI增强提升细节。改进针对运动区域的去噪和融合算法,消除运动噪音和运动模糊。改进训练策略,使得落地后的性能优化版本效果更好。针对中低端设备虫噪严重的特点,开发新的单帧处理算法优化图像。针对人脸部分,开发专门的算法对人脸进行去噪和增强,有效改善人脸的视觉效果。对不同的平台计算资源,比如NPU、GPU、DSP等做性能的最佳适配。同时,针对更低平台做了算法的针对性改进,维持效果和性能的最佳平衡,使得算法可以平铺到更多的客户设备。
(9)超分辨率图像增强
超分辨率图像增强技术,通过不同方案的尝试和实践,最终方案在清晰度上有突出优势,在效果和性能上达到了一个新的高度,满足市场客户的需求。拓展更深层的超分维度,YUV域,RAW域,Quadbayer域等,实现超分辨率的质的提升。改进运动区域检测策略和配准精度,改进融合算法,优化AI模型训练流程,提升AI增强的效果,改进针对不同摄像头传感器的去噪效果,提升结果细节。优化代码框架,提升性能。实现在不同的放大倍率上,都展现出更好的去噪效果以及细节水平。
(10)画质修复
屏下摄像头画质修复技术实现了预期的功能,在抑制图像原有噪声的同时提升图像清晰度、对比度和色彩饱和度,图像整体视觉效果更接近普通摄像头效果。文档图像去阴影技术更新了基础模型,改善了阴影Mask检测的效果。通过对模型的优化和精简,在降低计算量的同时,也大幅降低了内存占用量,并且效果和之前基本一致,从而使得该技术在更多中低端手机上落地应用。此外,通用场景去阴影技术的研发,也拓展了该技术的应用领域。
美食阴影去除方案,提升了对美食阴影区域的精确分割,支持对室内各种强弱和不同形状的阴影做更合理的处理,在阴影去除后恢复出真实的食物颜色和对比度,进一步提升了用户的使用体验。在数据方面,阴影分割模型仅使用少量标注数据训练预标注模型,大幅节省数据方面的人力需求,提高了数据迭代的效率。支持开发了多种合成数据方案,有效补充了不同美食和阴影数据的场景组合。目前美食阴影方案在平均得分上超越竞品2%,同时在多个困难场景主观评测上得到提升,满足用户的画质处理需求。
通过对摩尔纹产生机理的深入研究,对摩尔纹合成算法进行了改进,可以根据不同场景,生成对应的摩尔纹,提升了数据的真实性和丰富性。算法上尝试了多种新的方案,提升了去摩尔纹的效果以及泛化性能,同时精简了模型,降低了计算量。去反光技术细分各种拍摄场景,设计了有效区分反光层和背景层的代价函数,有效地改善了强反光边缘的场景使用效果并抑制误去除,相比基础版本有明显的改善,未来还需要进一步与竞品效果做比较。
(11)视频画质增强
视频超夜技术,持续改善AI降噪模型的降噪能力和细节保持能力。针对PC端需求,合理根据多款摄像头的不同噪声特性,设计针对性的训练方案和量化策略,达到降噪质量和性能上的较好平衡。针对PC端视频会议的需求,提升视频噪声估计模块的准确率,使算法在不同环境下自适应调整处理强度,获得更好的效果。进一步提升了鬼影检测技术,改善了运动物体的去噪效果。视频超分技术,持续改善AI超分模型的效果,针对视频会议应用中的文字内容,着重提升了其在多种字体下较小字号时的清晰度和可阅读性,以及提升了人像区域的清晰度。增强了模型的鲁棒性,提升了混合语言文字场景的效果。视频插帧技术,针对该技术在模拟长曝光场景的应用,持续提升了其在大运动和频闪等复杂场景下的追踪能力和稳定性,强化了其对非刚性运动物体的运动表示能力,改善了运动轨迹的平滑性和动态范围。针对该技术在视频编码插帧场景的应用,提升了其在物体遮挡和复杂背景下的追踪精度,改善了插帧结果的边缘清晰度。
(12)畸变消除
进一步优化了光学畸变消除性能和功耗表现,提升了视频流的处理性能;进一步提升了身体部分的修正效果并优化了任意输入区域透视畸变弱化的效果;设计实现了人脸和身体透视畸变检测及自适应矫正的方案,扩展了人像矫正的适用范围。增加了人像俯仰拍摄畸变修正方案,针对不同角度拍摄人像进行拍摄角度修正,合理利用畸变,提升了人体拍摄美观度。
(13)光学变焦
平滑切换支持更多的摄像头组合,变焦算法扩展至更多的低平台,更新镜头间公差校正算法,解决低端平台因摄像头公差较大导致的旋转跳变感,更新融合过渡算法(即fusion),功能上将fusion模式拆分,实现模块化和参数化,能够针对客户需求定制fusion效果,提高效率。
同时在更多的场景下支持faback模式,新增融合过渡,使得切变效果更加自然;改进融合技术涉及到的核心算法,自适应处理不同场景下的融合切变,效果提升明显。支持客户isz模式输入的光学变焦,faback模式和融合切变。支持跨镜头间的faback/recovery,并同时加上融合过渡效果,另外首次在四摄上同时实现上述功能。
(14)多摄标定
进一步扩大AVM标定和BSD标定的适配范围,以完成更多厂商/车型的需求,设计完成全套车载摄像头标定解决方案,包括EOL、在线、售后车载多摄像头标定姿态相对/绝对标定解决方案,设计完成激光雷达标定、ARHUD标定、红外传感器标定方案。完善在线标定和售后标定方案,投入实车部署。针对双目电影模式OIS开发了标定功能。
(15)全景拼接
增加了对RAW数据作为输入的支持,在低光场景下对噪声抑制有一定的提升,并能够扩展全景图的动态范围;针对一些带有运动物体的场景,通过检测运动场景内的运动物体并加以保护,减少鬼影,对于大的运动物体,效果提升比较明显。针对3x摄像头像帧间移动距离变大,景深差异更大的特点,改进了匹配和融合算法,改善了拼接错位,减小了扭曲程度。针对超广角镜头优化了部分场景直线扭曲的问题。针对慢速移动并轻微手抖的拍摄方式,改进了选帧算法和策略,减少错位。
(16)人脸美化及修复
公司在图像修复与编辑方向上长期致力于LivePhoto、视线校正、人头姿态校正等人脸修复与编辑技术。
Livephoto技术调整了深度神经网络结构,针对性地改进了口腔区域模糊、不真实的问题;研发了针对特定人物的微调技术,使得算法能够生成更加逼真的结果;对网络进行性能优化,使得效果可以在PC设备上做到实时。新研发了视频口播数字人技术,基于用户提供的几分钟视频素材可以训练得到对应的数字分身,在输入不同的文字内容时可以进行相应的生动播报,支持中文、英文等多语种。视线校正技术研发了全新的3D视线校正算法,创新地结合了三维人脸重建和二维图像编辑方法,相较于前代算法产品,突破了正脸姿态的限制,并且大幅度拓展了算法能支持的视线角度,在人脸角度和视线偏移角度均较大的情况下算法依然可以得到正确的矫正结果。在用户主观测试报告中,新的算法在真实感、矫正范围、算法稳定性、准确性等方面均明显优于竞品。人头姿态矫正技术结合了三维人脸重建与生成网络技术,设计了新的实现方案,相较于去年的版本,对效果的自然性、头部角度支持的角度大小、算法性能消耗等方案均进行了较大幅度的改进。在效果上,相较于前代版本,解决了可能会出现的额头部分变长、脖子区域融合拼缝、面部抖动、面部刘海眼镜断裂等问题,在视频上能做到连续、稳定、自然的结果。在性能上算法完成了模型的蒸馏和量化训练,以及计算过程全部部署在GPU上,实现了算法在设备端的实时运行。
在人脸美化技术上实现拍照磨皮新方案,提升了细节表现力、肤质纹理更加自然,增强了对不同画质人脸去噪的自适应性,改善人脸明暗不均现象的同时立体感也得到保持提升;实现预览磨皮算法,在去脏能力、通透度、立体感、肤质细腻度方面都有所提升;实现了Vukan方案的磨皮、美白、美唇、亮眼、白牙等美颜技术和腮红、眼影、SkinGoss、美瞳等美妆技术,在基本保持性能和视觉效果优势的情况下,解决了客户不同设备平台间驱动更新时产生的兼容性问题,降低了产品的维护成本;实现了4D眼睫毛、眼影、唇彩等4D美妆技术,较大程度上提升了美妆的真实性、立体感和光泽度,优化了大角度、姿态下的美妆效果;现了AI唇部、眼部遮挡物体分割算法,提升了美妆技术的实用性;实现了AI预览祛斑算法,较大提升了预览美颜的祛斑、去脏能力,对肤质纹理也有很好的保留;优化了拍照AI祛斑算法,对大侧脸提升祛斑效果的稳定性;图像祛斑方面也增加了去抬头纹、去颈纹等新功能。性能功耗方面,进行了GPU优化、模型优化和NPU硬件优化,优化了拍照AI祛斑算法,对大侧脸提升祛斑效果的稳定性。预览头发柔顺技术可以去除视频中的杂乱发丝、捋顺发束,达到美发风格化的效果。针对海外市场需求,定制实现了Bindi检测技术,可保护印度女性眉心Bindi,提升美颜效果;针对客户对高清人像的需求,开发了结合AI的人像算法,在调整光影瑕疵、修饰皮肤质感和恢复五官结构上做到了光影更好看、肤质更细腻、五官更清晰,打造了人像审美的高级感。
低光照和极暗光线下的人脸美颜解决方案继续扩展了超清人像美颜风格的应用平台,人像视觉效果更加自然、整洁,同时保持清晰度和立体感。视频任务上,针对移动设备端改善了模型以及任务框架,增强人像效果以及自然程度,同时提升了性能并优化了功耗。而PC端主要增强人像修复强度,提升人像解析力,同时针对不同平台的做了专门的性能优化。实现针对车载、平板、PC、手机等设备的视频人像修复的轻量级模型部署。
视频虚化继续精细打磨产品细节,持续保持行业领先水平。重构并升级了底层渲染引擎,对各硬件平台均具有更好的适配性和通用性,提升了算法部署效率。进一步优化了性能及功耗。优化了视频光斑触发算法,使得光斑更具层次感和立体感。单摄电影模式继续在更多手机客户及平台大规模成功出货,双摄电影模式也开发完成并成功出货。
升级了新一代渲染算法,该算法在效果上更加逼近大光圈的单反镜头,光斑更具真实性、自然性和艺术性;改善了渐变的层次感,使其更加立体、自然;改善了边界的准确性,使其更加锐利;进一步改善了虚化效果的准确性及渐变虚化的层次感,进一步提升了成片率;支持了圆形及椭圆形电影镜头级光斑效果。支持了高通SM8550等旗舰手机平台4K分辨率30FPS实时渲染,同时支持下沉到高通SM7325等中端手机平台并成功出货。实现了已拍摄视频在相册中重新编辑虚化强度、对焦点等功能的算法原型;作为底层核心技术,多维度达到了业内领先水平,为电影模式在多家手机客户成功出货提供了重要技术支撑。
升级了视频换背技术,能够根据背景图像自适应地调整前景的色调和亮度,使融合结果更加自然、真实。优化了手机前置摄像头自拍场景下的人像虚化效果,发丝更加准确、真实、自然。双摄虚化基于更加精确的双摄AI深度,进一步优化算法,使得效果更加精确和自然,接近单反相机拍照的效果。同时虚化算法、HDR和超级夜景等画质类算法结合,显著提高了虚化光斑的层次感和真实感。进一步基于特定的单反相机或镜头专门优化光斑效果,使得效果更加接近光学镜头拍摄的效果如哈苏风格化等。结合AIMatting技术,进一步改善头发区域的虚化效果,使得发丝更加分明,接近光学相机拍摄的效果。使用全新的AI技术对虚化效果进行渲染,在获得更加自然的虚化效果的同时,还可以修复深度图上的瑕疵,使得虚化效果更加精确。
双摄虚化与TurboFusion技术有机结合为TurboFusionBokeh,利用TurboFusion获得真实场景亮度信息,使得虚化更加接近单反相机在实际场景中的拍照效果,光斑更具能量感和层次感,形状更加接近单反相机的效果,颜色也更加真实。
全新的AIBokeh技术,不仅可以修复深度图上的瑕疵,还业界首次可以逼真的模拟出接近单反相机真实自然的前景虚化效果,同时还可以支持多种单反相机的光斑形态。
(18)深度恢复
根据应用场景、精度需求及平台算力限制,继续针对性地优化了模型精度,其中高精度深度恢复模型已成功落地于商拍等AIGC项目,为图像及视频生成提供深度信息指导;设备端模型继续改善准确性及视频深度恢复的稳定性,大幅改善了人像场景各类手持物的准确性,以及与主体接触的背景小人头漏虚问题,提升了人像虚化和人像视频虚化的产品体验。进一步提升了单帧/多帧画面的深度恢复精度,包括大幅改善了主体一致性和均匀性、人物及物体的边界精度、中远距离的错误、深度信息的层次性,特别是前后排人物深度的层次性、和人物同距离物体深度的准确性等等;大幅提升了前后帧的稳定性;进一步裁剪和压缩模型,大幅优化了功耗和性能;作为底层核心技术,在多维度均达到了业内领先水平,为电影模式在多家手机客户成功出货提供了重要技术支撑。依托复杂模型和大数据,单目AI拍照模式也显著提升了极夜和近景场景的表现,报告期内算法在背景与前景物体的深度一致性,细小物体的细节等多个维度效果提升显著。双目AI视频方案显著改善了深度准确性、精细度与稳定性。
为进一步满足客户要求,双摄方案利用全新的技术对双摄深度进行估计,对传统方法比较难处理的重复纹理,无纹理区域有着极大的改善,并且极大地提高了深度的准确性和精细度。同时针对一些特殊情况,比如细小物体、透明物体、反光物体、低光夜景场景等,训练了全新的双摄深度复杂模型,深度精准度进一步提高。针对夜景低光场景输入画质很差的问题,结合人像分割的先验升级了针对夜景的双摄深度模型,使得深度效果更加稳定。另外,双摄视频虚化方案则进一步提高了深度图的准确性,景深变化的自然感,前后帧的稳定性,并对OIS的启用提供了支持,同时做到功耗可控,同期首次在安卓平台上部署推出了双摄电影模式。
(19)图像语义分割
实现了人像分割超大模型的训练和部署,具有良好的精度和泛化性,可为素材标注降本增效,同时也赋能AIGC等应用。优化人像matting算法,接入人像虚化拍摄功能,使得发丝等细节效果更加自然。同时针对多种平台进行性能和功耗优化,适配多种机型。继续优化AICamera智能场景识别算法,效果上通过算法更新和数据迭代,显著提升了天空、植物、宠物、人像及人体相关区域的分割精度和鲁棒性。功能上增加了对face区域的语义分割功能,在无须显著提高性能的情况下,获取了更多的细粒度语义信息。性能上,通过优化网络结构和充分利用底层硬件资源,实现了8550机器上的多类别实时处理。接入HDR等上层应用,为分区域画质增强提供了有力支持。
针对AIGC线上应用的数据量大和泛化要求高的特点,设计了ViT大规模视觉骨干网络,并基于此开发了人体区域解析、交互分割等多种视觉子任务模型。人体语义区域解析模型,能够支持人体相关的20多种语义区域分割,其中不仅包括了面部、头发、颈部、手、脚、皮肤等肢体区域,同时涵盖了裙子、外套、裤子、衬衫、饰品等衣着服饰细粒度类别。该方案具有良好的精度和泛化能力,为PhotoStudioAI模特应用提供了自动化的解决方案。交互分割模型在设计上也依托于大模型强大的特征提取能力,同时考虑了下游应用中与众多细分类分割子模型初始结果的兼容性问题,开发支持了包括点和子模型分割结果作为提示输入的交互功能,做到了灵活、自动、和高效。同时通过优化训练数据精度和解码端模型结构提高了交互分割结果的细节精度。该模型不仅为内部素材的标注降本增效,也为AI商拍用户交互操作提供了支持。
(20)物体识别
车牌检测解决方案针对行车记录、哨兵模式、车外实况直播等应用场景进一步优化效果。支持常见自动驾驶芯片和车机芯片,并结合GPU、DSP、NPU等高性能运算资源进一步优化性能,可以满足在线实时检测的需求。同时车牌检测解决方案已支持Android、Linux和QNX等操作系统。在报告期内进一步优化了复杂光照车牌场景下的检测效果,当前在内部车载多种应用场景实车采集测试集中测试结果召回率提升至98%以上,误检率降低至5%以内,满足《汽车传输视频及图像脱敏技术要求与方法》中的相关要求。哨兵模式增加了车辆和其他非机动车的目标识别和测距算法,增加车门开关动作识别,同时定制化发布高中低三档灵敏度的报警算法,方便用户选择。
(21)场景识别
场景识别引擎GPU版本继续更新迭代算法模型,支持高通、MTK等NPU平台的运行,进一步提升了全体场景检测准确率,改善支持任意角度和有限度遮挡的目标场景检测。
(22)三维重建
三维重建技术更新了基于3D高斯的重建算法方案。与原先的NeRF方案相比,重建速度和效果都有比较明显的提升。实现了一套在线内参标定算法,可以支持任意手机拍摄的视频作为算法输入而无需事先标定,方便服务器端重建应用场景使用。实现了一种全局一致的前景分割算法,能从视频中自动分割出前景物体完成重建,剥离不相关的背景。支持手机端实时渲染,能较好地复现各向异性的光照效果。
针对XR眼镜应用场景,迭代和部署实时三维重建技术。迭代实时语义场景重建,并构建出室内场景的布局信息,语义信息更加结构化,提升XR应用的感知能力并更加智能化。设计一整套用于双目深度和场景语义标签的标注系统,支持快速生成深度、语义等训练数据,加速算法迭代。
开发静态场景隐式建模技术,支持生成高真实感的新视点图像。该技术方案根据视频与实时获取的相机位姿,用神经网络隐式建模三维场景,通过可微的体渲染技术,实现端到端训练。该技术方案可重新规划相机路径后渲染得到新的视频,用于视频编辑和立体视频生成等。结合神经辐射场和隐式符号距离函数几何表达,还可用于重建静态场景的三维网格模型。在静态场景建模技术基础上,增加室外街道场景的动态物体建模,从而支持对开放式动态场景进行建模,并同时对静态场景和动态物体进行渲染。
(23)光照重建
通过扩充训练数据集、精细调整训练网络并优化图像后处理等持续的技术迭代,提高了对鼻子、嘴巴、眼镜、头发等复杂场景阴影的处理成功率,使得去阴影后的图像在对比度、自然度方面得到了较明显的提升;将最新的Diffusion技术应用于人像光照重建功能,并已经完成了初始模型的开发,该方案可显著提升光影重建算法的能力,使得效果光比更强,光影更加真实,为图像带来更加立体、生动的视觉效果。后续将继续对该方案进行优化,以进一步改善效果和性能,达到项目部署要求;结合公司的双摄深度、显著物体检测与分割等先进技术,实现了显著物体的单色舞台光效果,通过高对比度的黑白效果和对暗部细节的精准强调,提升了整个图像的对比度和视觉冲击力,目前,该方案已经成功部署在手机端。
VR手柄跟踪是SLAM技术的一个新拓展领域,是VR终端设备的刚需技术。报告期内,VR手柄算法完成了从仿真到实际设备开发的转变。支持多种第三方设备,并支持双手柄实时交互,实现了安全区设定、空间划线等功能。对VR手柄跟踪算法的性能、鲁棒性、精度等进行了全面的优化,在高通XR2设备平台上,算法单帧耗时在22ms以内,支持视野可见范围内2m/s的剧烈运动,平均定位精度小于6.5mm。除了基于光斑的传统VR手柄,还开发了使用手机作为VR手柄的功能,可以使用普通的Android手机实现实时六自由度跟踪定位,实现菜单点选、简单的游戏交互等。对手机手柄跟踪算法的性能、鲁棒性、精度等进行了全面的优化。从逻辑上优化了用户体验,使得输出轨迹更加光滑、流畅。
SLAM技术在XR眼镜的头部位姿估计上取得显著进步。头部位姿估计是XR眼镜的一个核心技术和基础功能,要求低功耗、高精度和低时延。通过优化SLAM算法和把视觉模块从CPU移到DSP,本年度内SLAM算法计算效率提升30%,有效地降低了功耗和运动时延。针对XR常见的室内小面积使用场景,对建图模块进行大量优化,极大提高后端建图和实时定位精度。同时,改进姿态预测模块,实时定位准确度提升30%,接近业内毫米级的定位精度要求。已有版本在多款XR原型眼镜上集成,能为快速、准确的头部位姿估计提供良好的用户体验。
(25)3DAR动画
公司打通了3D数字人创建、编辑、实时驱动全流程。支持基于单张图或扫描模型完成数字人重建。与之前的重建算法相比,改善了头顶区域、眼睛的相似度,提升了纹理重建效果。编辑模块支持对重建模型的脸型、头型、五官、脖子等进行直观地修改。实现了基于单个RGB摄像头的实时全身驱动,包括表情跟踪与手势跟踪,实时动画效果基本达到业界领先水平。3D数字人重建增加了人头重建模块,提高重建人头几何的相似度;支持双眼皮的拟合,眼睛的相似度;增加了编辑模块,支持重建模型的再编辑及调整,同时也支持从中性模型开始编辑。新研发了基于球形实验室多视角数据的超写实数字人重建方案。新方案的重建质量远好于传统方案,3D渲染结果能达到以假乱真的地步。支持左右90度的视角渲染,渲染结果包含部分躯干。支持表情实时编辑,也可进行单目表情实时驱动。
(26)健康监测
持续推进座舱健康监测技术落地量产。其中心率检测算法,利用先进的信号处理技术,扩大高低心率支持范围到[46,150]bpm,提升测量期间运动鲁棒性,降低CPU占用20%,已量产上车;呼吸检测方面,新增胸腔区检测、相位检测、呼吸计数、憋气等功能,扩大慢/快速呼吸支持范围,提升场景鲁棒性和算法运行速度,通过率达到84.6%,已量产上车。血压监测持续优化,收缩压和舒张压的MAE均已降至7以内;IR心率在特定摄像头下MAE降至3以内;完成了心理健康算法功能,包括压力指数、身体能量、情绪的测量。
ADAS感知引擎基本健全,通过实车路测持续优化困难场景。前视解决方案中,各项算法引擎指标持续提升。其中障碍物检测方面,引入多头注意力思想,优化感知模型,使车辆召回率提升2%,行人召回率提升5%,异形车召回率提升5%,夜间整体精准率提升3%,雨天整体召回率提升2%;测量引擎方面,通过BEV思想结合逻辑优化,使车辆稳定探测距离提升到150米,车辆测速误差从20%降低至5%,复杂场景下目标跳变率从35%降低至7%,有效提升ACC减速精准性并降低ACC误触发;路面分析引擎方面,采用局部BEV方案提升车道线检测长度至100米,车道识别误检率降低2%,类别精准性提升11%,LCC支持速度提升至150千米/小时。ADAS引擎输出功能项持续增加,障碍物新增车辆360度朝向角、车轮点定位、人头框定位、行人朝向、儿童属性等,路面新增匝道分流汇合点、时间及场景工况识别等,为记忆行车建图和下匝道提供感知支持,在车道识别方面误检率降低2%,在类别判断方面,准确率提升1.7%,通过虚拟相机提升了识别距离。在道路分析技术方面,还支持城际NOA工况下道路拓扑检测,采用MOE混合专家模型进行昼夜自适应检测,使用BEV算法实现了道路在线局部地图感知功能;自检方面增加标定异常自检及售后标定。ADAS核心控制功能进入长里程路测阶段,新增指令变道(ILC)和导航辅助驾驶(NOA)功能,跨省封闭路段抽测中平均接管次数小于1次;AEB功能在C-NCAP2024摸底自测中全场景通过。周视解决方案中,通过路测持续迭代复杂场景下感知引擎,超长平板车类召回率提升7%,三轮车召回率提升5%,整体检测框精准率提升2%;与此同时,通过使用车身多部件组合特征结合时序运动学算法,将周视BSD报警信号成功率进一步提升至99.1%,用户实际体验进一步优化。夜视解决方案中,增加了车辆朝向和其他属性以方便测距,增加了夜晚动物识别,适配乡村、山路、沙漠等使用场景,持续提升目标检测和跟踪准确性,整体精准率提升到97%以上,利用大模型开发了自动化标注功能,提高了数据闭环的效率。完成了前车碰撞报警(FCW)和行人碰撞报警(PCW)以及动物碰撞报警功能相关的全部算法引擎,进入实车路测迭代阶段,当前C-NCAP场测报警通过率达到93%,实测无效报警数低于3次,进入量产上车前的最后打磨环节。
(28)图像特效
基于丁达尔效应产生的物理原理,选择合适的场景对仿真实现进行合理的简化和模拟,最终实现一套结合AI和CG的方法,为特定的场景图像添加上合适的丁达尔特效效果,提升图像艺术感。人像线条画效果和宠物线条画效果,这两种效果都结合了AI技术和审美的艺术,通过AI算法提取出具有表现力的线条,然后根据审美的评判制定一些准则将原始图像转换为一幅线条艺术画。目前二者都已实现手机端部署,并有参数控制线条粗细、颜色、数量等,从而满足不同用户的自适应调整需求。
光照耀斑项目基于对物理世界相机镜头与光照规律的精确建模,通过模拟实际镜头的参数,设计任意预想的耀斑效果。在用户拍照时添加耀斑效果,能显著提升图像的层次感和真实感。同时,精心设计的耀斑样式还能提升图像的艺术美感。该算法结合了光照方向检测,能够根据当前光照环境自动调整耀斑样式,以确保耀斑效果与当前场景自然贴合。目前,该项目已在手机端部署,并包含耀斑颜色与样式设计模块,可以满足用户获取不同耀斑风格的需求。
通过深入的尝试与研究,基于潜心沉淀的视觉大模型、小模型(细分模型与浅层模型)以及各类CV和CG引擎包构建了一套专有的计算技术引擎ArcMuse。该引擎为虹软PhotoStudioAI赋予了卓越的智能商拍能力,可高质量生成服装模特展示图、服装展示图、商品展示图及相关展示视频,全方位提升商拍图片及视频的美感和质感,助力用户在效率、创意和成本方面取得更大的提升。
对于其中的“衣服图”功能,用户只需要上传一张服饰图,选择目标模特,即可生成该模特穿着该服饰的效果图,该效果图能够真实体现服饰穿着在模特身上的悬垂感、褶皱及光影变化等,且与真实服饰保持较好的一致性。其中的服饰图可以支持挂拍服饰图、平铺服饰图及3D服饰图,且支持上装、下装、裙子等多个品类的服饰。目标模特同时支持内置模特和用户自定义模特,其中内置模特覆盖不同年龄、性别、肤色等,用户自定义模特可由用户根据自身需求上传相应图像。该功能基于虹软自研扩散模型基础架构及海量数据训练,能够极大提升传统真人模特拍摄的流程和效率。
对于其中的AI商品图功能,用户只需上传一张商品图,即能够实现智能商品抠图,并基于ArcMuse大模型图片生成能力,高效地生成多种场景和风格的精美广告图,大大降低了商品图的制作成本。为了达到商品与场景的完美融合,开发了纯色、展台、海边、雪山、赛博朋克、多巴胺等几十种预制场景供用户选择。通过在算法层面对生成过程的精细控制,使得生成出的场景更加真实,效果更加自然。同时,针对用户的个性化需求,还支持了任意画幅比例生成、预制素材库、上传参考图等功能,允许用户自主控制画面的构图、元素、色彩和风格,极大的扩展了用户的创作空间。在AI商品图的基础上,进一步开发了商拍视频功能,能够捕捉商品图中的色彩、纹理、语义等多维信息,生成更具吸引力和展现力的动态视频。
关于“真人图/人台图”功能,用户上传一张真人图或人台图后,PhotoStudioAI平台将智能分割衣服区域并提供微调功能,以保留用户所需展示的部分。在生成阶段,智能商拍为用户提供丰富多样的模特资源和大量的室内外场景选择,包括不同年龄、性别、人种和风格的模特,例如儿童、中年和老年,网红风、流行韩风、甜美、阳光、高冷、性感和成熟等。场景方面,智能商拍提供30+种不同风格的选择,包括各种工作室环境、室内场景,以及室外的森林、雪山、草原、沙漠,还有蓝天白云和星空夜景等,这些多样化的资源将帮助用户在提升效率、创意和降低成本方面取得更大的进步。真实而引人入胜的模特形象,可以吸引更多目标消费者的注意力,增强商家的品牌形象。
除了以上三种核心AI技术,PhotoStudioAI还提供了智能补光、智能美化、魔法擦除、画质升级和随心变形这些二次编辑功能,既可以完成商拍成品图的美学提升,也为用户的创作提供了更大的发挥空间。
AVM技术扩展统一了各视图的效果调整策略,可以有效地支持客户对不同效果的定制化需求,完成了标准化、平台化、工具化,提升项目落地效率;精细优化了产品的动态效果,支持前视图和透明底盘的动态展示,增加全景视图到局部视图切换动画,丰富车模的动画效果;接入多传感器信息,自适应优化鸟瞰图拼接参数,减少显示盲区和拼接损失;深入改善了透明底盘功能,改进在车辆变速、转弯等复杂场景下的对齐效果,提升底盘内容的清晰度,并实现了精确的底盘区域分割和细腻的动态轮廓效果。
在L2级行泊一体解决方案中,自动泊车辅助(APA)和记忆泊车辅助(HPA)是其重要组成部分。APA功能能够在无需驾驶员干预的情况下自动完成泊入动作,而HPA则允许用户在完成一次路线行驶后,再次到达相同停车场时基于历史建图自动完成循迹泊车。自动泊车辅助在视觉感知方面拆分为车位检车和避障检测两大技术点:①车位检测能够在寻库、泊入阶段实现垂直、水平、斜列、砖线、机械全类别的检测结果,并且能够提供视野范围内任意目标车位的高精定位,3m内车位入口感知精度误差<2cm,为极窄车位、机械车位等困难场景提供可靠的安全冗余;特别针对业界难点的机械车位,从0到1开发了配套的感知解决方案,配合规控已经实现了机械车位成功泊入,泊车成功率持续优化中,目前>90%。自动泊车辅助过程中,结合融合多帧的车位检测结果,构建基于车位角点的优化问题,提供车位跟踪、车位建图以及基于车位的自车定位功能,在寻库、泊车过程中向下游提供稳定、精准的车位地图,达到准量产水平。②在避障检测方面,支持泊车场景常见的白名单物体检测,提供0-15米范围内开集障碍物边缘识别与定位,并聚焦于6米范围内定位精度,通过亚像素级别的网络预测,使用雷达数据进行联合优化,针对车辆等常见类别上完成了30%以上定位精度提升,实现视觉雷达墙功能,同时支持15米范围内的可行驶区域检测和定位,提供白名单物体以外的避障检查,边界精度误差在10cm以内,为下游任务构筑了可靠的局部2D占据栅格。基于视觉可行驶区域检测结果,支持道路边界检测,同时支持视觉空间车位的检测。
APA自动泊车规控上利用几何法成功实现了垂直车位、平行车位的正常泊车,同时克服了行业难点立体车库的精准泊入。在此基础上扩展了混合A*的规划控制模块化的方案,节省了MCU的算力,同时可以规划出比几何法更智能的有效路径,克服了行业难点断头路场景。
HPA在视觉感知方面的技术点则为大范围语义泊车地图的构建,包括车位、立柱、地表标志、减速带、道路边界等元素的泊车语义地图构建。完成构建泊车地图,可用于自车定位,提供目标车位的指引;也可用于记忆泊车过程中的路径规划。
(31)三维渲染引擎
三维渲染引擎提供了渲染、动画、UI等完整的图形引擎解决方案。渲染模块内置基于物理的HDR渲染管线,支持gTF文件格式,符合gTF的材质和渲染标准,可以加载大量高质量3D模型,与通用材质模型兼容,可以渲染多种材质如金属、塑料、玻璃、皮肤等。报告期内重构渲染管线,支持前向渲染及延迟渲染,支持多种反走样方案,提升渲染真实度。动画系统实现了播放及编辑模型预置骨骼动画,基于人体捕捉系统,可以实时驱动数字角色。额外支持弹簧振子系统,有助于实现头发、衣服等物体跟随摆动。为满足车载业务,新增节点动画和形变动画具有可编辑功能,从而满足三维雷达墙、相机环视等复杂动效。HMI方面在原有2DUI方案上升级为3DUI,可以在三维场景中实现引导线,轨迹线等车载相关业务需求。引擎系统模块提供丰富接口,让开发者自由组织三维场景内容,支持多种平台,已经为移动端、PC、服务器端提供稳定且高效渲染效果。针对车载低算力座舱平台,我们优化了调度指令和资源预编译系统,引擎初始化时间减少70%。优化渲染指令调用,减少50%的CPU耗时。
2.报告期内获得的研发成果
公司坚持以创新驱动企业发展,不断探索视觉领域的前沿技术,持续高水平研发投入打造核心竞争力,研发投入强度连续八年达30%以上。截至2023年12月31日,公司拥有专利271项(其中发明专利248项)、软件著作权147项。相较于2022年末,报告期内净增发明专利21项、软件著作权18项。
3.研发投入情况表
4.在研项目情况
5.研发人员情况
6.其他说明
三、报告期内核心竞争力分析
(一)核心竞争力分析
1、人才优势
在近30年的发展历程中,公司磨合出一支以博士为带头人、硕士为骨干的核心研发团队,充分掌握核心技术算法,并进一步落地成为成熟的商业产品。通过长期的潜心学习,公司始终立足于领域内的最前沿,建立和长期保持行业内经验积累和能力上的领先优势。
虹软科技及其下属公司经过近三十年的摸索,不断改善形成了一套独有的高效管理模式,基本实现自动化、自驱、自愿的高效运行状态,同时采用“导师制”培养模式,有效减少研发的试错次数。高效的研发管理体系提高了公司的自主创新能力和产品研发速度,提升了公司视觉人工智能技术算法水平。目前,公司拥有良好人才储备并在持续完善,为重要项目的推进奠定了基础。
2、技术积累优势
公司技术积累优势主要体现在端计算和边缘计算技术的积累优势、视觉人工智能技术的层次积累优势、工程落地能力,具体见本节“
二、报告期内公司所从事的主要业务、经营模式、行业情况及研发情况说明/(三)所处行业情况/1.行业的发展阶段、基本特点、主要技术门槛/1.2主要技术门槛”。
虹软自成立以来便致力于计算机视觉技术的研发,技术所应用的终端,从个人电脑、数码相机、智能手机,再发展到智能汽车、VR/MR/AR智能可穿戴设备以及其他AIoT领域,一直与影像产业的发展、消费者的需求和影像科技创新紧密相连。经过多年的技术、专利和人才积累,公司已全面掌握视觉人工智能及人工智能的各项底层算法技术并不断进行技术演进,掌握包括即时定位与建图、图像语义分割、人体识别、物体识别、场景识别、图像增强、三维重建、虚拟人像动画、虚拟数字人等全方位的视觉人工智能技术。公司所掌握的这些底层技术具有通用性和延展性,在此基础之上,公司构建了不同的组件和产品,并衍生出多种产品应用方案满足相应的细分市场需求。
公司坚持以创新驱动企业发展,持续高水平研发投入,研发费用占营业收入比重连续多年在30%以上。截至报告期末,公司拥有专利共计271项(其中发明专利248项),软件著作权147项。
3、产业链深度合作优势
公司业务涉及到的消费电子产业、汽车产业特别强调产业高度协同,相互赋能、协同发展成为产业发展壮大的内在需求。公司拥有紧密、稳定的生态关系,与高通、联发科、格科微、索尼传感器、三星半导体、艾迈斯半导体、OmniVision、舜宇光学等平台、传感器、摄像头模组厂等产业链上下游主流公司开展合作。在智能驾驶业务上,除了既有的合作伙伴之外,公司也持续与更多的芯片、相机模组、Tier1等诸多上下游产业链公司形成了相互信赖的合作伙伴关系。
凭借与产业链内主流公司长期、广泛的合作,公司掌握了持续开发、迭代与硬件更加匹配的算法的能力,通过共同研发、持续合作交流,得以在客户提出技术需求后,在最短时间内及时响应,提供低能耗、高效率、硬件平台适应性广的解决方案,保持技术持续处于行业最前沿。
4、客户及品牌优势
公司是全球智能手机视觉人工智能算法重要供应商,目前已在视觉人工智能算法行业形成良好的口碑,客户遍布全球,算法产品基本覆盖安卓手机品牌。公司自与主要客户建立合作以来,均保持了持续良好的合作关系;对于展露市场的新客户,公司也通过帮助新客户成就其产品快速获得了客户的信赖。优良的客户质量、良好的市场口碑、国际化的品牌认可度、海量历史销售数据,为公司后续业务发展奠定了良好基础。公司正逐步利用在手机行业形成的技术、品牌和客户服务经验等优势,把产品和业务扩展到汽车行业以及其他AIoT行业。
(二)报告期内发生的导致公司核心竞争力受到严重影响的事件、影响分析及应对措施
四、风险因素
(一)尚未盈利的风险
(二)业绩大幅下滑或亏损的风险
(三)核心竞争力风险
1、技术升级迭代风险
公司所处的视觉人工智能行业技术升级迅速,是典型的科技驱动型行业,产品更新换代频繁,市场对技术与产品的需求不断提高,更多的视觉人工智能技术正被运用到各类智能终端。公司是以研发和技术为核心驱动力的企业,如果公司不能正确判断和及时把握行业的发展趋势和技术的演进路线,并投入充足的研发力量布局下一代的视觉人工智能技术研发,可能导致公司无法保持当前的技术领先性,从而对公司未来的经营产生不利影响。
智能手机市场的需求变化较快,相关技术的迭代周期较短,迭代周期约为1-2年。如果公司未能及时更新升级相关技术或根据市场需求成功开发出新产品,则公司可能出现技术落后、技术迭代不及时等情况,从而导致市场占有率大幅下降。而在其他移动智能终端领域,尽管公司利用既有技术整合开发出一些符合客户需求的产品并已进行了一系列前瞻性的技术和业务布局,但若无法抓住未来市场涌现的机遇尽快获取客户,则可能导致错失发展机遇的风险。在智能汽车领域,公司目前所取得的前装定点项目大部分是针对座舱内的软件算法,但随着产业的不断演进,如公司无法快速与OEM合作伙伴推出针对智能驾驶相关有竞争力的量产产品,则公司可能面临错失发展机遇的风险。
2、市场竞争风险
公司所处行业发展前景广阔,近年来参与者不断增多,导致行业竞争加剧。众多企业凭借其在特定细分领域的优势参与各垂直应用领域的竞争。若公司不能持续有效地制定并实施业务发展规划,保持技术和产品的领先性,则将受到行业内其他竞争者的挑战,从而面临市场竞争加剧而导致的毛利率下滑和市场占有率下降的风险,进而影响公司的经营业绩和发展潜力。
3、核心技术泄密的风险
公司销售的各类产品均基于公司独立研发积累的大量计算机视觉核心技术。为保护公司的核心技术,公司制定了严格的保密体系,但上述措施仍无法完全避免公司核心技术泄密的风险。未来如果公司相关核心技术内控制度不能得到有效执行,或者出现重大疏忽、恶意串通、舞弊等行为而导致公司核心技术泄露,将对公司的核心竞争力产生风险。
(四)经营风险
1、新业务开发和拓展风险
公司经过数十年的发展,积累了大量视觉人工智能的底层算法,这些底层算法具有通用性、延展性,除了可以广泛运用于智能手机外,还可应用于笔记本电脑、智能可穿戴设备等其他消费电子产品以及智能汽车、AIGC、智能保险、智能零售、智能家居、医疗健康等多个领域。
新业务的成功与否既受到行业发展状况、市场需求变动以及市场竞争状况等因素影响,又受到公司对新领域的理解、认知、推广力度及与伙伴的合作等诸多因素影响。因此,公司对新业务开发和拓展可能不及预期。如果公司在新领域产品开发或市场推广效果不佳,或者出现其他不利因素,将可能导致公司新业务开发失败,从而对公司未来的经营业绩产生不利影响。
2、主要客户采购量减少的风险
报告期内,公司前五名客户销售额为44,604.95万元,占销售总额的66.55%。如果智能手机出货量下滑、主要客户业务发展战略发生调整、主要客户因供应链短缺等原因延迟推出新机型或者其他不可预知的原因导致对公司产品的采购需求下降,则会对公司整体经营业绩产生不利影响。
3、核心人才流失、未能招募足额的优秀人才及人力成本上升风险
公司所处的视觉人工智能行业近年来发展蓬勃,对人才的需求量较大。公司的业务发展,需要一批稳定的研发技术人员、产品化人才及管理人才,这些核心人才对于公司业务的发展壮大起到至关重要的作用。
公司的成功取决于不断吸收和留住高水平的研发、产品、销售和管理人才。尽管公司通过内部培养及外部引进逐步形成了较为稳定的核心人才团队,并通过树立企业文化、优化薪酬体系、改善工作环境、完善绩效考核机制等方式完善了人才培养体系,但是,仍然可能出现核心人才流失的情况,从而给公司业务带来不利影响。
公司所处行业内企业对于优秀人才的竞争越来越激烈。如果公司未能招募到满足公司业务发展需求的优秀人才,则会对公司的业务发展产生不利影响;如果公司的人力成本的投入增长速度持续高于收入的增长速度,则会对公司的短期经营业绩产生不利影响。
4、管理能力不能满足业务发展需求的风险
目前,公司已积累了适应业务快速发展的经营管理经验,完善了相关内部控制制度,逐步实现了公司内控制度的完整性、合理性和有效性。随着IPO募投项目的有效实施,新业务的深入推进,公司资产规模和经营规模扩张,在研究开发、市场开拓、资本运作、内部控制、运营管理、财务管理等方面对公司的管理层提出更高的要求。若公司的组织模式、管理制度和管理人员未能适应公司内外环境的变化,将给公司持续发展带来不利影响。若公司管理水平不能快速适应不断扩大的经营规模,解决上市公司经营管理面临的新课题,也将对公司发展带来不利影响。
(五)财务风险
1、税收优惠的不确定性风险
报告期内,公司及子公司享受了一系列增值税税收优惠、所得税税收优惠,尽管税收减免对公司业绩的影响有限,但如果未来公司所享受的税收优惠政策出现不可预测的不利变化,或者在税收减免期内公司不完全符合税收减免申报的条件,则公司将在相应年度无法享受税收优惠或存在所享受的税收优惠减少的可能性。公司税收优惠政策可能的变化会使公司未来经营业绩、现金流水平受到不利影响。
2、汇率波动风险
虹软科技是一家全球化公司,在海外多地拥有经营主体,且客户分布韩国、日本、台湾地区、美国及欧洲等各地,报告期内公司来源于境外的收入占比为40.30%,上述境外业务使用外币进行结算,受到人民币汇率水平变化的影响。随着公司业务的发展,公司外汇结算量将可能进一步增加,同时人民币汇率受国内外政治、经济环境等综合因素的影响,存在波动风险,进而对公司的经营业绩产生不利影响。
(六)行业风险
目前,公司提供的视觉人工智能解决方案主要应用于智能手机、智能汽车行业,主要客户包括了三星、小米、OPPO、vivo、荣耀、Moto等全球知名手机厂商以及国内主要的自主品牌、部分合资品牌、外资品牌汽车主机厂商。报告期内,公司移动智能终端视觉解决方案业务收入为58,129.02万元,占公司营业收入比例为86.73%,公司下游主要客户集中于智能手机市场。
公司智能手机视觉解决方案收入与智能手机和摄像头的出货量虽无明显线性相关关系,但如果智能手机出货量下滑、摄像头出货量出现下降,主要智能手机业务客户发展战略发生调整或者其他不可预知的原因导致对公司的智能手机计算机视觉解决方案的采购需求下降,则会对公司经营业绩产生不利影响。智能汽车业务方面,如果行业竞争加剧,公司技术及产品竞争力不足,客户业务发展战略发生调整、客户自身业务发展状况发生改变或供应链紧缺等,可能导致公司智能汽车业务进展不及预期,以上因素可能会对公司经营业绩产生不利影响。
(七)宏观环境风险
1、宏观经济风险
公司主要从事视觉人工智能技术的研发和应用,主要产品有移动智能终端视觉解决方案、智能驾驶视觉解决方案和其他AIoT智能设备视觉解决方案,主要终端应用领域包括智能手机、笔记本电脑等消费电子产品以及智能汽车等。应用领域对国内外宏观经济、经济运行周期变动较为敏感。如果国内外宏观经济发生重大变化、经济增长速度放缓或出现周期性波动,公司主要客户因终端需求下滑、调整自身市场计划,或因供应链短缺等原因延迟推出新产品而对公司采购需求下降,且公司未能及时对行业需求进行合理预期并调整公司的经营策略,可能对公司未来的发展以及经营业绩产生负面影响。
2、贸易摩擦风险
随着公司经营规模的不断扩大,公司人员增加、结构优化导致各项费用增加,同时在国际贸易摩擦的背景下,国外客户受美国制约可能向公司减少采购、国内外客户受制于贸易摩擦或其他因素导致的自身销量下降进而可能对公司采购下降,以上因素可能会对公司的短期业绩形成不利影响。
(八)存托凭证相关风险
(九)其他重大风险
1、诉讼风险
在业务发展过程中,公司可能面临各种诉讼、仲裁。公司不排除在经营过程中,因公司业务、人力、投资等事项而引发诉讼、仲裁事项,从而耗费公司的人力、物力,以及分散管理的精力。公司实际控制人HuiDeng(邓晖)于2019年9月出具承诺,针对“MarcChan、LeiLi及其家庭基金诉讼事宜”,如发生任何纠纷(包括但不限于诉讼、仲裁、索赔等)给公司造成任何经济损失(包括但不限于支付赔偿款、律师费、诉讼费等)均由公司实际控制人HuiDeng(邓晖)独立承担。截至目前,该案处于上诉期内。
2、募投项目无法实现预期收益及新增折旧摊销对公司业绩的风险
根据中国证监会证监许可[2019]1180号《关于同意虹软科技股份有限公司首次公开发行股票注册的批复》同意注册,公司获准在上交所向社会公开发行人民币普通股4,600万股,共募集资金总额人民币132,848.00万元,募集资金净额为人民币125,485.92万元。根据公司《首次公开发行股票并在科创板上市招股说明书》,募集资金到位后,按轻重缓急顺序投资于智能手机AI视觉解决方案能力提升项目、IoT领域AI视觉解决方案产业化项目、光学屏下指纹解决方案开发及产业化项目、研发中心建设项目。2022年12月29日,公司2022年第三次临时股东大会决议终止募投项目光学屏下指纹解决方案开发及产业化项目,将该项目剩余募集资金投入募投项目IoT领域AI视觉解决方案产业化项目。
由于募集资金投资项目数额较大,对公司经营管理、研发管理、市场开拓、财务管理及人力资源管理等各方面能力提出了更高要求。如果未来市场发生不可预料的不利变化或管理疏漏等原因对募集资金投资项目的按期实施及完全达产造成不利影响,将导致募投项目经济效益的实现存在较大不确定性。募投项目建成后,新增大量固定资产、无形资产、研发投入,年新增折旧摊销等费用金额较大。如果行业或市场环境发生重大不利变化,募投项目无法实现预期收益,则募投项目折旧摊销等费用支出的增加可能导致公司利润出现一定程度的下滑。
3、母子公司多层架构的风险
公司下设多家境内外子公司,层级较多,公司面临各国法律及税收的监管要求。如果未来境外子公司所在国家或地区法律及税收的监管要求发生不利变化,同时公司实际控制人、管理层缺少相应的管理经验和能力,将增加公司管理协调的难度,带来经营管理风险,从而对公司业绩造成不利影响。如果未来境外子公司所在国家或地区对于现金分红、资金结转等事项进行严格监管,可能对公司下级子公司的经营利润逐级分配至母公司构成一定障碍,可能造成母公司没有足额资金进行现金分红的风险。
4、知识产权侵权风险
公司坚持自主创新的研发路线,经过多年的技术开发和业务积累,掌握了多项核心技术,拥有发明专利248项、软件著作权147项。公司的商标、专利、软件著作权等知识产权对于公司的业务经营至关重要,公司建立了完善的知识产权维护机制以保护公司的知识产权免受侵犯。但是,考虑到知识产权的特殊性,第三方侵犯公司知识产权的情况仍然有可能发生,从而导致公司为制止侵权行为产生额外费用,对公司正常业务经营造成不利影响。
同时,虽然公司一直坚持自主创新的研发战略,以开发自有、底层技术为主要研发路线,以避免侵犯第三方知识产权,但仍不排除少数竞争对手采取恶意诉讼的市场策略,利用知识产权相关诉讼等拖延公司市场拓展,以及公司员工对于知识产权的理解出现偏差等因素出现侵犯第三方知识产权的风险。
五、报告期内主要经营情况
报告期内,公司实现营业收入67,025.44万元,较上年同期增长26.07%;实现归属于上市公司股东的净利润8,848.77万元,较上年同期增长53.03%。
六、公司关于公司未来发展的讨论与分析
(一)行业格局和趋势
(二)公司发展战略
公司以“商业本身并不是生活和生命的全部,我们希望通过努力和智慧创造出被客户喜爱、尊重的伟大产品,并成为世界领先的智能视觉技术供应商和服务商”为经营宗旨,以市场为导向,以科技为支撑,以诚实守信为根本准则,不断巩固和进一步提高竞争优势,实施坚持原创,坚持深耕计算机视觉算法技术,深化各行业布局的发展战略,逐步将计算机视觉算法技术的应用扩展至更多的智能终端设备领域,为更多的行业客户提供最优的计算机视觉算法解决方案及服务。
(三)经营计划
2024年,公司仍将以技术创新赋能行业为使命,聚焦主业经营,立足价值创造,通过技术和产品创新、市场开拓、经营管理优化等多方面工作,不断巩固公司在视觉AI领域的优势地位,持续扩大行业影响力,坚定走好高质量发展之路。
一、聚焦主业经营,立足价值创造
2024年,虹软将更多精力和资源投向未来的长远目标,针对核心技术、战略客户、战略市场进行更多的资源投入,为公司未来发展奠定良好基础。在产品与技术上,公司将围绕AI计算摄影、车载视觉感知以及XR空间计算、AIGC等AI前瞻性技术进行深入布局,构筑面向未来的领先和竞争力,为客户创造长期价值。
1、引领计算摄影,做好金字招牌
一直以来,虹软致力于通过计算摄影技术,不断突破硬件固有的限制与瓶颈,秉承“3P(性能、功耗、成本)”的产品研发理念,为客户提供极具竞争力的行业解决方案。虹软的目标是持续提升用户的视觉体验,并引领推动计算摄影的创新发展。
公司将进一步巩固在移动智能终端市场的领先地位,提高市场竞争力,并持续满足客户不断变化的需求。2023年,公司在独创的“智能超域融合(TurboFusion)”技术相关产品的落地项目中取得了显著成果,并受到了客户的高度认可。这些项目的成功不仅表现在已应用于旗舰机平台上,还扩展应用到部分高端机型平台,为公司进一步开拓“智能超域融合”市场奠定了坚实的基础。
2024年,公司将加速TurboFusion技术和产品的推广,除继续在各客户旗舰机型平台应用外,还将在更多高端机型上落地应用、逐步向市场主流机型渗透,以满足客户的差异化需求,并拓展产品覆盖范围。同时,公司将重点投入到TurboFusion技术在人像、长焦等场景相关的影像解决方案,致力于提供更加个性化和多样化的产品选择。除了在图像方面的技术投入,公司还将着眼于视频领域,计划将TurboFusion图像处理技术延伸至视频应用,继续丰富公司的视觉解决方案产品线。
2、深入赋能汽车产业安全智能化转型,与客户共赢未来
在过去几年里,公司坚持贯彻执行“先舱内、后舱外”“先国内、后国外”的战略,积极布局并择时调整战略执行,实现了舱内纯软件算法在国内汽车市场份额不断攀升的良好成绩。随着定点和量产规模的不断增长,客户对公司的认可度也逐年升高,智能汽车业务呈现厚积薄发的态势。
2024年,除了进一步挖掘国内市场,丰富智能座舱车载视觉解决方案,公司将加大“国外”与“舱外”的战略布局。“海外”的目标有二,一是积极助力厂商加速出海拓展市场需求,产品满足海外各类国际化安全标准,二是将公司车载视觉解决方案更多地直接向海外厂商拓展。“舱外”是加速舱外车载解决方案在研项目的落地,为行业深度打磨出高性价比的行泊、舱泊一体解决方案。
(1)在VisDrive一站式车载视觉软件解决方案方面,公司已经成为国内基于高通智能座舱平台上的主流视觉算法供应商,公司将利用已获得的国内市场地位,更加进取地开发、升级、迭代和延伸产品方案。2023年,公司的健康监测算法产品完成了从0到1的量产,符合DDAW以及NCAP要求的DMS规模化量产上线,CPD的儿童检测也在国内完成了摸底测试,为后续的量产做好了准备;2024年,公司将继续深耕座舱市场客户,拓宽车型覆盖,持续提升市场占有率。
在其中的舱外产品上,公司具备3D能力的AVM产品累计已有几十款车型定点,并于2023年完成了十余款车型的量产出货,包括基于AVM的哨兵监测已开始量产上线;公司的周视感知算法项目即将在OEM客户多款车型上量产出货;具备夜视能力的ADAS产品正在与OEM客户开发中,预计2024年内出货;公司VisDrive升级版还将在2024年上半年重点推出基于智能SoC的舱泊一体解决方案。公司将继续以项目驱动产品落地,以产品驱动市场,在2024年积极拓展更多客户。
(2)公司面向舱内的前装软硬一体车载视觉解决方案Tahoe在2022年通过欧盟相关法规GSR(DDAW)认证测试的基础上,2023年也通过了欧盟授权机构的GSR(ADDW)的认证测试,这将帮助公司国内外客户更快地获得法规的准入资质。目前,Tahoe产品已经获得数家海外车厂的多款车型的全球定点项目,且量产开发也正在顺利推进中。公司将发挥前述优势和积累,2024年,在完成几款海外车厂车型量产项目开发的基础上,继续开拓海外新定点项目,并继续积极拓展以欧洲和亚太地区为重点的国际市场业务,帮助国内外客户更快地满足海外法规和行业标准的需求。
2024年,公司将加速面向中端车舱外高级辅助驾驶的前装软硬件一体车载视觉解决方案Westake的产品化进程。一方面,将基于开发的自动化测试系统进行更大规模的里程累积测试,验证并优化产品性能;另一方面,将继续通过软硬件一体化设计与开发,优化解决方案,提升产品功能上限,2024年上半年深入开发无高精度地图和极轻地图的NOA、记忆行车、记忆泊车等功能,同时还将展开市场推广工作。
(3)在商用车及工程机械车辆领域,公司提供一站式的软件算法解决方案以及AiTrak软硬件一体解决方案。2023年,公司重点拓展前装商用车、工程机械头部主机厂的定点开发工作,具备了完善的商用车解决方案,并获得了十余款车型定点;针对海外市场,研发了符合欧盟GSR法规的MonoLake、AiTrak软硬一体解决方案,完成了欧盟法规的BSIS/MOIS算法测试,已取得多家主机厂定点项目,并正在配合整车完成法规认证。
2024年,公司将进一步迭代面向商用车、工程机械前装OEM市场的产品技术方案,完成欧盟法规要求的ISA功能零部件认证,确保定点车型顺利通过整车认证,持续推进各个OEM客户的产品导入工作;商用车业务在确保国内算法授权业务稳定增长基础上,还将着力开拓海外市场软件算法授权市场。
3、着眼产业演进规律,积极布局拓展XR、AIGC等技术和产品
随着公司对AIGC以及XR空间计算等领域的深入研究与探索,以这些先进技术实现对新型市场的布局,为公司开创新的增长提供机会。
在XR领域,空间计算技术不仅为下一代移动平台,尤其是XR智能终端的发展提供有力支持,还在空间感知、视觉呈现、人机交互以及数字内容方面实现了突破,为用户带来更加沉浸式的体验。公司围绕标定、感知、交互和视觉呈现等方面,构建了一套完整的空间计算技术体系。随着移动智能终端的普及和XR技术的演进,未来,公司将进一步挖掘空间计算技术的潜力,推动AR和VR等扩展现实技术的融合与创新,以满足用户对更加沉浸式、智能化数字体验的需求。
在AIGC方向,公司将持续重点投入,不断优化ArcMuse计算技术引擎并将ArcMuse的新能力应用到包括PhotoStudioAI智能商拍云工作室在内的产品上。2024年,公司将发力AIGC商拍视频生成,基于用户输入的商品图片或者模特图片,捕捉商品的细节特征、质感、色彩等方面的精确信息,生成更能展示商品真实面貌的动态商拍视频;同时,公司会不断更新和迭代PhotoStudioAI智能商拍云工作室服装版和商品版产品功能,拓展衣服图支持的产品类别。
未来,公司将充分发挥在视觉人工智能领域的技术和能力,通过技术发展和市场发展模式创新来助推企业的进一步升级,整合内外部资源,进一步丰富AIGC产品矩阵,预计2024年推出PhotoStudioAI个人终端应用,继续探索把虹软AI技术带到更多的智能设备领域和应用场景,助力更多“视觉人工智能+X”产业的发展。
二、加强战略合作,实现生态共赢
在持续创新的同时,公司坚持加强与生态伙伴的合作,共同探索新的商业模式和市场机会。公司乐于通过与合作伙伴共享资源和技术,共同应对市场挑战,实现互利共赢。公司已经与芯片厂商、光学模组厂商、汽车Tier1厂商等多领域的供应商建立了长期的合作关系。
面向未来,公司将进一步拓展与生态圈合作伙伴的合作范围和深度。公司将继续加强与现有合作伙伴之间的合作关系,深化合作领域,共同开发新的产品和解决方案;同时,也将积极寻找新的合作伙伴,拓展合作网络,以实现更广泛的资源共享和技术交流。2023年,公司积极探索虹软视觉人工智能技术在商拍领域的应用并针对行业痛点推出了新产品,进入了新的商业赛道;2024年,公司将结合新的商业模式特征,通过加强生态合作、拓展渠道商等多种方式实现快速获客。
三、持续创新投入,提升发展韧性
创新一直是虹软及虹软子公司近三十年来生存和发展的基石。长期以来,公司坚持将年收入的30%以上投入到研发领域,这不仅是为了跟上市场的步伐,更是为了引领影像视觉行业的发展。正是由于长期的研发投入,公司在许多视觉技术领域持续保持领先地位,并能够在激烈的市场竞争中脱颖而出,赢得客户的尊重和信任。
2024年,公司将继续保持对研发的高投入,并进一步提升发展韧性。公司将不断挖掘和探索新的技术领域,推动技术的突破和创新,以应对不断变化的市场需求。同时,公司也将注重研发成果与市场需求相结合,不断推出具有竞争力的产品和解决方案,从而为客户创造更大的价值。
四、优化经营管理,提高经营质量与效率
2024年,除继续坚持研发驱动,聚焦主业稳健经营,从而提升价值创造能力之外,公司还将从人才队伍建设、持续提升业财融合、加强现金管理等维度优化经营管理,提升经营效率与效果。
1、注重人才队伍建设,持续激发组织活力
2024年,公司将优化人才引进和使用策略,有序规划增量人才储备,优化招聘组织效能,为智能汽车以及AIGC、XR等新业务领域提供人力保障。同时,公司继续强化人才激励与培养力度,根据岗位类别、业务定位等属性,分层、分类实施专业能力培训提升项目,强化各岗位角色的战略执行力,充分为业务蓄势赋能;继续完善各专业领域专家级资深员工的职业发展规划及多元化评价激励模式的探索创新,激发优秀人才的创造力和自驱力,带动整体团队效能提升。此外,公司将进一步加强体系化的人力资源合规管理,对内部人事管理制度、流程、协议以及相关文档进行系统优化。
2、持续提升业财融合,强化经营归因分析
近几年来,公司持续加强业务发展与财务管理的融合,通过财务的参与和支持来提高业务的效率与效果,同时通过业务的反馈和改进来优化财务的规划与控制。对于成熟的业务,公司重点关注客户维度的签约、收入及现金流的同比、环比变化;针对新业务,公司建立了与业务更紧密的监管合作机制,强化沟通,全面实施事前、事中和事后的管控措施。公司注重对客户信用状况的评审,对于合约中的关键条款进行严格把关,加强对应收账款的催收及管理。2024年,公司将持续推进业务和财务的深度合作,不断提公司的经营效率。
3、加强现金管理,实现资金安全与收益的平衡
作为研发驱动型企业,公司持续围绕视觉人工智能技术进行投入,确保公司始终保持在行业领域内的竞争优势。为确保有足够的资金投入到技术研发,同时也为防范企业经营过程中的不确定性风险,公司持续保有较高现金储备,截至2023年末,本公司的资金存量共计为人民币226,419.09万元。在保障公司经营安全的前提下,公司亦通过现金管理提高资金收益。同时,公司还以现金分红或股份回购的形式,将公司的一部分盈余回报给股东。2024年,公司将继续加强现金管理,并更加注重投资者回报,实现资金安全与收益的平衡。
收起▲
一、需提醒投资者关注的关于公司报告期经营情况的其他重要信息 2023年1-9月,公司实现营业收入50,281.37万元,同比增长28.67%。其中,移动智能终端视觉解决方案实现营业收入45,491.72万元,同比增长29.81%;智能驾驶及其他IoT智能设备视觉解决方案实现营业收入3,824.81万元(其中软件收入2,977万元),同比增长26.70%。截至目前,主要业务进展如下: 2023年,公司加速自创的“智能超域融合(Turbo Fusion)”技术的产品化和落地,为手机拍摄提供创新性的全链路超域解决方案。该产品系列正赢得更多客户的青睐,已研发的智能超域融合夜景、HDR、超分、人...
查看全部▼
一、需提醒投资者关注的关于公司报告期经营情况的其他重要信息
2023年1-9月,公司实现营业收入50,281.37万元,同比增长28.67%。其中,移动智能终端视觉解决方案实现营业收入45,491.72万元,同比增长29.81%;智能驾驶及其他IoT智能设备视觉解决方案实现营业收入3,824.81万元(其中软件收入2,977万元),同比增长26.70%。截至目前,主要业务进展如下:
2023年,公司加速自创的“智能超域融合(Turbo Fusion)”技术的产品化和落地,为手机拍摄提供创新性的全链路超域解决方案。该产品系列正赢得更多客户的青睐,已研发的智能超域融合夜景、HDR、超分、人像解决方案均实现了量产落地并批量出货。Turbo Fusion还针对不同的硬件做了相应的定制化解决方案,如针对Quad bayer(四合一拜耳传感器)的传感器,公司研发了长焦超分解决方案,方案可以实现远距离高清成像效果。目前,该方案已经完成技术的研发,正在进行客户推广。虹软VisDrive一站式车载视觉软件解决方案持续迭代,2023年新增了与长城、睿蓝、极氪、吉利、长安、岚图、奇瑞、合众等车厂的多个前装量产定点项目。目前,分别搭载了公司DMS、OMS、FaceID、TOF手势、舱外体态识别拍照、3D AVM、智能后备箱(智能尾门)等舱内外算法的量产出货车型已有数十款,主要知名车型如理想L9,长城哈佛系列、欧拉系列、坦克系列,合众哪吒系列,长安CS75 PLUS、UNI-T、启源A06,长安马自达CX-50,长安新能源深蓝SLO3,奇瑞星途揽月、凌云,东风岚图Free、梦想家、追光。吉利旗下的吉利、几何、领克等品牌也均有出货,如吉利豪越L、星越L、领克06、几何C、睿蓝等。
公司进一步完善了虹软视觉大模型,通过深入的尝试与研究,基于潜心沉淀的视觉大模型、小模型(细分模型与浅层模型)以及各类CV和CG引擎包,公司构建了一套专有的计算技术引擎ArcMuse。同时,公司优化了基于边缘检测、人体几何、深度恢复和智能分割等核心引擎的条件小模型,对于用户输入的各类真人图、人台图或者商品图,均可高质量生成服装模特展示图和商品展示图。此外,还新增实现了一系列AI编辑功能,包括画质增强、美化、魔法擦除、智能补光等丰富的AI编辑工具箱,通过深入商拍垂直领域,ArcMuse展现卓越效能,全方位提升商拍图片的美感和质感,为公司智能商拍产品“PhotoStudio AI”赋予了更佳的商拍能力,并助力用户在效率、创意和成本控制方面取得更大的提升。本报告期,公司积极推动产品市场化,前期已向一批种子客户开放了Beta版本内测,目前公司AI创新产品PhotoStudio AI智能商拍摄影云工作室(Beta)已公开上线。
收起▲