日前,嘉楠科技荣登中国AI芯片企业50强榜单。该榜单于GTIC 2022全球AI芯片峰会正式揭晓,专注中国芯片设计企业追踪研究,评估维度涵盖核心技术实力、团队建制、市场前景空间、商用落地进展、最新融资进度和国产替代价值六大维度。在入选名单中,嘉楠科技以其在端侧AI芯片领域高性能图像处理和全面开源特性受到关注。
依托RISC-V开源架构,嘉楠科技目前研发了两代机器视觉AI加速器,分别搭载于勘智K210和勘智K510芯片。其中,K510具备高精度推理计算、高性能图像处理及视觉子系统、全面开源的特点,在高校赛事、STEAM智能教育和智能家居等场景均有广泛落地。
支持端侧高精度推理与多模态计算
在计算精度方面,K510是国内少数支持INT8和BF16数据类型的端侧AI芯片。作为一种转专为深度学习优化设计的数据格式,BF16数据精度能支持大多数计算机视觉和语音处理场景,并且占用存储空间小。在保证数据精度的前提下,在运算量较小的端侧场景中支持BF16数据格式能实现更高的处理效率。目前BF16已经得到包括谷歌TPU、Intel和ARM等支持。
K510的浮点计算性能达到2.5TFLOPS,满足多数视觉计算场景需求。
在CPU架构方面,K510搭载64位RISC-V双核CPU处理器,主频800MHZ,并扩展FPU辅助AI加速计算。芯片内置64位单核DSP,支持512点浮点FFT算法硬件加速,可用于语音唤醒、语音识别、声源定位等语音处理场景,使其具备视觉和语音两种处理能力,极大提升了该芯片在实际任务场景的灵活性。例如在智能云台、机器狗等设备上,可通过K510的声源定位和人脸识别功能实现根据用户声音定位方向并追踪人脸等。
集成全新一代视觉子系统
在计算机视觉任务中,图像质量和图像信号处理都是影响最终视觉推理结果的关键因素。K510搭载高清三摄,支持4K分辨率和3D深度视觉处理,有效提升了成像质量。同时,高FOV视场角的配置能使图像传感器捕捉更宽视域的信息。芯片支持H264高质量视频编码,2路视频分辨率达1080P@60hz。
在图像信号处理环节,传统ISP受实际光照条件影响大,不能有效应对低照度环境。K510搭载新一代ISP图像处理器,支持图像2D/3D降噪,结合空域和时域降噪特点,充分满足低分辨率和高清图像的降噪需求,提升图像质量。同时,ISP还支持宽动态范围HDR、鱼眼矫正、RGB/IR融合与硬件3A等多种功能。
新一代ISP在傍晚、月光和星光等低照度环境下也能获得较高的成像质量。基于智能算法识别图像信号,大幅提升图像信噪比。通过RGB/IR融合技术,新一代ISP还能进一步减少画面污染。而在强光源照射环境中,ISP支持的宽动态HDR可获得更多的图像明暗细节。
软硬件全面开源
作为一款设计之初就面向开源的芯片,K510完整支持Linux和RISC-V P扩展,极大提升了芯片的易用性。同时,嘉楠勘智系列芯片形成了从硬件参考设计、系统软件工具链、算法SDK到上层解决方案的全面开源体系,吸引超万名开发者的使用。
在硬件层面,嘉楠科技基于两款勘智系列芯片研发了基于最小系统的核心板,分离系统核心功能,提升系统稳定性,便于外部扩展和使用。嘉楠科技还研发了核心板与K510 CRB KIT客户参考套件,帮助开发者加速实现产品原型验证。其中K510 CRB KIT已上线十数种算法Demo应用,进一步降低开发门槛。
此外,嘉楠勘智系列芯片还支持MicroPython、OPENMV等开源生态,以及100多种第三方AI开源硬件和商业模组等产品,是目前RISC-V生态市场中最活跃的开源硬件系列。
在软件堆栈开源上,嘉楠勘智系列的AI算法平台为开发者提供从数据导入、数据拆分、模型训练到推理的全流程技术支持,便于快速开发算法原型。开发者还可在K510 CRB KIT板上下载和验证各类算法demo。目前其开源算法仓库涵盖数十种场景AI算法集,例如人脸识别、车牌识别、物体检测和分类、人体识别、人体追踪、手指检测和文字识别OCR等。
在系统软件方面,嘉楠勘智系列提供NNCase AI工具链、系统软件和多媒体软件,支持TensorFlow/TF Lite、PyTorch、ONNX、Caffe和百度飞桨等算法框架。
基于开源模式,嘉楠科技的AI芯片已落地智能家居、智能教育、智能通行、智能传感器和智慧医疗等多个领域,目前累计出货超200万颗。在合作案例方面,嘉楠科技与国内多家STEAM教育机器人龙头厂商和机器狗初创公司达成合作,并连续于2021和2022两年成为全国大学生OS设计大赛的技术支持方。