人工智能/计算机视觉极视角科技2025-01-17

MatrixOne 助力极视角建设统一可复用的 AI 特征平台

极视角基于 MatrixOne 构建统一 AI 特征数据平台,模型开发周期缩短 30%,特征复用率提升 40%。

极视角科技

极视角科技有限公司(Extreme Vision)成立于2015年6月,是专业的人工智能与计算机视觉算法提供商。 极视角打造了国内首家计算机视觉算法平台,致力于开拓人工智能在不同行业及领域的开发与应用,为企业提供最丰富的人工智能算法及解决方案。 极视角的算法平台上汇聚超过40多万海内外视觉算法开发者,并成功服务过3000多家政企与科研院所,为产业提供丰富的人工智能算法与基建平台,赋能百业完成智能化转型升级。

30%
模型开发周期缩短
40%
特征复用率提升
40%
数据利用率提升
3→1
数据库组件精简

业务挑战

极视角作为一家以机器学习AI算法为核心能力的公司,整体业务大量涉及到AI/ML算法相关的工程,而其中的特征工程的环节非常重要。特征工程是指从原始数据转换为特征向量的过程,特征工程是机器学习中最重要的步骤,会直接影响机器学习的效果,并通常需要大量的时间。典型的特征工程包括数据清理、特征提取、特征选择等过程。

而在整体的特征工程中,特征数据的存储和管理是其中的一个重要环节。传统上来说,AI工程师会采用比较简单的以文件的形式来存储特征数据,然后通过代码的形式将特征数据导入到后续的训练或者推理流程中,极视角的特征数据存储和使用也采用了类似的方式。

在多年发展的过程中,极视角积累了大量的垂直领域的AI算法,而其中的各类特征数据已经变的非常庞大而分散,绝大部分都只留存在每个AI工程师自己的工程流中。但是实际上大量的场景都开始出现交叉和整合,有很多相对通用的特征数据由于没有得到很好的管理,使得每次训练新模型的时候又要重复整个特征工程的步骤,对于工程时间和资源都有较大的消耗。

解决方案

因此极视角开始寻求建立一套统一的特征库数据管理平台,以提高整体特征工程的效率和复用性。该平台的核心能力需要包括:

需要能存储各类格式和模态的数据:由于各类机器特征工程算法差异较大,输出的格式较为多元,因此需要支持schema严格的结构化csv数据、schema灵活的json数据,文本数据,图像数据及经过向量化算法转化之后的向量数据。

需要能对特征数据进行高效分享和二次加工的能力:由于特征工程基本上都是由不同的AI工程师进行构建,而又会在其他项目流程中进行复用,因此需要能快速将特征数据入库并分享发布给其他工程师进行协作,并允许其他工程师在上面再进行二次加工并形成新的特征库。

具备各类数据转换的能力:每类机器学习算法可能对于需要进行训练或推理的需求都会有相应的差异,而且即使在同一个项目中也有可能出现大量对特征数据进行调整的需求,因此需要平台能具备相关数据转换的能力。

客户收益

在以MatrixOne为底座构建的AI特征平台建设完成后,极视角的AI工程师彻底摆脱了过去每个AI算法模型开发都需要单独建设一套特征工程的业务模式。在模型开发效率上,通过预先计算和存储特征,模型开发周期减少了30%,从平均4周缩短至2.8周,而特征复用使得每次模型迭代的特征工程的pipeline也减少了40%,大量重复建设的pipeline被识别出来直接使用已经建设好的特征工程或者直接应用预制的特征数据。同时通过业务特征的共享,业务整体的灵活性也大幅增加,不同部门和不同项目碰到业务需求的时候,由于具备这样的跨部门、跨项目的特征数据共享,提升了整体数据利用率达40%。

特征数据平台实际上在机器学习领域是一个非常常见的需求,MatrixOne与极视角的合作实际上给整个行业提供了一个针对特征数据平台的理想范本。

方案架构

数据来源
  • 算法平台特征数据
  • 多源视觉训练样本
  • 模型训练与推理日志
  • 算法开发者协作数据
MatrixOne Intelligence
  • 统一特征平台存储
  • 超融合引擎替代多组件
  • 特征版本管理与复用
  • 高并发训练数据读取
  • 存算分离弹性扩展
业务应用
  • 统一可复用的 AI 特征平台
  • 算法迭代效率提升
  • 多算法共享特征资产
  • 运维复杂度下降

相关方案与产品