智能制造 / MES深圳一道科技2024-09-20

深圳一道科技 MES 架构收敛:三个数据库合并回一个

MES 为了同时接住高频数采、复杂追溯与半结构化中间结果,被迫在 MySQL 之外加挂 InfluxDB 与 MongoDB,大量本该由数据库完成的计算被推到应用层。迁移到 MatrixOne 后架构回到单一数据库,整个过程不到一周。

深圳一道科技

深圳一道科技(ETAO Tech)成立于 2012 年,是面向电子制造业的软件与信息技术服务商,把软件系统、数字平台与人工智能带进智能工厂。目前已服务上百家电子制造业的数字工厂,物联接入点超过 15000 个。

3 → 1
数据库种类收敛
< 1 周
完成整体迁移
15,000+
物联接入点
TB 级 / 月
单厂数采增量

业务背景

一道科技自研了一套面向制造执行层的 MES 系统,覆盖数据管理、计划排程、生产调度、库存、供应链、设备与质量管理等模块,为工厂提供一套完整的制造协同管理平台,已经成功交付上百家客户。

除了 MES 软件本身,一道还提供整套生产设备的数据采集与接入方案——直接从设备 PLC 读取、外接边缘采集设备,或从控制台主机获取。这些数据同样会进入 MES,作为各类产线分析的基础。

业务挑战

第一个压力来自数据量。制造业客户数据驱动的意识越来越强,会要求 MES 厂商把采集到的所有数据都保存并利用起来。一个典型的拥有数十条产线的电子制造工厂,上线 MES 与数采系统后一个月就会累积 TB 级数据。为了接住这种高频写入,一道在 MySQL 之外引入了 InfluxDB 时序数据库。

第二个压力来自查询。报表分析、产品追溯,以及预测性维保、工艺流程优化这类更进一步的场景,都带有大量计算需求,尤其是面向过去数月甚至数年的追溯查询,MySQL 已经远远不够。工程师只好在应用层做预计算,而预计算会产生大量 JSON 半结构化数据,于是又引入 MongoDB 来存放。这个优化确实起了作用,但 MongoDB 不具备多维分析所需的 SQL 能力,所有预计算逻辑仍然压在应用层。

第三个压力是前两个叠加出来的。数据分散在三个数据库里——人员、物料、流程、设备等管理数据在 MySQL,设备采集数据在 InfluxDB,计算中间结果在 MongoDB。最终服务业务应用时,需要在多个数据库之间反复取数、计算与交互,业务逻辑变得非常复杂。

大量本应由数据库完成的能力被推到了应用层,而 MES 在不同项目交付中又往往需要定制,产品的迭代效率因此被直接拖慢。

解决方案

一道的研发负责人在了解 MatrixOne 之后很快意识到,对混合负载的支持正好对上了当前的困境:如果一套数据库既能满足管理信息系统的 CRUD 需求,又能快速写入高频数据、支持复杂查询,并且用的是 SQL,那么现有的 MES 架构会被极大简化。

改造后,一个 MatrixOne 集群同时处理结构化与半结构化数据,原有系统之间的 ETL 任务被直接删除,不再需要维护多种数据库,数据库与应用程序之间的访问接口也统一了起来——整个 MES 应用回到了单一数据库的极简架构。

大量数据处理工作交还给数据库层之后,开发人员可以专注于应用层,很多此前来不及交付给客户的功能得以更快上线。

迁移本身也没有成为障碍。MatrixOne 与 MySQL 保持了很高的兼容性,原有库表通过 SQL source 直接导入,InfluxDB 中的时序表与 MongoDB 中的文档结构也按建议顺利迁入,整个过程花费不到一周。

客户收益

整体数据架构大幅精简。一道科技 CTO 陈继表示:现在新招的开发不需要再培训好几种数据库,会一点 MySQL 就可以了。

过去很多分析都得让应用去多个地方取数再开发,现在直接在数据库里写 SQL 就简单多了,可维护性和性能都好了很多,MES 项目的交付效率也提升了很多。

团队也开始做很多与大模型 AI 相关的探索。MatrixOne 本身带有相关能力,正在探索和实验之中,省去了再单独引入向量数据库这类组件的必要。

在整个工业制造领域,客户其实都面临着相似的问题:面向混合数据负载,只能靠工程师手搓一套数据架构来支撑业务,随之而来的是越来越高的代码债与运维债。而这恰恰是超融合架构天然适配的场景。

方案架构

数据来源
  • 设备 PLC 与边缘采集
  • MES 人员/物料/流程/设备数据
  • 产线高频时序数据
  • 历史追溯与质量记录
MatrixOne
  • OLTP 与 OLAP 单引擎承载
  • 高频时序数据直接写入
  • 半结构化 JSON 原生支持
  • 视图替代跨库 ETL 预计算
  • MySQL 协议兼容平滑迁移
业务应用
  • 报表分析与产品追溯
  • 预测性维保与工艺优化
  • 单一数据库极简架构
  • MES 交付效率提升

相关方案与产品