点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:数据编织提升大数据使用效率
首页> 数字化频道> 产业·技术 > 正文

数据编织提升大数据使用效率

来源:科技日报2023-12-21 19:18

  “当前无论是机构还是企业都存储了大量数据,这些数据的使用一度不太高效。”在近日举行的《NoETL白皮书》发布会上,浙江大应科技有限公司(以下简称大应科技)CEO周卫林表示,数据编织技术的应用将大大缩短数据从混乱到有序的时间。

  “数据仓库是‘只进不出’的,它的规模会不断增长,但量的增长未必会带来价值的增加。”周卫林解释道,数据是否产出价值与其数量并不存在线性关系。如果不能及时对数据进行处理、分析,并将其提炼成知识,数据量的增加反而会增加成本,降低效率。比如,招商银行总行数据“湖仓”的整体规模已达数十PB,其主要数据仓库每天需运行几十万个任务对数据进行抽取、转换、加载。由于数据处理量巨大、数据准备周期长、人力投入大,有些任务的完成周期长达两周,难以满足及时“微决策”的需求。

  数据编织技术有望对海量数据进行快速且有序的分析。“对数据进行‘编织’,是在数据虚拟化的基础上进行的。”周卫林说,数据虚拟化之后,无需复制就可以整合,且不受数据源、格式的限制。

  “我们和大应科技合作构建出了一个统一的逻辑数据资产层。”招商银行技术人员介绍,利用逻辑数据资产层(“逻辑层”),数据整体计算和存储的消耗不到传统方案的50%。“通过‘逻辑层’提供统一数据服务,不仅实现了实时数据访问,还能减少数据的搬运时间和成本。”周卫林表示,这能够极大提升数据要素的生产力。

  此外,由于有了统一的“逻辑层”,此前需要技术人员才能有效处理的跨源、异构数据,现在普通业务人员也能处理。周卫林打了个比方:“逻辑层”就好比电脑的“视窗”系统,之前要学会DOS语言才能进行的操作,现在只需用鼠标就能完成。

  “随着信息化水平的提升,机构和企业中均形成了大量新的数据源,不同数据源的数据类型不同。”周卫林表示,为应对这一新问题,企业将持续开展科研创新,通过应用数据编织等新技术,助力数据要素实现价值的“最后一公里”。(科技日报记者 张佳星)

[ 责编:雷渺鑫 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 包饺子 迎冬至

  • 雪山下的温暖“古突”夜

独家策划

推荐阅读
民族文化宫里珍宝千千万,但说到“镇馆之宝”,首先想到的便是1300多年前文成公主带到西藏的长鼓,许多观众慕名而来只为一睹它的“芳容”。
2025-11-28 13:02
为庆祝新疆维吾尔自治区成立70周年,“异元汽车杯”首届新疆国际摄影大赛9月28日正式启动。
2025-09-29 14:31
2025年4月10日,安徽省芜湖市无为市昆山镇三公山茶叶种植基地,千亩高山野生杜鹃在翠绿的茶园之间绚丽绽放,美轮美奂,美不胜收
2025-04-10 15:13
2025年4月1日,北京怀柔慕田峪长城内外山花盛开,美丽的春花把古长城打扮的多姿多娇,犹如春天里一幅壮美的风景画
2025-04-02 15:44