点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:中文互联网语料库CCI2.0开放,打造大模型数据“共建—共享”新模式
首页> 数字化频道> AI+ > 正文

中文互联网语料库CCI2.0开放,打造大模型数据“共建—共享”新模式

来源:光明网2024-04-27 16:00

  在近日举行的中关村论坛上,数据安全治理与发展论坛举办。论坛上,智源研究院正式发布了中文互联网语料库CCI 2.0(Chinese Corpora Internet,简称 CCI),规模约 500GB,涵盖1.25亿个网页。

  中文互联网语料库 CCI 是由智源研究院联合多家数据贡献单位构建的高质量、可信数据集,于2023年11月首次开源(CCI 1.0),旨在为国内大数据及人工智能行业提供一个安全、可靠的语料资源,共同推动大数据和人工智能领域的健康发展。

  据了解,在中国网络空间安全协会人工智能安全治理工作委员会、北京市网信办、北京市科委中关村管委会、海淀区等的推动下,智源研究院与多家企业经过四个月的努力,共收集约 8TB 互联网数据,通过严格的清洗和筛选,形成了超过500GB的高质量“中文互联网语料库” CCI 2.0, 数据类型全面、质量较高、安全可信,包括网页、公众号、博客、百科、问答、试题等。

  为了推动共建高质量人工智能数据集,在中国网络空间安全协会人工智能安全治理工作委员会指导下,智源研究院联合多家企业单位成立数据集工作组,打造了“贡献—共享”的数据运营方式。同时,智源研究院联同京能数字产业有限公司,搭建了首个数据集“共建—共享”平台,数据贡献单位通过贡献的数据集数量和质量,获得评定的积分,然后通过该平台以积分兑换方式进行数据集下载。同时,智源研究院牵头组织数据集工作组制定了文本语料共享清洗过滤规范,建立了内容清洗过滤规则共享机制。

  本场论坛由国家互联网信息办公室、北京市人民政府主办,国家互联网信息办公室网络数据管理局、北京市互联网信息办公室、北京市经济和信息化局、北京市政务服务和数据管理局、北京市商务局、海淀区人民政府、大兴国际机场临空经济区(大兴)管理委员会共同承办。(记者 李政葳)

[ 责编:李飞 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 习近平出席金砖国家领导人第十八次会晤第一阶段会议并发表重要讲话

  • 服贸会上的文旅新体验

独家策划

推荐阅读
江苏省南京市溧水区白马镇浮山村层林尽染、秋意盎然。层叠山峦之间,村落与连片树林相映相融,勾勒出一幅色彩绚丽的秋日生态画卷,美不胜收
2026-09-12 17:10
第二届安徽省阜阳市青少年科技运动会在阜阳市科学技术馆举行。本届运动会共设抛石机攻城、无人机对抗、机器人格斗、抗震结构等8大竞赛项目
2026-09-12 17:06
甘肃省平凉市第五中学举办主题为"心怀家国 勇赴新程"的2027届高三级学生十八岁成人礼活动。
2026-09-12 16:57
贵州省黔西市锦星镇洪湖村高山梯田陆续进入收割季。漫山梯田依山傍湖,田畴顺着山体曲线层层缠绕,金秋稻穗遍染金黄,湖水、密林、民居与梯田交织
2026-09-12 16:51
金秋送爽,五谷丰登。丰收,是大地最厚重的馈赠,也是乡村最动人的答卷。一张张质朴灿烂的笑脸,藏着耕耘的汗水,映着四季的劳作,更是群众获得感、幸福感最真实的写照。
2026-09-12 16:46