中文互联网语料库CCI2.0开放，打造大模型数据“共建—共享”新模式

　　在近日举行的中关村论坛上，数据安全治理与发展论坛举办。论坛上，智源研究院正式发布了中文互联网语料库CCI 2.0（Chinese Corpora Internet，简称 CCI），规模约 500GB，涵盖1.25亿个网页。

　　中文互联网语料库 CCI 是由智源研究院联合多家数据贡献单位构建的高质量、可信数据集，于2023年11月首次开源（CCI 1.0），旨在为国内大数据及人工智能行业提供一个安全、可靠的语料资源，共同推动大数据和人工智能领域的健康发展。

　　据了解，在中国网络空间安全协会人工智能安全治理工作委员会、北京市网信办、北京市科委中关村管委会、海淀区等的推动下，智源研究院与多家企业经过四个月的努力，共收集约 8TB 互联网数据，通过严格的清洗和筛选，形成了超过500GB的高质量“中文互联网语料库” CCI 2.0， 数据类型全面、质量较高、安全可信，包括网页、公众号、博客、百科、问答、试题等。

　　为了推动共建高质量人工智能数据集，在中国网络空间安全协会人工智能安全治理工作委员会指导下，智源研究院联合多家企业单位成立数据集工作组，打造了“贡献—共享”的数据运营方式。同时，智源研究院联同京能数字产业有限公司，搭建了首个数据集“共建—共享”平台，数据贡献单位通过贡献的数据集数量和质量，获得评定的积分，然后通过该平台以积分兑换方式进行数据集下载。同时，智源研究院牵头组织数据集工作组制定了文本语料共享清洗过滤规范，建立了内容清洗过滤规则共享机制。

　　本场论坛由国家互联网信息办公室、北京市人民政府主办，国家互联网信息办公室网络数据管理局、北京市互联网信息办公室、北京市经济和信息化局、北京市政务服务和数据管理局、北京市商务局、海淀区人民政府、大兴国际机场临空经济区（大兴）管理委员会共同承办。（记者 李政葳）