Ultra-FineWeb-L1 发布: 1T+ 高质量网络数据开放

摘要

Ultra-FineWeb-L1 作为 UltraData 生态系统的一部分现已开源，提供超过1万亿token的高质量英文网络数据。该数据集源自 Common Crawl，经过精心处理，旨在为大型语言模型（LLM）的训练提供可靠的数据基础。这一发布回应了高质量数据对于构建强大LLM的重要性。