EleutherAI Publicado Common Pile v0.1 Data Set for Artificial Intelligence Training

Traducido automáticamente·Ver original

Masqot CommunityCreator

8 de junio de 2025

2 min de lectura

Guardar

La organización de investigación de inteligencia artificial EleutherAI publicó un conjunto de datos de gran tamaño. compuesto por texto licenciado y de código abierto Common Pile v0. 1 in Dado que es bastante amplio, se prevé que las empresas de IA tienen un conjunto de datos que contribuye al desarrollo. EleutherAI Laboratorio de Inteligencia Artificial EleutherAI es una organización de investigación AI sin fines de lucro. OpenAI se puede llamar fuente abierta. Al principio, una comunidad de servidores de discordia se abrió para hablar de GPT‐3 se ha convertido en una organización de investigación que se centra en la investigación de inteligencia artificial a gran escala. En los últimos días, la comunidad que surge de los datos llamados Common Pile v0.1 contribuye a un gran desarrollo. Conjunto de datos comunes de Pile v0.1 El conjunto de datos Common Pile v0.1 se desarrolló en dos años en colaboración con varias instituciones académicas junto con Poolside, Hugging Face y otras iniciativas de IA. Este conjunto de datos en total de 8 tamaños de terabayt se creó en el tren dos nuevos modelos AI llamados EletheurAI, Comma v0.1-1T y Comma v0.1-2T. Estos dos modelos se afirman para realizar el mismo rendimiento con grandes modelos de inteligencia artificial. Algunas empresas AI ubicadas en OpenAI se mezclaron con algunos casos con la razón de que los datos protegidos por derechos de autor se utilizaron durante el entrenamiento. Stella Biderman, directora de EleheurAI, un blog post Los investigadores de algunas empresas escribieron que tales casos perjudican la transparencia de las empresas, y algunas empresas no podían publicar su investigación debido a sus casos. El conjunto de datos comunes de Pile v0.1 se puede descargar desde la plataforma de desarrollo AI de Hugging Face y GitHub. Este conjunto de datos también se creó con 300.000 fuentes y expertos jurídicos. EleutherAI también usó Whisper, un modelo de código abierto de OpenAI para publicar el contenido de audio. Objetivos en curso EleutherAI es un paso importante para crear un gran y abierto conjunto de datos, pero también indica el futuro. También indican que están dispuestos a revelar más datos, producir mejores versiones. También tienen como objetivo contribuir a los modelos Comma v0.1 mediante la colaboración con datos posteducativos.

Masqot CommunityCreator

@masqot