Information Technology
Common Crawl Foundation y Constellation Network anuncian una asociación
SAN FRANCISCO , 24 de octubre de 2024 /PRNewswire/ -- La Common Crawl Foundation, una organización sin ánimo de lucro fundada en 2007, dedicada a proporcionar una copia de Internet al público, y Constellation Network, un ecosistema de blockchain Web3 notable por proporcionar soluciones al Departamento de Defensa de Estados Unidos han anunciado hoy una asociación estratégica destinada a democratizar y mejorar la accesibilidad y utilidad de los datos rastreados de la web en la tecnología blockchain para la inteligencia artificial (IA) y aplicaciones de datos.
Esta colaboración explorará oportunidades potenciales para mejorar los grandes modelos lingüísticos utilizados por la IA, comenzando con el amplio conjunto de datos de Common Crawl, utilizado por el 80% de los grandes modelos lingüísticos, que ha rastreado más de 250.000 millones de páginas web hasta la fecha (19.000 millones solo en 2024) y consta de un archivo de casi 9 petabytes de datos rastreados archivados. Al aprovechar la red descentralizada de Constellation, Hypergraph, para añadir inmutabilidad, procedencia y auditabilidad a los datos, la asociación se alinea para ofrecer soluciones conjuntas en torno a una IA responsable y transparente.
Con la IA proyectada para ser una industria de 3 billones de dólares para 2030, hay una creciente demanda de soluciones seguras para compartir conjuntos de datos comunes que se utilizan para la formación de grandes modelos de lenguaje, mejorando el almacenamiento de datos consultados y limpiados, oportunidades de monetización de datos, y una mayor transparencia con la fuente de datos. Con el enfoque único de Constellation de proporcionar herramientas para converger la infraestructura existente con las redes distribuidas y descentralizadas, y la historia de Common Crawl de datos y el crecimiento de la utilidad de los datos, esta asociación se alinea para democratizar aún más los datos.
«Esta asociación representa un importante paso adelante para garantizar una distribución fiable de Common Crawl», destacó Rich Skrenta , director ejecutivo de la Common Crawl Foundation. «Combinando nuestro completo archivo web con la probada implementación de la tecnología blockchain de Constellation, investigadores y desarrolladores de todo el mundo pueden confiar en lo que obtienen de Common Crawl y disponer de un modelo para autenticar grandes conjuntos de datos abiertos, como los utilizados para el entrenamiento de IA».
Ben Jorgensen , consejero delegado de Constellation Network, afirmó: «La asociación entre Constellation Network y Common Crawl pone de relieve la adopción generalizada de soluciones web3 fuera de las cámaras de eco de las criptomonedas. Esta alineación continúa la misión de Constellation de que nuestra red de confianza cero se utilice como un bien público para un futuro centrado en los datos. Nuestro objetivo es atraer aún más a nuevos desarrolladores mostrando capacidades, como la integración de la inmutabilidad en todos los flujos de trabajo digitales, y así diferenciarnos aún más de las generaciones anteriores de tecnología blockchain.»
Las dos organizaciones pondrán en marcha esta iniciativa por fases, empezando por una subred personalizable, denominada metagraph, que integrará un subconjunto de datos de Common Crawl. Esta subred ya está activa en su red de pruebas y pronto se desplegará en la red pública de Constellation, Hypergraph. En las próximas semanas se ofrecerán más detalles sobre el metagraph, así como información sobre cómo pueden participar las organizaciones y los desarrolladores.
Si desea más información visite:
La Common Crawl Foundation es una organización sin ánimo de lucro 501(c)(3) dedicada a proporcionar gratuitamente al público una copia de Internet. Su archivo web está formado por petabytes de datos recopilados durante años de rastreo web, que constituyen un recurso fundamental para investigadores, empresas y desarrolladores de todo el mundo.
Constellation Network es un ecosistema de blockchain Web3 que tiende puentes entre las criptoeconomías y las empresas tradicionales. Su red insignia, Hypergraph, ofrece una solución para transacciones rápidas, escalables y sin comisiones. La Red de Constellation está validada por el Departamento de Defensa de Estados Unidos, que es cliente desde 2019.
View original content: https://www.prnewswire.com/es/comunicados-de-prensa/common-crawl-foundation-y-constellation-network-anuncian-una-asociacion-302284985.html