Proyecto - Nuestros Tiempos — Descifrando la Complejidad de las Noticias en Chile con IA
Nuestros Tiempos es una plataforma de agregación de noticias impulsada por inteligencia artificial, diseñada para analizar las narrativas mediáticas chilenas. Explora cómo el aprendizaje no supervisado y los embeddings vectoriales pueden descubrir patrones entre miles de artículos periodísticos — de forma automática, sin supervisión humana.
www.nuestrostiempos.cl- Cliente
- Codisans
- Año
- Servicio
- Automatización, Inteligencia Artificial
Stack Tecnológico Destacado
- Laravel
- React
- LibSQL + SQLite
- Model2Vec
- UMAP + HDBSCAN
Resumen
Nuestros Tiempos es una plataforma de agregación de noticias impulsada por inteligencia artificial, diseñada para analizar las narrativas mediáticas chilenas.
Desarrollada por Codisans, explora cómo el aprendizaje no supervisado y los embeddings vectoriales pueden descubrir patrones entre miles de artículos periodísticos — de forma automática, sin supervisión humana y ejecutándose en un servidor que cuesta apenas $6 al mes.
El Problema: Navegar entre la Información y la Desinformación
En el panorama informativo actual, las personas están sobreexpuestas al volumen y al sesgo de la información.
En Chile, como en el resto del mundo, existe un problema invisible: la fragmentación de las noticias.
Cada medio presenta narrativas parciales, lo que dificulta comprender el panorama completo.
Nuestros Tiempos enfrenta este desafío al identificar automáticamente las diferentes narrativas en torno a un mismo acontecimiento, permitiendo al usuario explorar múltiples perspectivas en un solo lugar — un paso clave para reducir la desinformación y la polarización.
Objetivos
- Desarrollar un sistema totalmente automatizado de agrupamiento de noticias por similitud semántica.
- Lograr agrupaciones de alta calidad sin supervisión y con recursos mínimos.
- Ejecutar todo el sistema en un VPS pequeño por menos de $6 al mes.
- Construir una experiencia de usuario moderna y receptiva que comunique claramente los resultados de la IA.
Visión
"Descifrando la complejidad de las noticias en Chile con IA"
Nuestros Tiempos refleja la visión de Codisans sobre la IA aplicada: accesible, ética y eficiente.
En lugar de depender de grandes y costosas arquitecturas de lenguaje, el proyecto demuestra cómo las técnicas tradicionales de machine learning, cuando se combinan con creatividad, pueden generar un impacto real.
Modelos de Machine Learning y Enfoque
| Etapa | Técnica | Propósito |
|---|---|---|
| 1. Embeddings | Model2Vec (embeddings estáticos) | Generar representaciones semánticas de los artículos. |
| 2. Reducción de Dimensionalidad | UMAP | Comprimir los embeddings preservando su estructura. |
| 3. Agrupamiento (Clustering) | HDBSCAN | Detectar grupos densos que representen narrativas temáticas. |
| 4. Resumen | Transformers.js | Generar resúmenes legibles por humanos para cada clúster, directamente en el navegador del usuario. |
Todos los modelos se ejecutan en CPU — sin necesidad de GPU — demostrando que la creatividad en ML supera la potencia de hardware.
¿Por Qué Estas Técnicas?
- Model2Vec: liviano, determinista y rápido para embeddings estáticos.
- UMAP: conserva la proximidad semántica en baja dimensionalidad, clave para la claridad.
- HDBSCAN: detecta automáticamente densidades variables — ideal para datos desbalanceados como las noticias.
- Transformers.js: permite generar resúmenes explicativos en el navegador.
En conjunto, conforman un pipeline NLP no supervisado, elegante y eficiente en recursos.
Pipeline
- Limpieza y Normalización de Datos – Extracción de texto desde 16 medios chilenos (Emol, CNN Chile, Cooperativa, T13, entre otros).
- Vectorización – Cada artículo se convierte en un vector de 768 dimensiones utilizando un modelo estático derivado de EmbeddingGemma de Google DeepMind mediante Model2Vec.
- Reducción de Dimensionalidad – Aplicación de UMAP para revelar relaciones topológicas significativas.
- Clustering – Uso de HDBSCAN para detectar agrupaciones naturales sin parámetros predefinidos.
- Filtrado y Validación – Eliminación de valores atípicos y refinamiento de clústeres.
- Generación de Colecciones – Agrupación de artículos en "colecciones" legibles por tema o narrativa.
Todos los datos se almacenan en SQLite y LibSQL (para vectores), utilizando SQLite FTS5 nativo para la búsqueda de texto completo — sin depender de servicios externos.
Resultados
- Pipeline 100% automatizado
- Sin etiquetado ni supervisión manual
- Clusteres coherentes y legibles
- Búsqueda de texto completo nativa, sin servicios externos
- Desplegado en un VPS pequeño con un costo de $6/mes
Desafíos y Soluciones
| Desafío | Solución de Codisans |
|---|---|
| Limitaciones de recursos | Uso inteligente de embeddings estáticos + UMAP + HDBSCAN en CPU |
| Precisión de los clústeres | Ajuste fino de parámetros de HDBSCAN (min_samples, min_cluster_size) |
| Relevancia de búsqueda | Implementación nativa de SQLite FTS5 para búsquedas escalables |
| Complejidad UX | Interfaz minimalista con visualización dinámica de agrupamientos |
Conclusiones y Aprendizajes
- Incluso los modelos de embeddings estáticos pueden ofrecer resultados sobresalientes si se combinan con ingenio.
- Los parámetros de UMAP y HDBSCAN influyen enormemente en la calidad del agrupamiento — el ajuste fino es esencial.
- La calidad de los datos base mejora drásticamente los resultados del aprendizaje no supervisado.
- Las arquitecturas minimalistas pueden generar máxima información al menor costo.
Nuestros Tiempos es un testimonio de la filosofía de Codisans:
La IA debe ser útil, comprensible y eficiente — no solo impresionante.
¿Qué podríamos lograr con más recursos?
- Sentence-transformers para embeddings contextuales
- Resúmenes automáticos por clúster mediante transformadores
- Reagrupamientos a gran escala
- Verificación de calidad usando modelos QA basados en transformadores
Esto podría transformar Nuestros Tiempos de un proyecto de investigación en una plataforma integral de inteligencia mediática.