Recherche & développement

LightOn met à niveau la recherche dans le RAG agentique avec son nouveau modèle de pointe : Reason-ModernColBERT

Après la récente sortie de GTE-ModernColBERT, un modèle dédié à la recherche d’information redéfinissant les standards de l’industrie par sa gestion des documents longs, LightOn annonce une nouvelle avancée dans la recherche d’information pilotée par l'IA : Reason-ModernColBERT, un modèle open-source multi-vecteurs spécialement conçu pour les applications de recherche approfondie (Deep Research).

LightOn redéfinit les standards de la recherche d’information complexe (RAG) avec GTE-ModernColBERT

Levier d’innovation clé pour les entreprises, les IA génératives sont confrontées à la complexité et la spécificité des données internes aux organisations. Aujourd’hui LightOn annonce la sortie de GTE-ModernColBERT, un modèle dédié à la recherche d’information redéfinissant les standards de l’industrie par sa gestion des documents longs et sa capacité de généralisation sur données complexes inconnues. Ce nouveau modèle surclasse ceux des acteurs de l’écosystème (Alibaba, Cohere, Snowflake, BAAI, JinaAI) sur le benchmark de référence LongEmbed.

Finally, a Replacement for BERT

This blog post introduces ModernBERT, a family of state-of-the-art encoder-only models representing improvements over older generation encoders across the board.

MonoQwen-Vision, the first visual document reranker

We introduce MonoQwen2-VL-v0.1, the first visual document reranker to enhance the quality of the retrieved visual documents and take these pipelines to the next level. Reranking a small number of candidates with MonoQwen2-VL-v0.1 achieve top results on the ViDoRe leaderboard.

PyLate: Flexible Training and Retrieval for ColBERT Models

We release PyLate, a new user-friendly library for training and experimenting with ColBERT models, a family of models that exhibit strong retrieval capabilities on out-of-domain data.

ArabicWeb24: Creating a high quality Arabic Web-only pre-training dataset

Training Mamba Models on AMD MI250/MI250X GPUs with Custom Kernels

In this blogpost we show how we can train a Mamba model interchangeably on both NVIDIA and AMD and we compare both training performance and convergence in both cases. This shows that our training stack is becoming more GPU-agnostic.

Comment transformer les LLMs en Agents Intelligents ?

Développement des Capacités Agentiques pour les LLMs afin d'automatiser les flux de travail et créer des assistants intelligents

Passing the Torch: Training a Mamba Model for Smooth Handover

We present our explorations on training language models based on the new Mamba architecture, which deviates from the traditional Transformer architecture.