Passing the Torch: Training a Mamba Model for Smooth Handover TL;DR We experiment with the Warmup-Stable-Decay (WSD) learning rate scheduler and a novel positional weighting of the loss for language model pre-training; We find that WSD outperforms the cosine sch... research technical 10 avr. 2024
LightOn AI Meetup Creating a Large Dataset for Pretraining LLMs This summary presents the key takeaways from a video featuring Guilherme Penedo from Hugging Face, discussing various aspects of training large language models (LLMs) and utilizing them effectively. L... 22 mars 2024
Partenariat LightOn & Orange Business Orange Business et LightOn ont lancé une nouvelle offre pour des projets d'IA générative de bout en bout et de confiance. Ce partenariat stratégique entre Orange Business, LightOn et HPE, leader dans ... 19 mars 2024
Améliorer l'IA d'entreprise : Paradigme et idées clés Le Festival mondial de l'IA de Cannes (WAICF) 2024 a offert le cadre idéal à LightOn pour présenter Paradigm, une plateforme logicielle d'IA de génération (GenAI) de pointe adaptée au ... 15 févr. 2024
Naviguer dans la confidentialité des données et la conformité avec l'usine innovante de grands modèles de langage de LightOn Dans le paysage numérique en évolution rapide, la confidentialité des données et la conformité sont primordiales, en particulier lorsqu'il s'agit d'exploiter la puissance des grands modèles de langage... 8 déc. 2023
Présentation d'Alfred-40B-1023: Nous sommes ravis de dévoiler Alfred-40B-1023, la dernière itération de notre célèbre modèle open-source. S'appuyant sur les solides bases de son prédécesseur, Alfred-40B-1023 représente un bond en av... 17 nov. 2023
Docaposte lance sa 1ère solution souveraine d’IA générative en partenariat avec les acteurs français LightOn, Aleia et NumSpot.. Docaposte, acteur référent de la confiance numérique et filiale du groupe La Poste, s’associe à LightOn, Aleia et NumSpot pour proposer sa 1 re solution souveraine et industrielle d’IA générative. Dis... Generative AI 24 oct. 2023 Blog
Task Factory: When Generative AI Transforms Business Productivity Once upon a time, in the bustling world of business, there were Chief Digital Officers and Chief Innovation Officers burdened with the significant task of answering the question: How do I deploy gener... 6 oct. 2023
Introducing Alfred-40B-0723 We are excited to announce the release of Alfred-40B-0723, a new open-source Language Model (LLM) based on Falcon-40B. Alfred is an ongoing project, currently in its initial version, and we plan to im... 31 juil. 2023
Le Pouvoir des prompts dans l'Orientation de la Créativité de l'IA Prompt: Guider la créativité d'un model Dans le contexte de l'IA générative, un prompt sert d'entrée fournie au modèle, agissant comme une instruction ou une graine pour générer une sortie. Elle peut ... Generative AI Paradigm Prompt guiding instruction prompting 22 juil. 2023 Blog
Naviguer dans la confidentialité des données et la conformité à l'ère des grands modèles de langage 1- Protéger les données des clients et assurer la conformité avec les réglementations en matière de protection de la vie privée Dans le paysage technologique actuel qui évolue rapidement, la compréhen... 19 juil. 2023
La Success Story de LightOn à VivaTech : Un Salon Inoubliable ! VivaTech 2023 a marqué une étape décisive pour LightOn. En collaboration avec Amazon Web Services (AWS), nous avons mis en lumière l'intersection puissante entre l'intelligence artificielle et l'entre... Chatgpt 21 juin 2023