Passing the Torch: Training a Mamba Model for Smooth Handover TL;DR We experiment with the Warmup-Stable-Decay (WSD) learning rate scheduler and a novel positional weighting of the loss for language model pre-training; We find that WSD outperforms the cosine sch... research technical 10 avr. 2024 Blog
LightOn AI Meetup Creating a Large Dataset for Pretraining LLMs This summary presents the key takeaways from a video featuring Guilherme Penedo from Hugging Face, discussing various aspects of training large language models (LLMs) and utilizing them effectively. L... 22 mars 2024 Blog
Partenariat LightOn & Orange Business Orange Business et LightOn ont lancé une nouvelle offre pour des projets d'IA générative de bout en bout et de confiance. Ce partenariat stratégique entre Orange Business, LightOn et HPE, leader dans ... 19 mars 2024 Blog
Améliorer l'IA d'entreprise : Paradigme et idées clés Le Festival mondial de l'IA de Cannes (WAICF) 2024 a offert le cadre idéal à LightOn pour présenter Paradigm, une plateforme logicielle d'IA de génération (GenAI) de pointe adaptée au ... 15 févr. 2024 Blog
The Magic of Tokens in Generative AI: A Deep Dive Token : It's a term that floats around the realm of Generative AI, often leaving many scratching their heads. Far from the realm of cryptocurrency or reward systems, in the world of Artificial Intelli... 11 déc. 2023 LLM Glossary
Turning Up the Heat: The Role of Temperature in Generative AI In the culinary world, temperature can be the difference between a perfectly seared steak and a charred piece of meat. Similarly, in the realm of Generative AI, there's a kind of "temperature" that de... 11 déc. 2023 LLM Glossary
The Powerhouse Behind Artificial Intelligence: Why GPUs Are Essential for Large Language Models Brace yourselves as we journey through the bustling world of Artificial Intelligence and uncover the magic behind one of its key components - the GPU. Once upon a time, in a digital world not so far a... 11 déc. 2023 LLM Glossary
Fine-tuning vs. Efficient Fine-tuning: A Business Lens on AI Optimization with LightOn's Solutions In today's competitive business landscape, leveraging AI effectively can be a game-changer. But how do you tailor AI models to your unique needs efficiently and cost-effectively? Dive into the realms ... 11 déc. 2023 LLM Glossary
Unlock the Potential of Prompt Tuning with Paradigm by LightOn Dive into Simplified prompt finetuning with Paradigm Navigating through Artificial Intelligence, prompt management stands out as a key navigator for enhancing the answers of models n, enabling them to... 11 déc. 2023 LLM Glossary
Naviguer dans la confidentialité des données et la conformité avec l'usine innovante de grands modèles de langage de LightOn Dans le paysage numérique en évolution rapide, la confidentialité des données et la conformité sont primordiales, en particulier lorsqu'il s'agit d'exploiter la puissance des grands modèles de langage... 8 déc. 2023 Blog
Présentation d'Alfred-40B-1023: Nous sommes ravis de dévoiler Alfred-40B-1023, la dernière itération de notre célèbre modèle open-source. S'appuyant sur les solides bases de son prédécesseur, Alfred-40B-1023 représente un bond en av... 17 nov. 2023 Blog
Docaposte lance sa 1ère solution souveraine d’IA générative en partenariat avec les acteurs français LightOn, Aleia et NumSpot.. Docaposte, acteur référent de la confiance numérique et filiale du groupe La Poste, s’associe à LightOn, Aleia et NumSpot pour proposer sa 1 re solution souveraine et industrielle d’IA générative. Dis... Generative AI 24 oct. 2023 Blog