CODALAB

The CodaLab competitions platform and its new (beta) version Codabench are powerful open source frameworks for running scientific competitions and benchmarks, which involve result or code submission. You can either participate in an existing competition (or benchmark) or host one.

With Anne-Catherine Letournel, Adrien Pavao, and Tuan Tran, we administer the public instance of Codalab competitions at Université Paris-Saclay, and animate the underlying open-source project. More information ...

The community is rapidly growing and the public instance hosted at LISN, Université Paris-Saclay, averages 50 new competitions per month.

Introduction et tutorial

Organiser des challenges avec la plateforme Codalab


Isabelle Guyon, Anne-Catherine Letournel, Adrien Pavao, Tuan Tran

LISN/INRIA/CNRS, Université Paris-Saclay

Contact/questions



Nous proposons deux séances pour familiariser les enseignants et les chercheurs avec la plateforme Codalab https://codalab.lisn.fr/, une plateforme ouverte à tous, permettant de poser des défis scientifique en sciences des données ou autre, pour la recherche et l'enseignement.


Mercredi 6 Avril


INTRODUCTION - Découvrez le possibilités offertes par la plateforme


Les défis en science des données sont des concours étalés sur plusieurs semaines ou plusieurs mois pour résoudre des problèmes à l'aide de jeux de données fournis ou d'environnements simulés. Les défis peuvent être considérés comme des outils de crowdsourcing, d'analyse comparative et de communication. Ils ont été utilisés pendant des décennies pour tester et comparer des solutions concurrentes dans l'apprentissage automatique d'une manière juste et contrôlée, pour éliminer le biais «inventeur-évaluateur» et pour stimuler la communauté scientifique tout en favorisant la science reproductible. Il sont aussi utilisés dans l'enseignement pour introduire un élément ludique dans la résolution de problèmes.


Cet exposé présentera la plateforme Codalab competitions, un projet “open-source” dont Paris-Saclay est “community lead”. Ce sera l'occasion pour vous de rencontrer l'équipe qui développe et maintient la plateforme, sur laquelle plus de 50 challenges par mois sont organisés, et qui pourra vous aider vous aussi dans l’enseignement et la recherche, a transformer vos problèmes en défis!


Mercredi 13 Avril


TUTORIAL - Apprenez à organiser un challenge


Pré-requis:


Ce tutorial vous permettra d'apprendre à créer votre propre challenge, depuis la formulation du problème et la création d'un "starting kit", jusqu'à l'élaboration de votre site de challenge, et cela en un heure seulement! Vous pourrez apprécier la simplicité et la flexibilité de Codalab qui vous permet d'éditer un challenge basé sur un modèle pour démarrer vite, mais vous permet aussi de définir vos propres formats de données, tâches, et méthodes d'évaluation.


Introduction and tutorial

Organize challenges with the Codalab platform

Isabelle Guyon, Anne-Catherine Letournel, Adrien Pavao, Tuan Tran

LISN/INRIA/CNRS, Paris-Saclay University

Contact/questions

We offer two sessions to familiarize teachers and researchers with the Codalab platform https://codalab.lisn.fr/, a platform open to all, allowing to pose scientific challenges in data science or other, for research and development. 'education.


Wednesday 6 April

INTRODUCTION - Discover the possibilities offered by the platform

Data science challenges are competitions spread over several weeks or months to solve problems using provided datasets or simulated environments. Challenges can be viewed as tools for crowdsourcing, benchmarking and communication. They have been used for decades to test and compare competing solutions in machine learning in a fair and controlled way, to eliminate the “inventor-evaluator” bias, and to stimulate the scientific community while promoting reproducible science. They are also used in education to introduce a playful element into problem solving.

This presentation will present the Codalab competitions, an projet “open-source” project of which Paris-Saclay is “community lead”. This will be an opportunity for you to meet the team that develops and maintains the platform, on which more than 50 challenges per month are organized, and who can also help you in teaching and research, to transform your problems into challenges!


Wednesday April 13

TUTORIAL - Learn how to organize a challenge

Prerequisites:

This tutorial will allow you to learn how to create your own challenge, from the formulation of the problem and the creation of a "starting kit", to the development of your challenge site, and that in just one hour! You will appreciate the simplicity and flexibility of Codalab, which allows you to edit a template-based challenge to get started quickly, but also allows you to define your own data formats, tasks, and evaluation methods.