École d’été 2022

4–7 septembre 2022

Sebastian Engelke

Prof. Sebastian Engelke, UNIGE

Mme Caroline Gillardin, coordinatrice CUSO

Co organisation avec l'EPFL et l'EPFZ

Prof. Bin Yu from University of California, Berkeley (USA)

Prof. Johannes Schmidt-Hieber from University of Twente, Enschede (The Netherlands)

Prof. Gitta Kutyniok from Université Ludwig Maximilian de Munich (Germany)

Prof. Aaditya Ramdas, Université Carnegie Mellon, Pittsburgh (USA)

3 à 4 cours de 4.5 heures chacuns seront donnés par des spécialistes internationaux sur des sujets de pointes en statistiques.

Prof. Bin Yu de University of California, Berkeley (États-Unis)

Title: Veridical data science and interpretable machine learning towards trustworthy AI

Abstract

Lecture 1:This lecture introduces the predictability computability stability (PCS) framework and documentation that unifies, streamlines and expands on ideas and best practices from statistics and machine learning for the entire data science life cycle.
Lecture 2:This lecture discusses a motivating application of PCS to develop iterative random forests (iRF) that adds appropriate stability to random forests (RF) for discovering predictable and interpretable high-order interactions. iRF is illustrated through interdisciplinary research in genomics and medicine.
Lecture 3:This lecture first introduces a definition of interpretable machine learning through predictive accuracy, descriptive accuracy and relevancy to a human audience and a particular domain problem. Then it discusses methods such as ACD and AWD to interpret deep neural networks towards trustworthiness, in general and in the context of scientific collaborations in cosmology and cell biology

Prof. Johannes Schmidt-Hieber from University of Twente, Enschede (The Netherlands)

Title: Statistical theory for deep neural networks

Abstract

Lecture 1:Survey on neural network structures and deep learning. There are various types of neural networks that differ in complexity and the data types that can be processed. This lecture provides an overview and surveys the algorithms used to fit deep networks to data. We discuss different ideas that underly the existing approaches for a mathematical theory of deep networks.
Lecture 2: Theory for shallow networks . We start with the universal approximation theorem and discuss several proof strategies that provide some insights into functions that can be easily approximated by shallow networks. Based on this, a survey on approximation rates for shallow networks is given. It is shown how this leads to statistical estimation rates. In the lecture, we also discuss methods that fit shallow networks to data.
Lecture 3: Statistical theory for deep networks. Why are deep networks better than shallow networks? We provide a survey of the existing ideas in the literature. In particular, we study localization of deep networks and specific functions that can be easily approximated by deep networks. We outline the theory underlying the recent bounds on the estimation risk of deep ReLU networks. In the lecture, we discuss specific properties of the ReLU activation function. Based on this, we show how risk bounds can be obtained for sparsely connected ReLU networks. At the end, we describe important future steps needed for the further development of the statistical theory of deep learning.

Prof. Gitta Kutyniok from Université Ludwig Maximilian de Munich

Title: will follow

Abstract

Lecture 1:Une introduction à la théorie des réseaux de neurones profonds.Dans cette conférence, nous fournissons une introduction générale aux fondements théoriques de l'apprentissage profond. Nous présentons et étudions les principales orientations de recherche dans ce domaine, et discutons du potentiel, mais aussi des limites par rapport aux méthodes classiques.

Lecture 2:La théorie des réseaux de neurones profonds: expressivité et apprentissage. En ce qui concerne l'apprentissage profond en tant que problème d'apprentissage statistique, la théorie de base peut être divisée en directions de recherche de l'expressivité, de l'apprentissage et de la généralisation. Dans cette conférence, nous nous concentrerons d'abord sur l'expressivité, qui vise à fournir une compréhension approfondie de l'impact de l'architecture d'un réseau neuronal sur ses performances, et à présenter les propriétés d'universalité étonnantes des réseaux de neurones profonds. Deuxièmement, nous discuterons des approches pour analyser l'algorithme d'entraînement le plus courant, à savoir la descente de gradient stochastique, qui fonctionne étonnamment très bien malgré la non-convexité du problème.

Lecture 3: La théorie des réseaux de neurones profonds: mystère de la généralisation. L'étonnante capacité des réseaux de neurones profonds à bien fonctionner sur des données invisibles est toujours l'un des grands mystères de l'apprentissage profond. En fait, la théorie classique de l'apprentissage statistique n'explique que le risque d'entraînement et de test dans le régime de paramètres faibles, alors que le comportement dans le régime de paramètres élevés n'est pas du tout compris. Dans cette conférence, nous discuterons de premiers résultats passionnants tels que la ligne de recherche introduisant et utilisant le concept d'un noyau tangent neuronal.

Prof. Aaditya Ramdas, Université Carnegie Mellon, Pittsburgh (USA)

Title: will follow

Abstract

Lecture 1 :Estimer les moyennes des variables aléatoires bornées par les paris
Nous introduisons le principe du « test par pari » en discutant en détail d'un problème simple et classique de la théorie des probabilités et des statistiques des années 1960 (Hoeffding) : étant donné les observations d'une distribution bornée, comment pouvons-nous estimer sa moyenne ? Il s'agit d'un problème d'estimation non paramétrique, pour lequel nous présentons des intervalles de confiance et des « séquences de confiance » de pointe, qui ont été dérivés d'une perspective résolument théorique du jeu. Nous présenterons « l'inégalité de Ville », l'inégalité mathématique centrale (et unique) qui sous-tend les statistiques de la théorie des jeux. Si le temps le permet, nous discuterons d'un peu d'histoire et de ce que Ville a établi exactement dans sa thèse de doctorat de 1939.

Lecture 2: Conception expérimentale séquentielle: la dame goûtant le thé et l'inférence universelle L'une des principales idées des statistiques de la théorie des jeux est que nous parions contre le nul et utilisons directement la « richesse résultante comme preuve contre le nul ». Les processus de preuve qui en résultent sont appelés « processus électroniques » (ou valeurs électroniques) et présentent de nombreux avantages par rapport aux notions traditionnelles de preuve telles que les valeurs p. Principalement, si les preuves ne suffisent pas, on peut prolonger l'expérience gratuitement et recueillir encore plus de preuves tout en maintenant une notion forte de contrôle des erreurs. Nous développerons ces idées en revisitant l'expérience classique de Fisher « lady tasting tea » d'il y a 100 ans à partir d'une nouvelle lentille moderne, et discuterons des extensions aux tests multiples. Si le temps le permet, nous donnerons une méthodologie générale pour construire des processus électroniques : l'inférence universelle.

Lecture 3 : Parier pour l'échantillonnage sans remplacement: comment auditer les élections
Nous discutons d'une application très différente, mais intéressante, des tests et de l'estimation par paris: comment auditer une élection (après l'annonce d'un résultat électoral). Cela revient à répondre à des questions sur l'échantillonnage sans remplacement, un autre problème très bien étudié et classique pour lequel les paris fournissent une nouvelle réponse puissante. Si le temps le permet, nous terminerons par un aperçu d'autres sujets de la statistique non paramétrique et de la théorie des probabilités qui n'ont pas été abordés dans ces trois conférences.

 This program may be changed

Saignelégier - Centre de Loisirs des Franches-Montagnes - Jura

Centre de loisirs des franches-montagnes (CLFM)

Adress : Chemin des Sports 10, 2350 Saignelégier, Canton du Jura

Tel +41 (0)32 951 24 74

L'Hôtel Cristal est situé dans le centre de loisirs (CLFM)
Chemin des Sports 10, 2350 Saignelégier (JU)

www.clfm.ch

Accès à Saignelégier en voiture: Google Map

EN AVION Aéroports internationaux de: - Genève (180 km) - Zürich (145 km) - Bâle (78 km)

Horaires Swiss Train :

De: Aéroport de Genève : Train direct jusqu'à Neuchâtel. Ensuite train de Neuchâtel à La Chaux-de-Fonds. Ensuite train de la Chaux-de-Fonds à Saignelégier. Durée des trajets: Genève - Neuchâtel (69 minutes), Neuchâtel - La Chaux-de-Fonds (28 minutes), La Chaux-de-Fonds - Saignelégier (34 minutes).

Visa pour la Suisse (demande de visa suisse en ligne)

Météo en suisse (meteoswiss.admin.ch)

Tarifs si l'activité a lieu en présentiel :

Doctorant CUSO chambre double: 200 CHF

Doctorant CUSO chambre simple: 350 CHF

Post-doctorant CUSO chambre double: 300 CHF

Post-doctorant CUSO chambre simple: 450 CHF

Professeur CUSO chambre double: 400 CHF

Professeur CUSO chambre simple: 550 CHF

Non CUSO universitaire chambre double: 850 CHF

Non CUSO universitaire chambre simple: 1000 CHF

Non CUSO privé chambre double: 1300 CHF

Non CUSO privé chambre simple: 1500 CHF

Lors de votre inscription, merci de bien vouloir indiquer dans la zone commentaire si vous désirez une chambre simple, ou double et le nom de la personne avec qui vous souhaiteriez partager votre chambre. Dans le cas où rien n'est indiqué, une chambre simple sera réservée.

Versement sur compte postal (seulement si l'activité à lieu en présentiel):

CUSO
CCP 12-1873-8
Neuchâtel
BIC : POFICHBEXXX
IBAN : CH0509000000120018738. Merci d'écrire votre nom suivi du no » 22220001 " lors du paiement. Merci d'écrire votre nom sur le libellé du paiement et nb"22220001 ».

IMPORTANT :Si vous vous inscrivez et que vous n'êtes pas en mesure d'y assister, veuillez nous contacter dès que possible. Nous appliquerons la politique d'annulation de l'hôtel en cas d'information tardive.

35