Data	Inizio	Fine	Ore	Titolo	Descrizione
16/09/2024	14:30	17:30	3,00	Introduzione e ripasso teoria della stima	Introduzione all'analisi di grandi moli di dati: contesto, sfide tecnologiche, strumenti. Obiettivi ed architettura dell'insegnamento.  RIPASSO RAPIDO di TEORIA DELLA STIMA: Densità di probabilità associata a uno stimatore: errore di stima, polarizzazione, errore quadratico medio (MSE), e varianza dello stimatore in senso classico. Stimatori non polarizzati a varianza minima (MVUE). Limite inferiore alla varianza di qualunque stimatore: Teorema di CRAMER-RAO. Teorema di fattorizzazione di Fisher, raggiungibilità e calcolo del MVUE. Stimatori efficienti e conservazione dell'efficienza (CRLB) per trasformazione affini di parametri. Teorema di fattorizzazione di Neymann-Fisher per statistiche sufficienti. Maximum Likelihood Estimator (MLE). BEST LINEAR UNBIASED ESTIMATOR (BLUE) per modelli di osservazione lineare: coincide con MVUE e MLE per modelli Gaussiani. CRAMER-RAO LOWER BOUND a vettori di parametri: Teorema di fattorizzazione, matrice di informazione di Fisher e matrice di covarianza dell'errore di stima. BLUE per modello lineare di osservazione vettoriale di parametri incogniti vettoriali: matrice di covarianza dell'errore di stima. Caso particolare per rumore Gaussiano, scorrelato, a varianza costante: BLUE coicidente con MLE, MVUE e ""stimatore"" Least Square (LS). Cenni al concetto di LSE e alla matrice di proiezione." Stimatori LINEARI Bayesiani (L-MMSE): caso particolare per modelli di osservazione lineari vettoriali e Gaussiani. Coincidenza di L-MMSE con MMSE Bayesiano per statistiche Gaussiane.
18/09/2024	08:30	11:30	3,00	Teoria della stima e Machine Learning. Ripasso Test di Ipotesi. Introduzione alla ottimizzazione convessa.	Inferenza statistica e Machine learning: conoscenza statistica priori contro apprendimento dai dati (delle statistiche ESEMPIO-1: Linear regression analysis e relazione con stimatore Linear-MMSE bayesiano. ESEMPIO2: K-nearest neighbour e relazione con stimatore ottimo MMSE (non lineare) bayesiano. RIPASSO DI TEST DI IPOTESI. APPROCCIO CLASSICO e ipotesi binarie: errori di tipo I (falaso allarme) e tipo II (mancata rivelazione) e loro probabilità Pfa e Pmd, e regioni di decisione. Criterio di Neymann-Pearson e rapporto di verosimiglianza: proprietà della ROC per NP-test. Accenni al GLRT (generalized likelyhood ratio test) come estensione a verifica di ipotesi composte. APPROCCIO BAYESIANO: probabilità a priori e a posteriori associata a ciascuna ipotesi. Rischio di Bayes e rapporto di verosimiglianza come test ottimo per la sua minimizzazione per ipotesi semplici. Identificazione della soglia del test per l'approccio Bayesiano, ROC, e relazioni con il Neymann-Pearson Test.  Esempio: verifica di ipotesi binaria con osservazioni (multidimensionali Gaussiane) a stessa varianza e diverso valore medio nelle due ipotesi. Decisore ottimo separa i dati tramite un iperpiano analogamente ad algoritmi di PCA, piuttosto che di Linear Discriminant Analysis o di Logistic Regression nel ML. Relazioni tra i due approcci e risultati dell'approccio statistico come limite massimo di prestazioni di un metodo di machine learning. Ottimizazione vincolata: insieme delle soluzioni ammissibili. Insiemi affini, insiemi convessi, insiemi conici, insiemi conici e convessi. Esempi: iperpiani, semi-spazi, sfere, poliedri, insieme delle matrici simmetriche e semi-definite positive. Metodi di dimostrazione della convessità di insiemi: a) verifica della definizione b) intersezione di insiemi convessi, c) mappaggio tramite funzioni affini
23/09/2024	10:30	13:30	3,00	Introduzione alla ottimizzazione convessa	Ulteriori metodi  di dimostrazione della convessità di insiemi: d) funzione prospettiva e) funzioni lineari fratte. Funzioni convesse: definizione ed esempi. Dimostrazione della convessità di funzioni: a) definizione, b) restrizione a una linea (es. log(det(X)) è concavo)  c) Condizione del primo ordine  d) Condizione del secondo ordine (Hessiano): esempio funzioni quadratiche in R^n. Esempi: funzione quadratica su funzione lineare, media geometrica, log-sum-exp. Minimizzazione su insiemi convessi. Insiemi di sotto-livello di una funzione. Operazioni che preservano la convessità. Regole di composizione con funzioni scalari. Funzioni Log-Convesse e proprietà. Prospettiva di una Funzione convessa. Esempio: Kullback-Leibler distance is convex. Epigrafo di una funzione e proprietà. Definizione del problema standard di ottimizzazione convessa vincolato. Minimi locali e globali per problemi non convessi. Soluzioni ammissibili per problemi convessi, gradiente e MINIMUM PRINCIPLE.
25/09/2024	10:30	13:30	3,00	Ottimizzazione Convessa	Problemi convessi equivalenti: a) variabili "slack", b) metodo dell'epigrafo, c) introduzione di vincoli affini di uguaglianza. Programmi Lineari: soluzione sul vertice di un poliedro, non calcolabile in forma chiusa, ricavabile con metodi di ricerca veloce del vertice ottimo ( metodo del simplesso). Esempi di problemi convessi: problemi quadratici con vincoli quadratici, programmi quadratici semidefiniti positivi, minimizzazione dell'autovalore massimo di matrici affini nelle variabili e forma epigrafica. Funzione Lagrangiana, funzione duale, problema di ottimizzazione duale (concavo), condizioni di dualità forte e condizione di Slater. Condizioni necessarie KKT di dualità: generalmente anche sufficienti per problemi convessi.
30/09/2024	10:30	13:30	3,00	Esempi di Problemi di Ottimizzazione	Esempi di ottimizzazione e formulazione duale: forme quadratiche con vincoli lineari, waterfilling, programmi lineari in forma duale, Least Square, (Linear) Support Vector Machine: formulazione di Rosemblatt, formulazione di Vaipnik, problema duale e soluzioni. Introduzione agli algoritmi di ottimizzazione. Problemi di ottimizzazione non vincolata e condizione di esistenza del minimo. Algoritmi a discesa: gradient descent, algoritmo di Newton, algoritmi quasi-Newton. Cenni alle condizioni di convergenza e alla velocità di convergenza.
02/10/2024	10:30	13:30	3,00	Algoritmi di ottimizzazione I	Algoritmi iterativi per problemi di ottimizazzione vincolata. Condizione di Liptschitz: gradient projection e condizine di convergenza.. Algoritmi per problemi regolarizzati non differenziabili: proximal-operator. Casi particolari di regolarizzazione: funzione indicatore e proximal gradient; norma L1 e Soft-Threshold operator: Iterative Soft Thresholding Algorithm (ISTA). Caso particolare: LASSO. Algoritmi iterativi "Primal-Dual". Esempio: linear equality constrained problems: DUAL ASCENT algorithm. Augmented Lagrangian and Method of Multipliers.
07/10/2024	10:30	13:30	0,00	Annullata	Lezione Annullata per impegni scientifici del docente
09/10/2024	10:30	12:30	2,00	Esercitazioni di codifica e simulazione con Matlab / Python di algoritmi di Ottimizzazione	Implementazione di LASSO con Matlab / Python: Iterative Soft Thresholding Algorithm (ISTA), Alternating Direction Method of Multipliers (ADMM). Analisi di convergenza, sensibilità al parametro di regolarizzazione, recupero della sparsità. Utilizzo di dataset sintetici e dataset reali. Problema del Waterfilling con soluzione algoritmica, basata su CVX, e sfruttando la funzione già implementata in Matlab.
14/10/2024	10:30	12:30	3,00	Algoritmi di Ottimizzazione e Ottimizazione distribuita-I	Algoritmo di consenso medio (AVERAGE CONSENSUS) su grafi indiretti e connessi: concetto di Total Variation e sua minimizzazione con gradient descent. Condizioni di convergenza. Generalizzazione al calcolo distribuito della media pesata osservata da più agenti connessi. Generalizzazione alla stima di parametri da osservazione di dati indipendenti e distribuiti secondo modelli esponenziali: statistica sufficiente come somma delle statistiche sufficienti di ciascuna osservazione. Cenni al consenso medio su grafi diretti. Disaccoppiamento di problemi di ottimizzazione regolarizzati: L'algoritmo Alternating Direction Method of Multipliers (ADMM) e la sua versione scalata. Soluzione di problemi regolarizzati non vincolati attraverso ADMM: esempio- LASSO by ADMM. Cenni a Learning Federato (con centro di fusione) e Distribuito in reti di comunicazione. Federated learning come un problema di ottimizzazione distribuito (con Fusion center). Funzioni costo tipiche per learning supervisionato a ciascun agente: MSE e Cross-Entropia. Soluzione generale per problemi non convessi: Federated Gradient Descent e riformulazione come Federated Averaging. Cenni all'accelerazione di Nesterov. Federated ADMM: ottimizzazione non-vincolata tramite CONSENSO per funzioni obiettivo (e di learning) che sono somma di funzioni convesse: variabili locali, variabili globali, Lagrangiano aumentato e soluzione tramite ADMM scalato in parallelo su ciascun agente, consenso tramite FUSION CENTER e local UPSCENT sulla variabili duali. Versione semplificata. Estensione di ottimizzazione al Consenso a problemi di ottimizzazione convessa regolarizzata (LASSO, RIDGE REGRESSION, etc.). Soluzione tramite Scaled ADMM. Esempio: Soluzione di LASSO distribuita attraverso splitting dei dati osservati su N agenti in paralleo. Implementazione di ottimizzazione al CONSENSO con ADMM, con fusione delle ottimizzazioni tramite ullteriore algoritmo iterativo di diffusione (AVERAGE CONSENSUS) di tipo scalare.
16/10/2024	10:30	13:30	3,00	Ottimizzazione distribuita-II	Formulazione alternativa del problema di ottimizzazione, incorporando l'algoritmo di AVERAGE CONSENSUS all'interno del problema originale attraverso la minimizzazione congiunta della TOTAL VARIATION: considerazioni sulla velocità di convergenza globale. Risultati di convergenza con matrici di mixing delle variabili locali "right-stochastic". Esempio  Soluzione distribuita di LASSO dividendo il problema rispetto ai DATI (CONSENSUS OPTIMIZATION) oppure rispetto alle VARIABILI di ottiimizzazione (SHARING OPTIMIZATION): soluzione dello step-2 di ADMM tramite Lagrangiano e dualità. Stima Maximum Likelihood di un vettore di parametri da agenti multipli con modello di osservazione (regressione) lineare in condizioni di rumore additivo Gaussiano e incorrelato tra agenti.  Analisi della soluzione centralizzata ed implementazione distribuita (con centro di fusione)  attraverso ADMM: implementazione, confronto di prestazioni tramite Matlab.
21/10/2024	10:30	13:30	3,00	Machine Learning Distribuito: Federated learning and distribited model fitting	Consensus and Sharing Optimization in problemi di machine learning regolarizzati: Distributed (regularized) Model Fitting). Funzioni di ottimizzazione modellabili come L(Ax-b). Funzioni di ottimizzazione additive: Consensun optimization. Funzioni di regolarizzazione separabili: Sharing Optimization. Esempio: Linear regression Analysis by ML estimation (uncostrained optimization). Bayesian MAP formulation of Linear regression analysis: regularized optimization induced by the prior. Example: Laplacian & LASSO, Gaussian and Ridge Regression. Esempi di classificazione: Linear SVM and splitting by Features and Examples. Funzioni di loss additive e stimatori ML e Bayesiani MAP con pdf log-concave (LS, LASSO, Ridge Regression). Fomulazione del problema per LOGISTIC REGRESSION (da fare come possibilie tesina, splitting rispetto a Examples  (dati) e splitting rispetto a Features (variabili). Esempio di applicazione: Distributed Target Localization. Modello teorico, soluzione centralizzata e distribuita con ADMM. Implementazione e simulazione in Matlab
23/10/2024	10:30	12:30	2,00	Esercitazioni di codifica e simulazione con Matlab / Python	Codifica, simulazione, e analisi dei risultati in aula con PC degli studenti di algoritmi di ottimizzazione distribuita: implementazione su un data-set reale (MPG-DATASET) di algoritmo LASSO con dati separati su più agenti/processori, sia in presenza di un centro di fusione, sia con algoritmo al consenso quando gli agenti comunicano tra loro su una rete connessa bidirezionale (grafo indiretto) , sia attraverso formulazione tramite Total Variation. Codifica e simulazione di model fitting per Support Vector Machine regolarizzato su Breast Cancer dataset.
28/10/2024	10:30	13:30	0,00	Annullata	Lezione Annullata per impegni scientifici del docente
30/10/2024	10:30	13:30	0,00	Annullata	Lezione Annullata per impegni scientifici del docente
04/11/2024	14:30	17:30	3,00	Compressed sensing - I: teoria	Introduzione al compressed sensing e alla rappresentazione sparsa dei segnali. Condizioni di ricostruibilità per segnali sparsi:  spark della matrice complessiva, coerenza mutua della matrice di sparsità con la matrice di campionamento, restricted isometry property. Ricostruzione come un problema di ottimizzazione con norma L0, soluzione rilassata con norma L1 e algoritmo di Basis Pursuit (già studiato con ADMM). Ricostruzione in presenza di rumore: formulazione con minimizzazione della norma dell'errore (LASSO based) e algoritmi di Basis Pursuit con vincolo quadratico. Algoritmi di tipo GREEDY: Orthogonal Matching Pursuit e Iterative Hard Thresholding.
	10:30	13:30	3,00	Stima Maximum Likelihood con implementazione centralizzata e Distribuita: implementazione con Matlab	Stima Maximum Likelihood di un vettore di parametri da agenti multipli con modello di osservazione (regressione) lineare in condizioni di rumore additivo Gaussiano e incorrelato tra agenti.  Analisi della soluzione centralizzata ed implementazione distribuita (con centro di fusione)  attraverso ADMM: implementazione, confronto di prestazioni, e sensibilità ai parametri dell'algoritmo e del modello tramite Matlab.
06/11/2024	10:30	13:30	0,00	Lezione Annullata
11/11/2024	10:30	13:30	3,00	Compressed sensing - II e Matrix completion: algoritmi	Formulazione matematica dell'utilizzo di compressed sampling per denoising di immagini: rappresentazione sparsa tramite DFT per colonne (o righe) e tramite 2D-DFT. Algoritmi di completamento di Matrici a basso rango (Low-Rank Matrix Completion) : fondamenti teorici e formulazione esatta del problema. Formulazione rilassata con la norma-nucleare e similitudini con compressed sampling e  norma "l1". Algoritmi basati su SVD ed algoritmi iterativi con thesholding. Implementazione in Matlab con data-set sintetici di matrici sottocampionate e relativa analisi del NMSE di ricostruzione della matrice al variare del numero dei suoi elementi osservati. Formulazione di Matrix completion sftuttando basso rango + sparsità e cenni alle potenziali applicazioni di  Network Flow Tomography.
12/11/2024	14:30	17:30	2,00	Esercitazioni di codifica e simulazione con Matlab	Compressed sensing per la la ricostruzione di immmagini sottocampionate sfruttando  la 2D-DCT come dizionario e l'algoritmo di Basis Pursuit: Implementato sia con  ADMM  che con Iterative Shrinking & Thresholding. Utilizzo di Low-Rank + Sparse - Matrix Completion su dati di flusso di rete Internet e per il denoising di immagini corrotte da rumore additivo di tipo "sale e pepe".
13/11/2024	10:30	13:30	3,00	Data Reduction Techniques: linear features extraction	Principal componet Analysis: definizione, interpretazione statistica e deterministica, significato geometrico. Caso particolare di variabili aletaorie Gaussiane: entropia della proiezione tramite PCA e informazione mutua con i dati originali in presenza di rumore additivo. La PCA come tecnica unsupervised in problemi di classificazione. Canonical Correaltion Ananalysis per problemi di classificazione supervisionata: definizione e derivazone matematica degli autovettori della matrice che definiscono le due basi di proiezione per la CCA. Il criterio dell'Information bottleneck per l'estrazione di feature compresse in problemi di learning: definizione, caso generale e caso di statistiche Gaussiane. Osservazion su mappaggio statistico e considerazioni sul termine probabilistico di rumore nella soluzione dell'IB. Cenni all'utilizzo in sistemi di Edge machine Learning.
18/11/2024	10:30	13:30	3,00	Grafi, Cenni a Teoria Algebrica dei Grafi e Introduzione ai segnali definiti su grafi	Esempi e motivazioni; Teoria algebrica dei grafi. Caratteristiche dei grafi: matrice delle adiacenze, Laplaciano, connettività di un grafo, etc. Segnali definiti su un grafo, Total Variation, Minimizzazione del cut size, algoritmo rilassato e relazioni con total variation. Autovettori del Laplaciano di un grafo e proprietà di clusterizzazione. Autovettori del Laplaciano come un segnale definito su un grafo (indiretto). Total Variation Clustering e concetto di oscillazione su un grafo. Autovettori del Laplaciano come base orto-normale per qualunque altro segnale. Cenni alla Graph-Fourier Transform (GFT)
19/11/2024	14:30	16:30	2,00	Esercitazioni di codifica e simulazione con Matlab / Python	Codifica e simulazione di algoritmi di estrazione di features da data-set di immagini per problemi di classificazione. Confronto tra PCA (non supervisionato), Information-Bottleneck e NN-encoder. Cenni ad  applicazioni per goal-oriented communications.
20/11/2024	10:30	13:30	3,00	Segnali su grafo e Graph Fourier Transform. Calcolo distribuito di autovalori e autovettori del Laplaciano di un grafo. Filtraggio su un grafo.	Definizione di Graph Fourier Transform (GFT) e spettro di un segnale su un grafo. Similitudine con DFT di sequenze periodiche su grafi circolanti (diretti: caso particolare !!). Possibile estensioni a grafi diretti, matrici delle adiacenze come operatore di shift, problemi interpretativi. Filtraggio di segnali su grafi. Filtraggio distribuito su grafi e filtri come espansione polinomiale di matrici delle adiacenze o del Laplaciano. Equazione di diffusione di un segnale su un grafo (osservazione sulla sua natura di filtro passa-basso).
25/11/2024	10:30	13:30	3,00	Campionamento e ricostruzione su Grafo	Campionamento e ricostruzione di dati definiti sui nodi di un grafo. Teorema del campionamento su grafi. Ricostruzione in assenza di rumore e formulazioni alternative. Ricostruzioni iterative: approssimazione della matrice inversa  o utilizzo degli autovettori del grafo. Cenni alla ricostruzione con gli autovettori della matrice che controlla la concentazione energetica in frequenza (B) e sui nodi (D): autovettori di BDB. Analisi simulativa e intuitiva delle prestazioni di sparse-sampling in presenza di rumore per  la ricostruzione di segnali (quasi) sparsi nel dominio della Graph-Fourier-Transform. MSE di ricostruzione in funzione di Banda (approssimata) e numero di campioni prelevati.
27/11/2024	10:30	13:30	3,00	Inferenza da campionamento sparso e applicazione alla  ricostruzione di segnali su grafi.  (POSSIBILE ALTRO ARGOMENTO: Da segnali sui nodi a segnali sugli archi: cenni a complessi simpliciali e cell-complexes	Problemi di stima e decisione attraverso opportuna selezione dei dati disponibili: fondamenti teorici e algoritmi per modelli di osservazione (regressione) lineare basati su MMSE. Effetto del rumore e criteri di ricostruzione da sparse- sampling e Empirical-Design (E-Optimality, D-Optimality, A-optimality). Cenni alle estensione a modelli di osservazione non lineari tramite minimizzazione del Cramer-Rao lower-bound. Codice Matlab e risultati di simulazione di campionamento (con soluzione sparsa) di un segnale rumoroso definito su un grafo di sensori, con quantizzazione e trasmissione dei dati a un fusion center (su canali a rate limitata), il quale  ricostruisce il segnale su tutti i nodi  ottimizzando le risorse (bit e potenza trasmissiva) a ciascun sensore applicando BLUE per interpolare il segnale (Articolo IEEE ICASSP 2018)
02/12/2024	10:30	13:30	3,00	Calcolo distribuito di autovalori e autovettori del Laplaciano di un grafo	Rayleight-Ritz Theorem, Leading eigenvector (eigenvector centrality) e Power Iteration Method. Normalization problems and possible solutions. Iterative distributed computation of leading eigenvectors. Alternative implementation to compute lamba_2(L) by the Laplacian diffusion matrix W = I - eL.
04/12/2024	10:30	13:30	3,00	Cenni a ottimizzazione stocastica. Algoritmi LMS e RLS POSSIBILE ANCHE UN NUOVO ARGOMENTO	Stimatore L-MMSE ed implementazione tramite metodo del gradiente a discesa. Cenni ai principi di ottimizzazione stocastica ed applicazione a L-MMSE con step-size variabile.  Step-size fisso ed algoritmo Least Mean Square (LMS): condizioni e velocità di convergenza. Metodo iterativo di Newton per soluzione di L-MMSE: non realizzabilità. Recursive Least Square (RLS): stima iterativa (invertibile) con forgetting factor della matrice di correlazione ed ottimizzazione stocastica del passo di aggionamento. Riduzione della complessità con aggiornamento della matrice di precisione con identità di Woodburry e ruolo del guadagno (di Kalman). Condizioni e velocità di convergenza al variare dello step-size e del forgetting factor. Considerazioni sul parametro di regolarizzazione, sul MSE e la convergenze in media ma non in media quadratica. Criteri di confronto di algoritmi adattativi a parità di veocità di convergenza o MSE residuo in convergenza. Formulazione di RLS come soluzione di un problema di fitting Weighted-LS regolarizzato con ridge-regression.  Confronto di RLS con LMS: influenza del forgetting factor sulla velocità di convergenza attraverso studio approssimato della equazione di aggiornamento in regime di convergenza.
10/12/2024	14:30	17:30	3,00	Online Gradient-Based Optimization: soluzioni distribuite.	ESEMPIO: Campionamento e ricostruzione on-line di segnali sui nodi di un grafo attraverso LMS: analisi di prestazioni, selezione dei nodi, risultati di simulazione (articolo IEEE).
11/12/2024	10:30	13:30	3,00	Graph Learning	Algoritmi di apprendimento basati su ipotesi statistiche dei dati osservati ai nodi di grafi indiretti. Markov Random Fields e algoritmo di Graphical LASSO. Algoritmo di Kalofolias. Algoritmi basati su Total Variation.
	Totale ore		71,00