Passi nella scelta di un modello di previsione Il modello di previsione dovrebbero includere caratteristiche che cattura tutte le importanti proprietà qualitativa dei dati: modelli di variazione nel livello e di tendenza, effetti dell'inflazione e la stagionalità, le correlazioni tra le variabili, ecc Inoltre, i presupposti che stanno alla base la tua modello scelto dovrebbe essere d'accordo con la vostra intuizione di come la serie rischia di comportarsi in futuro. Quando si monta un modello di previsione, si hanno alcune delle seguenti opzioni: Queste opzioni sono brevemente descritte di seguito. Vedere la Tabella Previsione flusso di accompagnamento per una vista pittorica del processo del modello-specifica, e fare riferimento al pannello Statgraphics Specifica di modello per vedere come le caratteristiche del modello sono selezionate nel software. La deflazione Se la serie mostra una crescita inflazionistica, quindi la deflazione aiuterà a spiegare il modello di crescita e ridurre eteroschedasticità nei residui. È possibile (i) sgonfiare i dati passati e rigonfiare le previsioni a lungo termine ad un tasso assunto costante, o (ii) sgonfiare i dati passati da un indice dei prezzi, come il CPI, e poi quotmanuallyquot rigonfiare le previsioni a lungo termine con una previsione dell'indice dei prezzi. Opzione (i) è il più facile. In Excel, si può semplicemente creare una colonna di formule per dividere i valori originali dai fattori appropriati. Ad esempio, se i dati sono mensili e si vuole sgonfiarsi a un tasso del 5 per 12 mesi, si dovrebbe dividere per un fattore di (1,05) (K12) dove k è l'indice di riga (numero di osservazione). RegressIt e Statgraphics hanno strumenti integrati che fanno questo automaticamente per voi. Se si va questa strada, di solito è meglio impostare il tasso di inflazione assunto pari al vostro migliore stima del tasso attuale, soprattutto se avete intenzione di prevedere più di un periodo avanti. Se invece si sceglie l'opzione (ii), è necessario innanzitutto salvare le previsioni sgonfiato e limiti di confidenza per il foglio di calcolo di dati, quindi generare e salvare una previsione per l'indice dei prezzi, e, infine, si moltiplicano le colonne appropriate insieme. (Torna a inizio pagina.) Logaritmo trasformazione Se la serie mostra composto crescita Andor un andamento stagionale moltiplicativo, una trasformazione logaritmica può essere utile in aggiunta o sostituzione di deflazione. Registrazione dei dati non appiattire un modello di crescita inflazionistica, ma sarà raddrizzarlo fuori in modo che esso può essere montato da un modello lineare (ad esempio una passeggiata casuale o modello ARIMA con una crescita costante, o un modello di livellamento esponenziale lineare). Inoltre, la registrazione ti permette di convertire i modelli stagionali moltiplicativi di additivo modelli, in modo che se si esegue la regolazione stagionale dopo la registrazione, è necessario utilizzare il tipo di additivo. Registrazione occupa di inflazione in modo implicito, se si desidera l'inflazione per essere modellato in modo esplicito - i. e. se si desidera che il tasso di inflazione per essere un parametro visibile del modello o se si desidera visualizzare appezzamenti di dati sgonfio - allora si dovrebbe sgonfiarsi, piuttosto che il login. Un altro uso importante per la trasformazione logaritmica è linearizzare relazioni tra le variabili in una modalità di regressione l. Ad esempio, se la variabile dipendente è una moltiplicativo anziché additivo funzione delle variabili indipendenti, o se il rapporto tra le variabili dipendenti ed indipendenti è lineare in termini di variazioni percentuali piuttosto che variazioni assolute, quindi applicando una trasformazione logaritmica per una o più variabili può essere opportuno, come nell'esempio vendite di birra. (Torna a inizio pagina.) La destagionalizzazione Se la serie ha un forte andamento stagionale che si crede di essere costante di anno in anno, destagionalizzazione può essere un modo appropriato per valutare ed estrapolare il modello. Il vantaggio di destagionalizzazione è che i modelli informatici andamento stagionale esplicitamente, dandovi la possibilità di studiare gli indici stagionali e dei dati destagionalizzati. Lo svantaggio è che richiede la stima di un gran numero di parametri aggiuntivi (in particolare per i dati mensili), e fornisce alcuna giustificazione logica per il calcolo degli intervalli di confidenza quotcorrectquot. Out-of-campione di convalida è particolarmente importante per ridurre il rischio di un eccesso di montaggio dei dati passati attraverso la destagionalizzazione. Se i dati sono fortemente stagionale, ma non si sceglie destagionalizzazione, le alternative sono a uno (i) utilizzare un modello ARIMA stagionale. che prevede implicitamente l'andamento stagionale con ritardi stagionali e le differenze, o (ii) utilizzare il modello di livellamento Winters stagionale esponenziale, che stima che variano nel tempo gli indici stagionali. (Torna a inizio pagina.) Variabili quotIndependentquot Se ci sono altre serie di tempo, che si crede di avere potere esplicativo rispetto alla serie di interessi (ad esempio portando gli indicatori economici o variabili di politica come il prezzo, pubblicità, promozioni, ecc) è potrebbe prendere in considerazione di regressione come tipo di modello. O se non si sceglie di regressione, è ancora necessario considerare i possibilies di cui sopra per trasformare i tuoi variabili (deflazione, log, destagionalizzazione - e forse anche di differenziazione), in modo da sfruttare la dimensione temporale Andor linearizzare le relazioni. Anche se non si sceglie di regressione a questo punto, si può prendere in considerazione l'aggiunta di regressori in seguito ad un modello di serie temporali (per esempio un modello ARIMA) se i residui risultano avere signficant cross-correlazioni con altre variabili. (Torna a inizio pagina.) Smoothing, media, o random walk se si è scelto di destagionalizzare i dati - o se i dati non sono stagionali per cominciare - allora si potrebbe desiderare di utilizzare un modello di media o l'attenuazione su montare il modello nonseasonal che rimane nei dati a questo punto. Una media mobile semplice o semplice modello esponenziale smoothing semplicemente calcola una media locale dei dati al fine della serie, supponendo che questa è la migliore stima del valore medio di corrente attorno al quale i dati sono fluttuanti. (Questi modelli assumono che la media della serie è variabile lentamente e in modo casuale, senza tendenze persistenti.) Il livellamento esponenziale semplice è normalmente preferibile ad una media mobile semplice, in quanto la sua media ponderata esponenzialmente fa un lavoro più ragionevole di attualizzazione dei dati più vecchi, perché la sua lisciatura parametro (alfa) è continua e può essere facilmente ottimizzata, e perché ha una base teorica sottostante per calcolare intervalli di confidenza. Se lisciatura o media non sembra essere utile - i. e. se il miglior predittore del valore successivo della serie storica è semplicemente il suo precedente valore - allora un modello random walk è indicato. Questo è il caso, per esempio, se il numero ottimale di termini nella semplice media mobile risulta essere 1, o se il valore ottimale di alfa semplice livellamento esponenziale risulta essere 0.9999. Browns livellamento esponenziale lineare può essere utilizzato per adattare una serie con le tendenze lineari lentamente a tempo variabile, ma essere cauti circa estrapolare tali tendenze molto lontano nel futuro. (Le rapidamente più ampi intervalli di confidenza per questo modello testimoniano la sua incertezza circa il futuro lontano.) Holts smoothing lineare anche le stime tendenze variabili nel tempo, ma utilizza i parametri distinti per lisciare il livello e la tendenza, che di solito fornisce una migliore vestibilità ai dati rispetto al modello Brown8217s. Q uadratic livellamento esponenziale tenta di stimare l'andamento quadratico variabili nel tempo, e dovrebbe quasi mai essere utilizzato. (Ciò corrisponde ad un modello ARIMA con tre ordini di differenziazione non stagionale.) Lineare livellamento esponenziale con un trend smorzata (cioè una tendenza che si appiattisce a orizzonti lontani) è spesso raccomandata in situazioni in cui il futuro è molto incerto. I vari modelli di livellamento esponenziale sono casi speciali di modelli ARIMA (descritto di seguito) e possono essere dotati di software ARIMA. In particolare, il semplice modello di livellamento esponenziale è una ARIMA (0,1,1) del modello, Holt8217s modello di livellamento lineare è un modello ARIMA (0,2,2), e il modello di tendenza smorzata è un ARIMA (1,1,2 ) modello. Una buona sintesi delle equazioni dei vari modelli di livellamento esponenziale può essere trovato in questa pagina sul sito SAS. (Il menu SAS per specificare i modelli di serie storiche sono anche dimostrato there8212they sono simili a quelli di Statgraphics.) Lineare, quadratica, o modelli della linea di tendenza esponenziale sono altre opzioni per estrapolare una serie destagionalizzato, ma raramente sovraperformare random walk, levigante, o modelli ARIMA sui dati aziendali. (Torna a inizio pagina.) Winters stagionale esponenziale Winters stagionale Smoothing è un'estensione di livellamento esponenziale che stima allo stesso tempo il livello variabile nel tempo, di tendenza, e fattori stagionali usando equazioni ricorsive. (Quindi, se si utilizza questo modello, si dovrebbe non prima stagione regolare i dati.) I fattori stagionali inverni possono essere sia moltiplicativo o additivo: normalmente si dovrebbe scegliere l'opzione moltiplicativo a meno che non aver eseguito l'accesso ai dati. Anche se il modello Winters è intelligente e ragionevolmente intuitivo, può essere difficile da applicare in pratica: ha tre parametri di livellamento - alfa, beta e gamma - per lisciare separatamente le livello, della tendenza e fattori stagionali, che devono essere stimati contemporaneamente. Determinazione dei valori iniziali per gli indici stagionali può essere realizzata applicando il metodo rapporto medio-a-movimento di regolazione stagionale per parte o tutta la serie eo da backforecasting. L'algoritmo di stima che Statgraphics utilizza per questi parametri a volte non riesce a convergere valori eo rendimenti che danno previsioni bizzarro e intervalli di confidenza, quindi vi consiglio di attenzione quando si utilizza questo modello. (Torna a inizio pagina.) ARIMA Se non si sceglie di regolazione stagionale (o se i dati non sono stagionale), si potrebbe desiderare di utilizzare il quadro modello ARIMA. modelli ARIMA sono una classe molto generale di modelli che comprende random walk, tendenza casuale, livellamento esponenziale, e modelli autoregressivi come casi particolari. La saggezza convenzionale è che una serie è un buon candidato per un modello ARIMA se (i) può essere stationarized da una combinazione di differenziazione e di altre trasformazioni matematiche come la registrazione, e (ii) si dispone di una notevole quantità di dati con cui lavorare : almeno 4 stagioni complete nel caso di dati stagionali. (Se la serie non può essere adeguatamente stationarized dalla differenziazione - ad esempio se è molto irregolare o sembra essere qualitativamente cambiando il suo comportamento nel tempo - o se si dispone di meno di 4 stagioni di dati, allora si potrebbe essere meglio con un modello che utilizza destagionalizzazione e una sorta di semplice media o di levigatura.) modelli ARIMA hanno una speciale convenzione di denominazione introdotta da Box e Jenkins. Un modello ARIMA nonseasonal è classificato come modello ARIMA (p, d, q), dove d è il numero di differenze non stagionali, p è il numero di termini autoregressivi (ritardi della serie differenziata) e q è il numero di MOVING - termini medi (GAL degli errori di previsione) nella equazione di previsione. Un modello ARIMA stagionale è classificato come ARIMA (p, d, q) x (P, D, Q). dove D, P, e Q sono, rispettivamente, il numero di differenze stagionali, condizioni stagionali autoregressivi (GAL della serie differenziata a multipli del periodo stagionale), ed i termini media mobile stagionali (GAL degli errori di previsione a multipli della stagione periodo). Il primo passo per il montaggio di un modello ARIMA è quello di determinare l'ordine appropriato di differenziazione necessaria per stationarize serie e rimuovere le caratteristiche lordi di stagionalità. Ciò equivale a determinare quali quotnaivequot random walk o modello casuale di tendenza fornisce il miglior punto di partenza. Non tentare di utilizzare più di 2 ordini totali di differenziazione (non stagionale e stagionale combinato), e di non utilizzare più di 1 differenza stagionale. Il secondo passo è quello di determinare se includere un termine costante nel modello: di solito si fa includere un termine costante se l'ordine totale di differenziazione è 1 o meno, altrimenti voi non. In un modello con un ordine di differenziazione, il termine costante rappresenta l'andamento medio nelle previsioni. In un modello a due ordini di differenziazione, l'andamento delle previsioni è determinata dalla tendenza locale osservato alla fine della serie di tempo, e il termine costante rappresenta l'andamento-in-the-tendenza, cioè la curvatura lungo previsioni termine. Normalmente è pericoloso estrapolare le tendenze-in-tendenze, in modo da sopprimere il termine contant in questo caso. Il terzo passo è quello di scegliere il numero di autoregressivo e spostamento parametri medi (p, d, q, P, D, D) che sono necessari per eliminare qualsiasi autocorrelazione che rimane nei residui del modello naive (cioè qualsiasi correlazione che residua dopo mera differenziazione). Questi numeri determinano il numero di ritardi della serie differenziata ritardi eo degli errori di previsione che sono inclusi nell'equazione di previsione. Se non c'è autocorrelazione significativo nei residui, a questo punto, quindi STOP, il gioco è fatto: il miglior modello è un modello ingenuo Se c'è una significativa autocorrelazione a ritardi 1 o 2, si dovrebbe provare a impostare q1 se uno dei seguenti casi: ( i) vi è una differenza non stagionale nel modello, (ii) il ritardo 1 autocorrelazione è negativo. Andor (iii) la trama di autocorrelazione dei residui è più pulita di aspetto (un numero inferiore, i picchi più isolate) che la trama di autocorrelazione parziale residua. Se non vi è alcuna differenza non stagionali nel modello Andor il ritardo 1 autocorrelazione è positivo Andor la trama di autocorrelazione parziale residua sembra più pulito, quindi provare p1. (A volte queste regole per scegliere tra P1 e il conflitto Q1 con l'altro, nel qual caso probabilmente non rende molta differenza che quella che si usa. Prova entrambi e confrontare.) Se c'è autocorrelazione in ritardo 2 che non viene rimosso impostando P1 o q1, si può quindi provare p2 o Q2, o occasionalmente P1 e Q1. Più raramente si possono incontrare situazioni in cui p2 o 3 e q1, o viceversa, produce i risultati migliori. E 'fortemente raccomandato di non utilizzare pgt1 e qgt1 nello stesso modello. In generale, nel montaggio modelli ARIMA, si dovrebbe evitare di aumentare complessità del modello in modo da ottenere solo piccole migliorare ulteriormente le statistiche di errore o l'aspetto delle trame ACF e PACF. Inoltre, in un modello con entrambi pgt1 e qgt1, c'è una buona possibilità di ridondanza e non unicità tra AR e MA lati del modello, come spiegato nelle note sulla struttura matematica del modello ARIMA s. Di solito è meglio procedere a un graduale in avanti piuttosto che indietro modo graduale quando tweaking le specifiche del modello: iniziare con modelli più semplici e solo aggiungere altri termini, se vi è una chiara necessità. Le stesse regole valgono per il numero di termini autoregressivi stagionali (P) e il numero di termini stagionali media mobile (Q) rispetto al autocorrelazione al periodo stagionale (ad esempio lag 12 per i dati mensili). Prova Q1 se c'è già una differenza stagionale nel modello Andor l'autocorrelazione stagionale è negativo Andor la trama di autocorrelazione dei residui appare più pulita in prossimità del ritardo stagionale altrimenti prova P1. (Se è logico per la serie di esporre una forte stagionalità, quindi è necessario utilizzare una differenza di stagione, altrimenti il modello stagionale svanirà quando si effettuano previsioni a lungo termine.) Di tanto in tanto si potrebbe desiderare di provare P2 e Q0 o vice v ERSA, o PQ1. Tuttavia, è fortemente raccomandato che PQ non dovrebbe mai essere superiore a 2. I modelli stagionali raramente hanno il tipo di perfetta regolarità su un numero sufficiente di stagioni che consentano di individuare in modo affidabile e stimano che molti parametri. Inoltre, l'algoritmo backforecasting utilizzato nella stima parametro può produrre risultati inaffidabili (o anche folli) quando il numero di stagioni di dati non è significativamente più grande PDQ. Vorrei raccomandare non meno di PDQ2 stagioni complete, e più è meglio. Anche in questo caso, nel montaggio modelli ARIMA, si deve fare attenzione per evitare di raccordo dei dati, nonostante il fatto che essa può essere molto divertente una volta a ottenere il blocco di esso. casi particolari importanti: Come notato sopra, un modello ARIMA (0,1,1) senza costante è identico ad un semplice modello di livellamento esponenziale, ed assume un livello galleggiante (cioè senza mean reversion), ma con lo zero tendenza a lungo termine. Un modello ARIMA (0,1,1) con costante è un semplice modello di livellamento esponenziale con un termine di trend lineare diverso da zero incluso. Un ARIMA (0,2,1) o modello (0,2,2) senza costante è un modello di livellamento esponenziale lineare che permette una tendenza variabile nel tempo. Un modello ARIMA (1,1,2) senza costante è un modello di livellamento esponenziale lineare con tendenza smorzata, cioè una tendenza che alla fine si appiattisce in previsioni a più lungo termine. I modelli più comuni stagionali ARIMA sono (0,1,1) x (0,1,1) modello ARIMA senza (1,0,1) x modello costante e la ARIMA (0,1,1) con costante. Il primo di questi modelli vale sostanzialmente livellamento esponenziale ad entrambi i componenti non stagionali e stagionali del modello nei dati pur consentendo un andamento variabile nel tempo, e quest'ultimo modello è in qualche modo simile, ma assume un andamento lineare costante e quindi un po 'più lunga prevedibilità - term. Si deve sempre includere questi due modelli fra la vostra linea di sospetti quando i dati di montaggio con i modelli stagionali coerenti. Uno di loro (magari con una variazione minore tale aumento p o q da 1 andor P1 impostazione nonché Q1) è abbastanza spesso la migliore. (Torna a inizio pagina.) Misure semiadditive in valori DAX, come inventario e saldo del conto, di solito calcolata da una tabella di snapshot, richiedere l'uso di misure semiadditive. In multidimensionale avete tipi di aggregazione specifici, come LastChild e LastNonEmpty. In PowerPivot e tabellare si utilizza DAX, che è sufficientemente flessibile per realizzare qualsiasi calcolo, come descritto in questo articolo. UPDATE 2014/02/03: errori fissi in funzioni ClosingNonBlank grazie alla Franj Tonsen8217s commento. Una misura semi-additivo non dati aggregati su tutti gli attributi come una misura additiva regolare. Ad esempio, misure come saldo del conto e le unità di spazio di prodotto possono essere aggregati su qualsiasi attributo ma il tempo. Invece di considerare il periodo selezionato (un anno, un mese) si considera solo un momento particolare nel tempo relative al periodo selezionato. Potrebbe essere il primo giorno, l'ultimo giorno, l'ultimo giorno che aveva transazioni, e così via. Questa condizione è tipica per le tabelle contenenti le istantanee nel corso del tempo, come i prodotti di inventario o l'equilibrio conti. Nella tabella che segue, potete vedere un estratto di una tabella di inventario del prodotto. Lo stesso prodotto ha un valore units per ogni data e non è possibile sommare una tale colonna per due date diverse (si potrebbe desiderare di calcolare la media su date diverse). Se si vuole calcolare il valore di units per luglio del 2001, è necessario filtrare le righe per l'ultimo giorno di tale mese, ignorando le righe per tutti gli altri giorni. Tuttavia, è necessario utilizzare l'aggregazione regolare per altre misure, come le unità in unità e Out, che sono misure regolari additivi. Al fine di attuare un'azione di semi-additivo DAX, si utilizza una tecnica simile a quella utilizzata per calcolare aggregazioni e confronti nel tempo. Si cambia il filtro sulla data in un comunicato calcolare, ma in questo caso si limita l'intervallo di date selezionato invece di estenderla (come l'anno-to-date) o lo spostamento (come l'anno precedente). In primo luogo e la data dell'ultima È possibile utilizzare ultimoData per ottenere l'ultimo giorno attivo nel contesto filtro corrente per una determinata colonna data passata come argomento. Il risultato è una tabella di una colonna e un valore che è possibile utilizzare come argomento filtro in una dichiarazione CALCULATE, come nella seguente definizione: Il risultato mostra che il totale per ogni trimestre corrisponde al valore dell'ultimo mese del trimestre (per esempio, il valore Q1 è uguale March). Ogni valore mese corrisponde al valore dell'ultimo giorno nel mese (non rappresentati qui). Cognome e vuoto Il calcolo non Unità ultimoData presuppone che ci sono dati per ogni anno in ogni mese. Se l'inventario è ogni giorno, questo non è un problema, ma potrebbe diventare un problema nel caso in cui l'inventario è stato scritto per i giorni di lavoro: se un mese sarebbe il Sabato, si vedrebbe l'intero mese. Il problema è evidente per le date future. Nella figura seguente si vede ciò che accade utilizzando unità ultimoData con una tabella di inventario che ha righe fino al 15 dicembre 2007: non si vede il totale per l'anno 2007, Q4 e per dicembre La ragione è che la formula ultimoData opera sulle date disponibili nel contesto del filtro e la tabella data contiene tutti i giorni per l'anno 2007 (che è una pratica migliore, altrimenti le altre funzioni Tempo intelligenza non avrebbe funzionato correttamente). È possibile utilizzare un'altra funzione DAX, LASTNONBLANK, che restituisce l'ultima data che soddisfano una condizione di non-vuoto per un'espressione passato come secondo argomento. E 'importante che il secondo argomento della LASTNONBLANK applica la transizione contesto utilizzando un CALCOLARE implicita o esplicita, altrimenti si sarebbe applicare l'espressione senza filtrare da ogni data nel periodo e il risultato sarebbe stato identico a ultimoData. È possibile vedere il risultato nella figura seguente, dove vengono tutte visualizzate dicembre Q4 e il totale per il 2007. Se avete bisogno la prima data di un periodo invece l'ultimo, è possibile utilizzare FIRSTDATE. Hai anche FIRSTNONBLANK per ottenere la prima data con alcuni dati, simile a quello che fai con LASTNONBLANK per l'ultima data di avere alcuni dati. Tutte queste funzioni restituisce una tabella di una colonna e una riga: per questo motivo, è possibile utilizzarli in un argomento filtro di una chiamata CALCULATE. Un errore comune è supponendo che ultimoData e MAX produrrebbe lo stesso risultato. Mentre questo è vero da un punto di vista logico, c'è un importante differenza sintattica. Non si può scrivere la seguente espressione: La funzione MAX restituisce un valore scalare e l'argomento filtro di una funzione di calcolo richiede un'espressione di tabella o di una condizione logica fa riferimento a una sola colonna. Così, è possibile utilizzare MAX invece di ultimoData utilizzando la seguente definizione: La pratica migliore è usare ultimoData quando si scrive un'espressione di filtro, mentre MAX è migliore quando si sta scrivendo un'espressione logica in un contesto di fila, perché ultimoData implica una transizione contesto che nasconde il contesto filtro esterno. Apertura e chiusura Periodi avete altre funzioni intelligence in tempo utile in misura semi-additivo per ottenere la prima e l'ultima data di un periodo (anno, trimestre o mese), che sono utili ogni volta che è necessario per ottenere quel valore di una selezione che è meno estesa rispetto al periodo considerato. Ad esempio, guardando il livello di mesi (che possono essere visualizzati in righe), si potrebbe desiderare di visualizzare anche il valore della fine del trimestre e alla fine dell'anno nella stessa riga, come si può vedere nella figura seguente . La definizione di ClosingMonth, ClosingQuarter, ClosingYear, OpeningMonth, OpeningQuarter e OpeningYear misure utilizzate nella tabella pivot precedente è la seguente: Le misure precedenti corrisponde alle seguenti quelle definite mediante il calcolo e il filtro fornito da ENDOFMONTH, ENDOFQUARTER, ENDOFYEAR, STARTOFMONTH, STARTOFQUARTER e le funzioni di STARTOFYEAR, rispettivamente: Nessun funzioni di apertura e periodo di chiusura considerano la condizione di non-vuoto. Si può vedere nella figura seguente il comportamento delle misure di chiusura precedenti per l'anno 2007, in cui i dati sono disponibili solo fino al 15 dicembre Invece di funzioni OPENINGCLOSING, si dovrebbe utilizzare la funzione LASTNONBLANK come filtro in una nota calcolare, l'applicazione di un prolungamento del periodo considerato utilizzando la funzione ParallelPeriod. Qui ci sono le definizioni corrispondenti: Quello che segue è il risultato finale con queste misure per l'anno 2007. Il calcolo del filtro potrebbe essere diverso secondo la logica che si desidera implementare, ma il modello di una misura semi-additiva è quello di filtrare una data singola base sulla selezione iniziale di date nel contesto del filtro. Tale logica è di solito in un argomento filtro di una chiamata di funzione calcolare, a meno che una speciale funzione di intelligence in tempo viene utilizzato, nascondendo il calcolo interno che viene sempre applicato su una dichiarazione CALCULATE. È possibile ascoltare spiegare alcuni aspetti delle misure semiadditive nel video DAX Tempo Intelligence. Inviami i prossimi articoli (newsletter). Deselezionare per scaricare gratuitamente il file. Using R per Time Series Analysis Time Series Analysis Questo libretto si itells come utilizzare il software statistico R per effettuare alcune semplici analisi che sono comuni per l'analisi dei dati di serie temporali. Questo libretto presuppone che il lettore abbia una conoscenza di base delle analisi di serie temporali, e il focus principale del libretto non è quello di spiegare l'analisi di serie temporali, ma piuttosto di spiegare come effettuare queste analisi utilizzando R. Se siete nuovi alla serie temporali analisi, e vogliono saperne di più su uno qualsiasi dei concetti presentati qui, vi consiglio vivamente il libro Open University 8220Time series8221 (codice prodotto M24902), disponibile presso dalla Open University shop. In questo opuscolo, userò insiemi di dati di serie temporali che sono stati gentilmente messi a disposizione da Rob Hyndman nella sua biblioteca dati di serie temporali a robjhyndmanTSDL. Se vi piace questo opuscolo, come si può anche controllare il mio libretto di utilizzare R per le statistiche biomediche, a-little-book-of-r-for-biomedical-statistics. readthedocs. org. e il mio libretto di utilizzare R per l'analisi multivariata, little-book-of-r-for-multivariate-analysis. readthedocs. org. Lettura dati di serie storiche La prima cosa che si vuole fare per analizzare i dati di serie storiche sarà di leggerlo in R, e per tracciare le serie storiche. È possibile leggere i dati in R utilizzando la funzione di scansione (), che presuppone che i dati per i punti di tempo successivi è in un semplice file di testo con una colonna. Ad esempio, il file robjhyndmantsdldatamisckings. dat contiene i dati relativi all'età della morte dei re successivi di Inghilterra, a partire Guglielmo il Conquistatore (fonte originale: Hipel e Mcleod, 1994). Il set di dati è simile al seguente: sono stati mostrati solo le prime righe del file. Le prime tre righe contengono qualche commento sui dati, e noi vogliamo ignorare questo quando leggiamo i dati in R. Possiamo usare questo utilizzando il parametro 8220skip8221 della funzione di scansione (), che specifica il numero di righe in cima il file di ignorare. Per leggere il file in R, ignorando le prime tre righe, digitiamo: in questo caso l'età della morte di 42 re successivi di Inghilterra è stato letto nella variabile 8216kings8217. Dopo aver letto i dati di serie temporali in R, il passo successivo è quello di memorizzare i dati in un oggetto serie temporale in R, in modo da poter usare R8217s molte funzioni per l'analisi dei dati di serie temporali. Per memorizzare i dati in un oggetto serie temporale, si usa la funzione ts () in R. Ad esempio, per memorizzare i dati nella variabile 8216kings8217 come oggetto serie temporale in R, digitiamo: a volte i dati di serie temporali set che si sono possono essere stati raccolti ad intervalli regolari, che sono state meno di un anno, per esempio, mensile o trimestrale. In questo caso, è possibile specificare il numero di volte in cui i dati sono stati raccolti per anno utilizzando il parametro 8216frequency8217 nei ts funzione (). Per i dati mensili di serie temporali, è possibile impostare frequency12, mentre per i dati di serie temporali trimestrali, si imposta frequency4. È inoltre possibile specificare il primo anno che i dati sono stati raccolti, e il primo intervallo in quell'anno utilizzando il parametro 8216start8217 nei ts funzione (). Ad esempio, se il primo punto di dati corrisponde al secondo trimestre del 1986, è necessario impostare startc (1986,2). Un esempio è un insieme di dati del numero di nascite al mese in città di New York, da gennaio 1946 al dicembre 1959 (originariamente raccolti da Newton). Questi dati sono disponibili nel file robjhyndmantsdldatadatanybirths. dat Possiamo leggere i dati in R, e conservarla come un oggetto serie temporale, digitando: Allo stesso modo, il file contiene robjhyndmantsdldatadatafancy. dat vendite mensili per un negozio di souvenir in una città balneare in Queensland, in Australia, per il gennaio 1987-dicembre 1993 (dati originali da Wheelwright e Hyndman, 1998). Siamo in grado di leggere i dati in R digitando: Tracciato Time Series Dopo aver letto una serie storica in R, il passo successivo è di solito per fare un grafico dei dati di serie temporali, che si può fare con il plot. ts () funzione in R. ad esempio, per tracciare le serie storiche dell'età della morte di 42 re successivi di Inghilterra, digitiamo: possiamo vedere dalla trama momento che questa serie di tempo potrebbe probabilmente essere descritta utilizzando un modello additivo, dal momento che le fluttuazioni casuali i dati sono più o meno costante in termini di dimensioni nel tempo. Allo stesso modo, per tracciare la serie storica del numero delle nascite al mese in città di New York, digitiamo: Possiamo vedere da questa serie storica che ci sembra essere variazione stagionale nel numero delle nascite al mese: c'è un picco di ogni estate , e un trogolo ogni inverno. Ancora una volta, sembra che questa serie temporale potrebbe probabilmente essere descritta utilizzando un modello additivo, come le variazioni stagionali sono pressoché costante di dimensioni nel tempo e non sembrano dipendere dal livello della serie temporale, e le fluttuazioni casuali sembrano anche essere più o meno costante in termini di dimensioni nel tempo. Allo stesso modo, per tracciare la serie storica delle vendite mensili per il negozio di souvenir in una città balneare nel Queensland, in Australia, digitiamo: in questo caso, sembra che un modello additivo non è appropriato per descrivere questa serie di tempo, dal momento che la dimensione delle fluttuazioni stagionali e le fluttuazioni casuali sembrano aumentare con il livello della serie temporale. Pertanto, potrebbe essere necessario trasformare la serie temporale al fine di ottenere una serie temporale trasformato che può essere descritta utilizzando un modello additivo. Per esempio, possiamo trasformare la serie temporale calcolando il logaritmo naturale dei dati originali: Qui possiamo vedere che la dimensione delle fluttuazioni stagionali e le fluttuazioni casuali nella serie temporale log-trasformata sembrano essere abbastanza costante nel tempo, e fare non dipende dal livello di serie temporale. Così, le serie storiche di log-trasformati probabilmente può essere descritto utilizzando un modello additivo. Decomposizione Serie Time decomposizione una serie temporale significa separa nei suoi componenti costitutivi, che sono di solito un componente tendenza e una componente irregolare, e se si tratta di una serie temporale stagionale, una componente stagionale. Scomponendo i dati non stagionale Una serie temporali non stagionali è costituito da una componente di trend e una componente irregolare. Decomposizione serie temporali comporta cercando di separare la serie temporale in queste componenti, cioè, la stima del componente tendenza e il componente irregolare. Per stimare la componente andamento di una serie temporale non stagionale che può essere descritta utilizzando un modello additivo, è comune utilizzare un metodo di smoothing, come ad esempio il calcolo della media mobile semplice della serie temporale. La funzione SMA () nel pacchetto 8220TTR8221 R può essere utilizzato per lisciare dati di serie temporali utilizzando una media mobile semplice. Per utilizzare questa funzione, abbiamo prima bisogno di installare il pacchetto 8220TTR8221 R (per le istruzioni su come installare un pacchetto R, vedere Come installare un pacchetto R). Once you have installed the 8220TTR8221 R package, you can load the 8220TTR8221 R package by typing: You can then use the 8220SMA()8221 function to smooth time series data. To use the SMA() function, you need to specify the order (span) of the simple moving average, using the parameter 8220n8221. For example, to calculate a simple moving average of order 5, we set n5 in the SMA() function. For example, as discussed above, the time series of the age of death of 42 successive kings of England appears is non-seasonal, and can probably be described using an additive model, since the random fluctuations in the data are roughly constant in size over time: Thus, we can try to estimate the trend component of this time series by smoothing using a simple moving average. To smooth the time series using a simple moving average of order 3, and plot the smoothed time series data, we type: There still appears to be quite a lot of random fluctuations in the time series smoothed using a simple moving average of order 3. Thus, to estimate the trend component more accurately, we might want to try smoothing the data with a simple moving average of a higher order. This takes a little bit of trial-and-error, to find the right amount of smoothing. For example, we can try using a simple moving average of order 8: The data smoothed with a simple moving average of order 8 gives a clearer picture of the trend component, and we can see that the age of death of the English kings seems to have decreased from about 55 years old to about 38 years old during the reign of the first 20 kings, and then increased after that to about 73 years old by the end of the reign of the 40th king in the time series. Decomposing Seasonal Data A seasonal time series consists of a trend component, a seasonal component and an irregular component. Decomposing the time series means separating the time series into these three components: that is, estimating these three components. To estimate the trend component and seasonal component of a seasonal time series that can be described using an additive model, we can use the 8220decompose()8221 function in R. This function estimates the trend, seasonal, and irregular components of a time series that can be described using an additive model. The function 8220decompose()8221 returns a list object as its result, where the estimates of the seasonal component, trend component and irregular component are stored in named elements of that list objects, called 8220seasonal8221, 8220trend8221, and 8220random8221 respectively. For example, as discussed above, the time series of the number of births per month in New York city is seasonal with a peak every summer and trough every winter, and can probably be described using an additive model since the seasonal and random fluctuations seem to be roughly constant in size over time: To estimate the trend, seasonal and irregular components of this time series, we type: The estimated values of the seasonal, trend and irregular components are now stored in variables birthstimeseriescomponentsseasonal, birthstimeseriescomponentstrend and birthstimeseriescomponentsrandom. For example, we can print out the estimated values of the seasonal component by typing: The estimated seasonal factors are given for the months January-December, and are the same for each year. The largest seasonal factor is for July (about 1.46), and the lowest is for February (about -2.08), indicating that there seems to be a peak in births in July and a trough in births in February each year. We can plot the estimated trend, seasonal, and irregular components of the time series by using the 8220plot()8221 function, for example: The plot above shows the original time series (top), the estimated trend component (second from top), the estimated seasonal component (third from top), and the estimated irregular component (bottom). We see that the estimated trend component shows a small decrease from about 24 in 1947 to about 22 in 1948, followed by a steady increase from then on to about 27 in 1959. Seasonally Adjusting If you have a seasonal time series that can be described using an additive model, you can seasonally adjust the time series by estimating the seasonal component, and subtracting the estimated seasonal component from the original time series. We can do this using the estimate of the seasonal component calculated by the 8220decompose()8221 function. For example, to seasonally adjust the time series of the number of births per month in New York city, we can estimate the seasonal component using 8220decompose()8221, and then subtract the seasonal component from the original time series: We can then plot the seasonally adjusted time series using the 8220plot()8221 function, by typing: You can see that the seasonal variation has been removed from the seasonally adjusted time series. The seasonally adjusted time series now just contains the trend component and an irregular component. Forecasts using Exponential Smoothing Exponential smoothing can be used to make short-term forecasts for time series data. Simple Exponential Smoothing If you have a time series that can be described using an additive model with constant level and no seasonality, you can use simple exponential smoothing to make short-term forecasts. The simple exponential smoothing method provides a way of estimating the level at the current time point. Smoothing is controlled by the parameter alpha for the estimate of the level at the current time point. The value of alpha lies between 0 and 1. Values of alpha that are close to 0 mean that little weight is placed on the most recent observations when making forecasts of future values. For example, the file robjhyndmantsdldatahurstprecip1.dat contains total annual rainfall in inches for London, from 1813-1912 (original data from Hipel and McLeod, 1994). We can read the data into R and plot it by typing: You can see from the plot that there is roughly constant level (the mean stays constant at about 25 inches). The random fluctuations in the time series seem to be roughly constant in size over time, so it is probably appropriate to describe the data using an additive model. Thus, we can make forecasts using simple exponential smoothing. To make forecasts using simple exponential smoothing in R, we can fit a simple exponential smoothing predictive model using the 8220HoltWinters()8221 function in R. To use HoltWinters() for simple exponential smoothing, we need to set the parameters betaFALSE and gammaFALSE in the HoltWinters() function (the beta and gamma parameters are used for Holt8217s exponential smoothing, or Holt-Winters exponential smoothing, as described below). The HoltWinters() function returns a list variable, that contains several named elements. For example, to use simple exponential smoothing to make forecasts for the time series of annual rainfall in London, we type: The output of HoltWinters() tells us that the estimated value of the alpha parameter is about 0.024. This is very close to zero, telling us that the forecasts are based on both recent and less recent observations (although somewhat more weight is placed on recent observations). By default, HoltWinters() just makes forecasts for the same time period covered by our original time series. In this case, our original time series included rainfall for London from 1813-1912, so the forecasts are also for 1813-1912. In the example above, we have stored the output of the HoltWinters() function in the list variable 8220rainseriesforecasts8221. The forecasts made by HoltWinters() are stored in a named element of this list variable called 8220fitted8221, so we can get their values by typing: We can plot the original time series against the forecasts by typing: The plot shows the original time series in black, and the forecasts as a red line. The time series of forecasts is much smoother than the time series of the original data here. As a measure of the accuracy of the forecasts, we can calculate the sum of squared errors for the in-sample forecast errors, that is, the forecast errors for the time period covered by our original time series. The sum-of-squared-errors is stored in a named element of the list variable 8220rainseriesforecasts8221 called 8220SSE8221, so we can get its value by typing: That is, here the sum-of-squared-errors is 1828.855. It is common in simple exponential smoothing to use the first value in the time series as the initial value for the level. For example, in the time series for rainfall in London, the first value is 23.56 (inches) for rainfall in 1813. You can specify the initial value for the level in the HoltWinters() function by using the 8220l. start8221 parameter. For example, to make forecasts with the initial value of the level set to 23.56, we type: As explained above, by default HoltWinters() just makes forecasts for the time period covered by the original data, which is 1813-1912 for the rainfall time series. We can make forecasts for further time points by using the 8220forecast. HoltWinters()8221 function in the R 8220forecast8221 package. To use the forecast. HoltWinters() function, we first need to install the 8220forecast8221 R package (for instructions on how to install an R package, see How to install an R package ). Once you have installed the 8220forecast8221 R package, you can load the 8220forecast8221 R package by typing: When using the forecast. HoltWinters() function, as its first argument (input), you pass it the predictive model that you have already fitted using the HoltWinters() function. For example, in the case of the rainfall time series, we stored the predictive model made using HoltWinters() in the variable 8220rainseriesforecasts8221. You specify how many further time points you want to make forecasts for by using the 8220h8221 parameter in forecast. HoltWinters(). For example, to make a forecast of rainfall for the years 1814-1820 (8 more years) using forecast. HoltWinters(), we type: The forecast. HoltWinters() function gives you the forecast for a year, a 80 prediction interval for the forecast, and a 95 prediction interval for the forecast. For example, the forecasted rainfall for 1920 is about 24.68 inches, with a 95 prediction interval of (16.24, 33.11). To plot the predictions made by forecast. HoltWinters(), we can use the 8220plot. forecast()8221 function: Here the forecasts for 1913-1920 are plotted as a blue line, the 80 prediction interval as an orange shaded area, and the 95 prediction interval as a yellow shaded area. The 8216forecast errors8217 are calculated as the observed values minus predicted values, for each time point. We can only calculate the forecast errors for the time period covered by our original time series, which is 1813-1912 for the rainfall data. As mentioned above, one measure of the accuracy of the predictive model is the sum-of-squared-errors (SSE) for the in-sample forecast errors. The in-sample forecast errors are stored in the named element 8220residuals8221 of the list variable returned by forecast. HoltWinters(). If the predictive model cannot be improved upon, there should be no correlations between forecast errors for successive predictions. In other words, if there are correlations between forecast errors for successive predictions, it is likely that the simple exponential smoothing forecasts could be improved upon by another forecasting technique. To figure out whether this is the case, we can obtain a correlogram of the in-sample forecast errors for lags 1-20. We can calculate a correlogram of the forecast errors using the 8220acf()8221 function in R. To specify the maximum lag that we want to look at, we use the 8220lag. max8221 parameter in acf(). For example, to calculate a correlogram of the in-sample forecast errors for the London rainfall data for lags 1-20, we type: You can see from the sample correlogram that the autocorrelation at lag 3 is just touching the significance bounds. To test whether there is significant evidence for non-zero correlations at lags 1-20, we can carry out a Ljung-Box test. This can be done in R using the 8220Box. test()8221, function. The maximum lag that we want to look at is specified using the 8220lag8221 parameter in the Box. test() function. For example, to test whether there are non-zero autocorrelations at lags 1-20, for the in-sample forecast errors for London rainfall data, we type: Here the Ljung-Box test statistic is 17.4, and the p-value is 0.6, so there is little evidence of non-zero autocorrelations in the in-sample forecast errors at lags 1-20. To be sure that the predictive model cannot be improved upon, it is also a good idea to check whether the forecast errors are normally distributed with mean zero and constant variance. To check whether the forecast errors have constant variance, we can make a time plot of the in-sample forecast errors: The plot shows that the in-sample forecast errors seem to have roughly constant variance over time, although the size of the fluctuations in the start of the time series (1820-1830) may be slightly less than that at later dates (eg. 1840-1850). To check whether the forecast errors are normally distributed with mean zero, we can plot a histogram of the forecast errors, with an overlaid normal curve that has mean zero and the same standard deviation as the distribution of forecast errors. To do this, we can define an R function 8220plotForecastErrors()8221, below: You will have to copy the function above into R in order to use it. You can then use plotForecastErrors() to plot a histogram (with overlaid normal curve) of the forecast errors for the rainfall predictions: The plot shows that the distribution of forecast errors is roughly centred on zero, and is more or less normally distributed, although it seems to be slightly skewed to the right compared to a normal curve. However, the right skew is relatively small, and so it is plausible that the forecast errors are normally distributed with mean zero. The Ljung-Box test showed that there is little evidence of non-zero autocorrelations in the in-sample forecast errors, and the distribution of forecast errors seems to be normally distributed with mean zero. This suggests that the simple exponential smoothing method provides an adequate predictive model for London rainfall, which probably cannot be improved upon. Furthermore, the assumptions that the 80 and 95 predictions intervals were based upon (that there are no autocorrelations in the forecast errors, and the forecast errors are normally distributed with mean zero and constant variance) are probably valid. Holt8217s Exponential Smoothing If you have a time series that can be described using an additive model with increasing or decreasing trend and no seasonality, you can use Holt8217s exponential smoothing to make short-term forecasts. Holt8217s exponential smoothing estimates the level and slope at the current time point. Smoothing is controlled by two parameters, alpha, for the estimate of the level at the current time point, and beta for the estimate of the slope b of the trend component at the current time point. As with simple exponential smoothing, the paramters alpha and beta have values between 0 and 1, and values that are close to 0 mean that little weight is placed on the most recent observations when making forecasts of future values. An example of a time series that can probably be described using an additive model with a trend and no seasonality is the time series of the annual diameter of women8217s skirts at the hem, from 1866 to 1911. The data is available in the file robjhyndmantsdldatarobertsskirts. dat (original data from Hipel and McLeod, 1994). We can read in and plot the data in R by typing: We can see from the plot that there was an increase in hem diameter from about 600 in 1866 to about 1050 in 1880, and that afterwards the hem diameter decreased to about 520 in 1911. To make forecasts, we can fit a predictive model using the HoltWinters() function in R. To use HoltWinters() for Holt8217s exponential smoothing, we need to set the parameter gammaFALSE (the gamma parameter is used for Holt-Winters exponential smoothing, as described below). For example, to use Holt8217s exponential smoothing to fit a predictive model for skirt hem diameter, we type: The estimated value of alpha is 0.84, and of beta is 1.00. These are both high, telling us that both the estimate of the current value of the level, and of the slope b of the trend component, are based mostly upon very recent observations in the time series. This makes good intuitive sense, since the level and the slope of the time series both change quite a lot over time. The value of the sum-of-squared-errors for the in-sample forecast errors is 16954. We can plot the original time series as a black line, with the forecasted values as a red line on top of that, by typing: We can see from the picture that the in-sample forecasts agree pretty well with the observed values, although they tend to lag behind the observed values a little bit. If you wish, you can specify the initial values of the level and the slope b of the trend component by using the 8220l. start8221 and 8220b. start8221 arguments for the HoltWinters() function. It is common to set the initial value of the level to the first value in the time series (608 for the skirts data), and the initial value of the slope to the second value minus the first value (9 for the skirts data). For example, to fit a predictive model to the skirt hem data using Holt8217s exponential smoothing, with initial values of 608 for the level and 9 for the slope b of the trend component, we type: As for simple exponential smoothing, we can make forecasts for future times not covered by the original time series by using the forecast. HoltWinters() function in the 8220forecast8221 package. For example, our time series data for skirt hems was for 1866 to 1911, so we can make predictions for 1912 to 1930 (19 more data points), and plot them, by typing: The forecasts are shown as a blue line, with the 80 prediction intervals as an orange shaded area, and the 95 prediction intervals as a yellow shaded area. As for simple exponential smoothing, we can check whether the predictive model could be improved upon by checking whether the in-sample forecast errors show non-zero autocorrelations at lags 1-20. For example, for the skirt hem data, we can make a correlogram, and carry out the Ljung-Box test, by typing: Here the correlogram shows that the sample autocorrelation for the in-sample forecast errors at lag 5 exceeds the significance bounds. However, we would expect one in 20 of the autocorrelations for the first twenty lags to exceed the 95 significance bounds by chance alone. Indeed, when we carry out the Ljung-Box test, the p-value is 0.47, indicating that there is little evidence of non-zero autocorrelations in the in-sample forecast errors at lags 1-20. As for simple exponential smoothing, we should also check that the forecast errors have constant variance over time, and are normally distributed with mean zero. We can do this by making a time plot of forecast errors, and a histogram of the distribution of forecast errors with an overlaid normal curve: The time plot of forecast errors shows that the forecast errors have roughly constant variance over time. The histogram of forecast errors show that it is plausible that the forecast errors are normally distributed with mean zero and constant variance. Thus, the Ljung-Box test shows that there is little evidence of autocorrelations in the forecast errors, while the time plot and histogram of forecast errors show that it is plausible that the forecast errors are normally distributed with mean zero and constant variance. Therefore, we can conclude that Holt8217s exponential smoothing provides an adequate predictive model for skirt hem diameters, which probably cannot be improved upon. In addition, it means that the assumptions that the 80 and 95 predictions intervals were based upon are probably valid. Holt-Winters Exponential Smoothing If you have a time series that can be described using an additive model with increasing or decreasing trend and seasonality, you can use Holt-Winters exponential smoothing to make short-term forecasts. Holt-Winters exponential smoothing estimates the level, slope and seasonal component at the current time point. Smoothing is controlled by three parameters: alpha, beta, and gamma, for the estimates of the level, slope b of the trend component, and the seasonal component, respectively, at the current time point. The parameters alpha, beta and gamma all have values between 0 and 1, and values that are close to 0 mean that relatively little weight is placed on the most recent observations when making forecasts of future values. An example of a time series that can probably be described using an additive model with a trend and seasonality is the time series of the log of monthly sales for the souvenir shop at a beach resort town in Queensland, Australia (discussed above): To make forecasts, we can fit a predictive model using the HoltWinters() function. For example, to fit a predictive model for the log of the monthly sales in the souvenir shop, we type: The estimated values of alpha, beta and gamma are 0.41, 0.00, and 0.96, respectively. The value of alpha (0.41) is relatively low, indicating that the estimate of the level at the current time point is based upon both recent observations and some observations in the more distant past. The value of beta is 0.00, indicating that the estimate of the slope b of the trend component is not updated over the time series, and instead is set equal to its initial value. This makes good intuitive sense, as the level changes quite a bit over the time series, but the slope b of the trend component remains roughly the same. In contrast, the value of gamma (0.96) is high, indicating that the estimate of the seasonal component at the current time point is just based upon very recent observations. As for simple exponential smoothing and Holt8217s exponential smoothing, we can plot the original time series as a black line, with the forecasted values as a red line on top of that: We see from the plot that the Holt-Winters exponential method is very successful in predicting the seasonal peaks, which occur roughly in November every year. To make forecasts for future times not included in the original time series, we use the 8220forecast. HoltWinters()8221 function in the 8220forecast8221 package. For example, the original data for the souvenir sales is from January 1987 to December 1993. If we wanted to make forecasts for January 1994 to December 1998 (48 more months), and plot the forecasts, we would type: The forecasts are shown as a blue line, and the orange and yellow shaded areas show 80 and 95 prediction intervals, respectively. We can investigate whether the predictive model can be improved upon by checking whether the in-sample forecast errors show non-zero autocorrelations at lags 1-20, by making a correlogram and carrying out the Ljung-Box test: The correlogram shows that the autocorrelations for the in-sample forecast errors do not exceed the significance bounds for lags 1-20. Furthermore, the p-value for Ljung-Box test is 0.6, indicating that there is little evidence of non-zero autocorrelations at lags 1-20. We can check whether the forecast errors have constant variance over time, and are normally distributed with mean zero, by making a time plot of the forecast errors and a histogram (with overlaid normal curve): From the time plot, it appears plausible that the forecast errors have constant variance over time. From the histogram of forecast errors, it seems plausible that the forecast errors are normally distributed with mean zero. Thus, there is little evidence of autocorrelation at lags 1-20 for the forecast errors, and the forecast errors appear to be normally distributed with mean zero and constant variance over time. This suggests that Holt-Winters exponential smoothing provides an adequate predictive model of the log of sales at the souvenir shop, which probably cannot be improved upon. Furthermore, the assumptions upon which the prediction intervals were based are probably valid. ARIMA Models Exponential smoothing methods are useful for making forecasts, and make no assumptions about the correlations between successive values of the time series. However, if you want to make prediction intervals for forecasts made using exponential smoothing methods, the prediction intervals require that the forecast errors are uncorrelated and are normally distributed with mean zero and constant variance. While exponential smoothing methods do not make any assumptions about correlations between successive values of the time series, in some cases you can make a better predictive model by taking correlations in the data into account. Autoregressive Integrated Moving Average (ARIMA) models include an explicit statistical model for the irregular component of a time series, that allows for non-zero autocorrelations in the irregular component. Differencing a Time Series ARIMA models are defined for stationary time series. Therefore, if you start off with a non-stationary time series, you will first need to 8216difference8217 the time series until you obtain a stationary time series. If you have to difference the time series d times to obtain a stationary series, then you have an ARIMA(p, d,q) model, where d is the order of differencing used. You can difference a time series using the 8220diff()8221 function in R. For example, the time series of the annual diameter of women8217s skirts at the hem, from 1866 to 1911 is not stationary in mean, as the level changes a lot over time: We can difference the time series (which we stored in 8220skirtsseries8221, see above) once, and plot the differenced series, by typing: The resulting time series of first differences (above) does not appear to be stationary in mean. Therefore, we can difference the time series twice, to see if that gives us a stationary time series: Formal tests for stationarity Formal tests for stationarity called 8220unit root tests8221 are available in the fUnitRoots package, available on CRAN, but will not be discussed here. The time series of second differences (above) does appear to be stationary in mean and variance, as the level of the series stays roughly constant over time, and the variance of the series appears roughly constant over time. Thus, it appears that we need to difference the time series of the diameter of skirts twice in order to achieve a stationary series. If you need to difference your original time series data d times in order to obtain a stationary time series, this means that you can use an ARIMA(p, d,q) model for your time series, where d is the order of differencing used. For example, for the time series of the diameter of women8217s skirts, we had to difference the time series twice, and so the order of differencing (d) is 2. This means that you can use an ARIMA(p,2,q) model for your time series. The next step is to figure out the values of p and q for the ARIMA model. Another example is the time series of the age of death of the successive kings of England (see above): From the time plot (above), we can see that the time series is not stationary in mean. To calculate the time series of first differences, and plot it, we type: The time series of first differences appears to be stationary in mean and variance, and so an ARIMA(p,1,q) model is probably appropriate for the time series of the age of death of the kings of England. By taking the time series of first differences, we have removed the trend component of the time series of the ages at death of the kings, and are left with an irregular component. We can now examine whether there are correlations between successive terms of this irregular component if so, this could help us to make a predictive model for the ages at death of the kings. Selecting a Candidate ARIMA Model If your time series is stationary, or if you have transformed it to a stationary time series by differencing d times, the next step is to select the appropriate ARIMA model, which means finding the values of most appropriate values of p and q for an ARIMA(p, d,q) model. To do this, you usually need to examine the correlogram and partial correlogram of the stationary time series. To plot a correlogram and partial correlogram, we can use the 8220acf()8221 and 8220pacf()8221 functions in R, respectively. To get the actual values of the autocorrelations and partial autocorrelations, we set 8220plotFALSE8221 in the 8220acf()8221 and 8220pacf()8221 functions. Example of the Ages at Death of the Kings of England For example, to plot the correlogram for lags 1-20 of the once differenced time series of the ages at death of the kings of England, and to get the values of the autocorrelations, we type: We see from the correlogram that the autocorrelation at lag 1 (-0.360) exceeds the significance bounds, but all other autocorrelations between lags 1-20 do not exceed the significance bounds. To plot the partial correlogram for lags 1-20 for the once differenced time series of the ages at death of the English kings, and get the values of the partial autocorrelations, we use the 8220pacf()8221 function, by typing: The partial correlogram shows that the partial autocorrelations at lags 1, 2 and 3 exceed the significance bounds, are negative, and are slowly decreasing in magnitude with increasing lag (lag 1: -0.360, lag 2: -0.335, lag 3:-0.321). The partial autocorrelations tail off to zero after lag 3. Since the correlogram is zero after lag 1, and the partial correlogram tails off to zero after lag 3, this means that the following ARMA (autoregressive moving average) models are possible for the time series of first differences: an ARMA(3,0) model, that is, an autoregressive model of order p3, since the partial autocorrelogram is zero after lag 3, and the autocorrelogram tails off to zero (although perhaps too abruptly for this model to be appropriate) an ARMA(0,1) model, that is, a moving average model of order q1, since the autocorrelogram is zero after lag 1 and the partial autocorrelogram tails off to zero an ARMA(p, q) model, that is, a mixed model with p and q greater than 0, since the autocorrelogram and partial correlogram tail off to zero (although the correlogram probably tails off to zero too abruptly for this model to be appropriate) We use the principle of parsimony to decide which model is best: that is, we assume that the model with the fewest parameters is best. The ARMA(3,0) model has 3 parameters, the ARMA(0,1) model has 1 parameter, and the ARMA(p, q) model has at least 2 parameters. Therefore, the ARMA(0,1) model is taken as the best model. An ARMA(0,1) model is a moving average model of order 1, or MA(1) model. This model can be written as: Xt - mu Zt - (theta Zt-1), where Xt is the stationary time series we are studying (the first differenced series of ages at death of English kings), mu is the mean of time series Xt, Zt is white noise with mean zero and constant variance, and theta is a parameter that can be estimated. A MA (moving average) model is usually used to model a time series that shows short-term dependencies between successive observations. Intuitively, it makes good sense that a MA model can be used to describe the irregular component in the time series of ages at death of English kings, as we might expect the age at death of a particular English king to have some effect on the ages at death of the next king or two, but not much effect on the ages at death of kings that reign much longer after that. Shortcut: the auto. arima() function The auto. arima() function can be used to find the appropriate ARIMA model, eg. type 8220library(forecast)8221, then 8220auto. arima(kings)8221. The output says an appropriate model is ARIMA(0,1,1). Since an ARMA(0,1) model (with p0, q1) is taken to be the best candidate model for the time series of first differences of the ages at death of English kings, then the original time series of the ages of death can be modelled using an ARIMA(0,1,1) model (with p0, d1, q1, where d is the order of differencing required). Example of the Volcanic Dust Veil in the Northern Hemisphere Let8217s take another example of selecting an appropriate ARIMA model. The file file robjhyndmantsdldataannualdvi. dat contains data on the volcanic dust veil index in the northern hemisphere, from 1500-1969 (original data from Hipel and Mcleod, 1994). This is a measure of the impact of volcanic eruptions8217 release of dust and aerosols into the environment. We can read it into R and make a time plot by typing: From the time plot, it appears that the random fluctuations in the time series are roughly constant in size over time, so an additive model is probably appropriate for describing this time series. Furthermore, the time series appears to be stationary in mean and variance, as its level and variance appear to be roughly constant over time. Therefore, we do not need to difference this series in order to fit an ARIMA model, but can fit an ARIMA model to the original series (the order of differencing required, d, is zero here). We can now plot a correlogram and partial correlogram for lags 1-20 to investigate what ARIMA model to use: We see from the correlogram that the autocorrelations for lags 1, 2 and 3 exceed the significance bounds, and that the autocorrelations tail off to zero after lag 3. The autocorrelations for lags 1, 2, 3 are positive, and decrease in magnitude with increasing lag (lag 1: 0.666, lag 2: 0.374, lag 3: 0.162). The autocorrelation for lags 19 and 20 exceed the significance bounds too, but it is likely that this is due to chance, since they just exceed the significance bounds (especially for lag 19), the autocorrelations for lags 4-18 do not exceed the signifiance bounds, and we would expect 1 in 20 lags to exceed the 95 significance bounds by chance alone. From the partial autocorrelogram, we see that the partial autocorrelation at lag 1 is positive and exceeds the significance bounds (0.666), while the partial autocorrelation at lag 2 is negative and also exceeds the significance bounds (-0.126). The partial autocorrelations tail off to zero after lag 2. Since the correlogram tails off to zero after lag 3, and the partial correlogram is zero after lag 2, the following ARMA models are possible for the time series: an ARMA(2,0) model, since the partial autocorrelogram is zero after lag 2, and the correlogram tails off to zero after lag 3, and the partial correlogram is zero after lag 2 an ARMA(0,3) model, since the autocorrelogram is zero after lag 3, and the partial correlogram tails off to zero (although perhaps too abruptly for this model to be appropriate) an ARMA(p, q) mixed model, since the correlogram and partial correlogram tail off to zero (although the partial correlogram perhaps tails off too abruptly for this model to be appropriate) Shortcut: the auto. arima() function Again, we can use auto. arima() to find an appropriate model, by typing 8220auto. arima(volcanodust)8221, which gives us ARIMA(1,0,2), which has 3 parameters. However, different criteria can be used to select a model (see auto. arima() help page). If we use the 8220bic8221 criterion, which penalises the number of parameters, we get ARIMA(2,0,0), which is ARMA(2,0): 8220auto. arima(volcanodust, ic8221bic8221)8221. The ARMA(2,0) model has 2 parameters, the ARMA(0,3) model has 3 parameters, and the ARMA(p, q) model has at least 2 parameters. Therefore, using the principle of parsimony, the ARMA(2,0) model and ARMA(p, q) model are equally good candidate models. An ARMA(2,0) model is an autoregressive model of order 2, or AR(2) model. This model can be written as: Xt - mu (Beta1 (Xt-1 - mu)) (Beta2 (Xt-2 - mu)) Zt, where Xt is the stationary time series we are studying (the time series of volcanic dust veil index), mu is the mean of time series Xt, Beta1 and Beta2 are parameters to be estimated, and Zt is white noise with mean zero and constant variance. An AR (autoregressive) model is usually used to model a time series which shows longer term dependencies between successive observations. Intuitively, it makes sense that an AR model could be used to describe the time series of volcanic dust veil index, as we would expect volcanic dust and aerosol levels in one year to affect those in much later years, since the dust and aerosols are unlikely to disappear quickly. If an ARMA(2,0) model (with p2, q0) is used to model the time series of volcanic dust veil index, it would mean that an ARIMA(2,0,0) model can be used (with p2, d0, q0, where d is the order of differencing required). Similarly, if an ARMA(p, q) mixed model is used, where p and q are both greater than zero, than an ARIMA(p,0,q) model can be used. Forecasting Using an ARIMA Model Once you have selected the best candidate ARIMA(p, d,q) model for your time series data, you can estimate the parameters of that ARIMA model, and use that as a predictive model for making forecasts for future values of your time series. You can estimate the parameters of an ARIMA(p, d,q) model using the 8220arima()8221 function in R. Example of the Ages at Death of the Kings of England For example, we discussed above that an ARIMA(0,1,1) model seems a plausible model for the ages at deaths of the kings of England. You can specify the values of p, d and q in the ARIMA model by using the 8220order8221 argument of the 8220arima()8221 function in R. To fit an ARIMA(p, d,q) model to this time series (which we stored in the variable 8220kingstimeseries8221, see above), we type: As mentioned above, if we are fitting an ARIMA(0,1,1) model to our time series, it means we are fitting an an ARMA(0,1) model to the time series of first differences. An ARMA(0,1) model can be written Xt - mu Zt - (theta Zt-1), where theta is a parameter to be estimated. From the output of the 8220arima()8221 R function (above), the estimated value of theta (given as 8216ma18217 in the R output) is -0.7218 in the case of the ARIMA(0,1,1) model fitted to the time series of ages at death of kings. Specifying the confidence level for prediction intervals You can specify the confidence level for prediction intervals in forecast. Arima() by using the 8220level8221 argument. For example, to get a 99.5 prediction interval, we would type 8220forecast. Arima(kingstimeseriesarima, h5, levelc(99.5))8221. We can then use the ARIMA model to make forecasts for future values of the time series, using the 8220forecast. Arima()8221 function in the 8220forecast8221 R package. For example, to forecast the ages at death of the next five English kings, we type: The original time series for the English kings includes the ages at death of 42 English kings. The forecast. Arima() function gives us a forecast of the age of death of the next five English kings (kings 43-47), as well as 80 and 95 prediction intervals for those predictions. The age of death of the 42nd English king was 56 years (the last observed value in our time series), and the ARIMA model gives the forecasted age at death of the next five kings as 67.8 years. We can plot the observed ages of death for the first 42 kings, as well as the ages that would be predicted for these 42 kings and for the next 5 kings using our ARIMA(0,1,1) model, by typing: As in the case of exponential smoothing models, it is a good idea to investigate whether the forecast errors of an ARIMA model are normally distributed with mean zero and constant variance, and whether the are correlations between successive forecast errors. For example, we can make a correlogram of the forecast errors for our ARIMA(0,1,1) model for the ages at death of kings, and perform the Ljung-Box test for lags 1-20, by typing: Since the correlogram shows that none of the sample autocorrelations for lags 1-20 exceed the significance bounds, and the p-value for the Ljung-Box test is 0.9, we can conclude that there is very little evidence for non-zero autocorrelations in the forecast errors at lags 1-20. To investigate whether the forecast errors are normally distributed with mean zero and constant variance, we can make a time plot and histogram (with overlaid normal curve) of the forecast errors: The time plot of the in-sample forecast errors shows that the variance of the forecast errors seems to be roughly constant over time (though perhaps there is slightly higher variance for the second half of the time series). The histogram of the time series shows that the forecast errors are roughly normally distributed and the mean seems to be close to zero. Therefore, it is plausible that the forecast errors are normally distributed with mean zero and constant variance. Since successive forecast errors do not seem to be correlated, and the forecast errors seem to be normally distributed with mean zero and constant variance, the ARIMA(0,1,1) does seem to provide an adequate predictive model for the ages at death of English kings. Example of the Volcanic Dust Veil in the Northern Hemisphere We discussed above that an appropriate ARIMA model for the time series of volcanic dust veil index may be an ARIMA(2,0,0) model. To fit an ARIMA(2,0,0) model to this time series, we can type: As mentioned above, an ARIMA(2,0,0) model can be written as: written as: Xt - mu (Beta1 (Xt-1 - mu)) (Beta2 (Xt-2 - mu)) Zt, where Beta1 and Beta2 are parameters to be estimated. The output of the arima() function tells us that Beta1 and Beta2 are estimated as 0.7533 and -0.1268 here (given as ar1 and ar2 in the output of arima()). Now we have fitted the ARIMA(2,0,0) model, we can use the 8220forecast. ARIMA()8221 model to predict future values of the volcanic dust veil index. The original data includes the years 1500-1969. To make predictions for the years 1970-2000 (31 more years), we type: We can plot the original time series, and the forecasted values, by typing: One worrying thing is that the model has predicted negative values for the volcanic dust veil index, but this variable can only have positive values The reason is that the arima() and forecast. Arima() functions don8217t know that the variable can only take positive values. Clearly, this is not a very desirable feature of our current predictive model. Again, we should investigate whether the forecast errors seem to be correlated, and whether they are normally distributed with mean zero and constant variance. To check for correlations between successive forecast errors, we can make a correlogram and use the Ljung-Box test: The correlogram shows that the sample autocorrelation at lag 20 exceeds the significance bounds. However, this is probably due to chance, since we would expect one out of 20 sample autocorrelations to exceed the 95 significance bounds. Furthermore, the p-value for the Ljung-Box test is 0.2, indicating that there is little evidence for non-zero autocorrelations in the forecast errors for lags 1-20. To check whether the forecast errors are normally distributed with mean zero and constant variance, we make a time plot of the forecast errors, and a histogram: The time plot of forecast errors shows that the forecast errors seem to have roughly constant variance over time. However, the time series of forecast errors seems to have a negative mean, rather than a zero mean. We can confirm this by calculating the mean forecast error, which turns out to be about -0.22: The histogram of forecast errors (above) shows that although the mean value of the forecast errors is negative, the distribution of forecast errors is skewed to the right compared to a normal curve. Therefore, it seems that we cannot comfortably conclude that the forecast errors are normally distributed with mean zero and constant variance Thus, it is likely that our ARIMA(2,0,0) model for the time series of volcanic dust veil index is not the best model that we could make, and could almost definitely be improved upon Links and Further Reading Here are some links for further reading. For a more in-depth introduction to R, a good online tutorial is available on the 8220Kickstarting R8221 website, cran. r-project. orgdoccontribLemon-kickstart . There is another nice (slightly more in-depth) tutorial to R available on the 8220Introduction to R8221 website, cran. r-project. orgdocmanualsR-intro. html . You can find a list of R packages for analysing time series data on the CRAN Time Series Task View webpage . To learn about time series analysis, I would highly recommend the book 8220Time series8221 (product code M24902) by the Open University, available from the Open University Shop . There are two books available in the 8220Use R8221 series on using R for time series analyses, the first is Introductory Time Series with R by Cowpertwait and Metcalfe, and the second is Analysis of Integrated and Cointegrated Time Series with R by Pfaff. Acknowledgements I am grateful to Professor Rob Hyndman. for kindly allowing me to use the time series data sets from his Time Series Data Library (TSDL) in the examples in this booklet. Many of the examples in this booklet are inspired by examples in the excellent Open University book, 8220Time series8221 (product code M24902), available from the Open University Shop . Thank you to Ravi Aranke for bringing auto. arima() to my attention, and Maurice Omane-Adjepong for bringing unit root tests to my attention, and Christian Seubert for noticing a small bug in plotForecastErrors(). Thank you for other comments to Antoine Binard and Bill Johnston. I will be grateful if you will send me (Avril Coghlan) corrections or suggestions for improvements to my email address alc 64 sanger 46 ac 46 uk
No comments:
Post a Comment