Metodologie di analisi dei dati

5.6 Metodologie di analisi dei dati

  La finalità principale delle ricerche sulle nuove tecnologie in ambito educativo è quello di migliorare la qualità del processo di insegnamentoapprendimento (Gallego, 2010). In particolare, l’applicazione dell’approccio CSCL richiede nuovi strumenti teorici e pratici per analizzare e valutare i processi di apprendimento (Martínez et al., 2006). Questo vale a maggior ragione, quando si parla di teoria della Costruzione di Conoscenza; in questo caso può essere utile fornire a tutor e docenti indicazioni utili sui diversi aspetti della valutazione, che comprendano sia un livello individuale, che uno gruppale (Chan, van Aalst, 2004), al fine di migliorare le pratiche discorsive (Sha, van Aalst, 2003) ed intervenire, laddove

  ce ne fosse bisogno, per migliorare la partecipazione attiva (Mazzoni, 2005), in modo da supportare al meglio la costruzione di conoscenza. Considerato che la conoscenza è un prodotto mediato socialmente e che la costruzione di conoscenza è un processo collaborativo, che presuppone l’interazione ed il confronto tra gli attori (Stahl, 2006), nonchè un coinvolgimento e una presa di responsabilità nei confronti del gruppo, è necessario, dunque, trovare delle modalità che non trascurino l’aspetto sociale del processo, ma anzi, lo enfatizzino. Gli insegnanti spesso non sono in grado di sviluppare adeguati strumenti concettuali che aiutino il processo di valutazione del discorso nella sua progressione (Sha, van Aalst, 2003), per questo è necessario, sia fornire mezzi che supportino gli insegnanti nel processo di valutazione delle attività collaborative degli studenti (Dimitracopoulou, 2005), sia implementare modalità di valutazione che aiutino docenti e studenti a riflettere sul discorso finalizzato alla costruzione di conoscenza, al fine di comprendere a che punto si è nella progressione del processo e quali sono i successivi passi da compiere o eventuali modifiche da apportare.

5.6.1 L’analisi del contenuto

  Una delle prime definizioni di analisi del contenuto è quella data da Berelson nel 1952, e recita: “L’analisi del contenuto è una tecnica di ricerca per la descrizione obiettiva, sistematica e quantitativa del contenuto manifesto della comunicazione” (ed. 1971, pp. 18). Tale definizione, seppure superata, ha il pregio di mettere in evidenza un elemento che caratterizza questa tecnica, cioè il ‘che cosa è comunicato’, quindi l’oggetto specifico della comunicazione. A partire dagli anni ’60 però, molte cose sono cambiate e il panorama si è articolato a tal punto che ormai si parla di un insieme di tecniche di ricerca. Queste tecniche consistono nella scomposizione dei messaggi in elementi più semplici di cui è possibile rilevare l’occorrenza dopo aver codificato i dati attraverso una griglia di categorie di analisi (Ghiglione, 1980). Franco Rositi, uno degli studiosi ai quali si deve l’introduzione dell’analisi del contenuto in Italia, suggerisce di pensare all’analisi del contenuto come: “ad un insieme di metodi orientati al controllo di determinate ipotesi su fatti di comunicazione, come emittenti, messaggi, destinatari e le loro relazioni, che a tale scopo, utilizzano procedure di scomposizione analitica e di classificazione di testi e altri insiemi simbolici.” (Rositi, 1988, p. 66) Stante questa definizione è, quindi, possibile considerare il campo di analisi del contenuto come virtualmente illimitato. In particolare, però, l’analisi del contenuto risulta utile, e forse unica strategia di ricerca ragionevolmente applicabile, quando l’oggetto di analisi è una grande quantità di messaggi di varia natura. Vi sono, tuttavia, questioni riguardanti il metodo che non devono essere tralasciate, ma che devono essere affrontate in modo adeguato perché investono tutta la ricerca sociale. Tali questioni riguardano la selezione del materiale da esaminare, la modalità di costruzione e utilizzazione dei procedimenti di analisi, l’attendibilità di tali procedimenti e di conseguenza la legittimità delle inferenze che è possibile trarre (Losito, 1993). Vediamole in dettaglio.

  Come già anticipato nella definizione data da Rositi, l’analisi del contenuto consiste essenzialmente in una scomposizione dell’unità comunicativa che si vuole analizzare in elementi più semplici. Tale scomposizione deve avvenire in modo sistematico, utilizzando cioè criteri espliciti e standardizzati, da applicare all’intero testo; successivamente, gli elementi individuati sono classificabili in sistemi di categorie che possono essere eventualmente sottoposti ad analisi statistiche di vario tipo. Nell’effettuare un’analisi del contenuto è dunque necessario prendere delle decisioni in merito:

  • alla selezione delle unità comunicative da analizzare (campionamento); • all’importanza da attribuire agli elementi esterni della comunicazione; • alla scelta del livello di scomposizione; • alla creazione del sistema di categorie per la classificazione (Giovannini,

  1998). In particolar modo è utile soffermarsi sulla scomposizione delle unità comunicative da analizzare e sulla loro classificazione. All’interno dell’unità di contesto, ovvero il campo di comunicazione che l’analista deve considerare per effettuare la classificazione, vanno scelti i ‘recording units’, ovvero le unità di classificazione, che possono essere selezionate in base a differenti criteri. Ad esempio, l’unità di classificazione tipica è la singola parola e quindi le unità di classificazione coincidono con gli elementi “significanti” (Rositi, 1988); oppure le unità di classificazione non hanno una riconoscibilità linguistica a livello di significanti, ma possiedono all’interno dell’unità di contesto un’elevata riconoscibilità, vengono dunque definite ‘unità tematiche’ perché sono unità di pensiero che esprimono un’idea in un unico segmento; infine è possibile non scomporre l’unità di contesto in elementi, facendo così figurare la classificazione e l’unità di contesto come coincidenti. In base all’unità di classificazione scelta si ottengono, quindi, tre tipi diversi di analisi del contenuto e la scelta di utilizzare una tipologia piuttosto che

  un’altra deve essere guidata dall’ipotesi formulata, dal tipo di messaggio da analizzare e dal mezzo che lo veicola. Una volta definite le unità, si procede alla loro classificazione. Le categorie per la classificazione sono in genere definite a priori sulla base di teorie. I risultati migliori si ottengono lavorando con categorie specifiche rispetto al contenuto del testo e definite nel modo meno ambiguo possibile (Giovannini, 1998). Se consideriamo la possibilità di utilizzare l’analisi del contenuto per i messaggi prodotti in ambienti virtuali, ci si trova di fronte ad una varietà contenuti da analizzare, ai quali si aggiunge la peculiarità del contesto, per il quale è difficile immaginare un modello di categorie unico e per cui spesso si ricorre, come nel caso del presente lavoro, alla creazione di categorie ad hoc. Come sottolineano Gros e Silva (2006), questa opzione delina però un problema di validità nel processo di categorizzazione e analisi, al quale si può far fronte attraverso alcuni accorgimenti. In primo luogo è necessario avere un preciso modello teorico di riferimento che funga da sfondo nell’analisi del processo, mentre il secondo aspetto fondamentale, che pare utile sottolineare nuovamente, è la scelta dell’unità di analisi, che può riguardare l’intero messaggio, ma preferibilmente dovrà riguardare unità centrate su temi e idee riportati, ad esempio in segmenti delle note di un forum (Gros, Silva, 2006). Per Rourke et al. (2005) la validità di uno studio è data dalla sua oggettività, intesa come la possibilità che il processo di categorizzazione sia più o meno esposto all’influenza del ricercatore o di colui che codifica le interazioni. Infatti, non va dimenticato che tra i problemi che l’analisi del contenuto deve affrontare, il più rilevante riguarda il compito del ricercatore di svolgere compiti di tipo interpretativo, che richiamano quindi, una dimensione soggettiva imprescindibile. L’affidabilità, invece, è determinata dal grado di accordo che diversi codificatori raggiungono, analizzando i dati con le stesse categorie. Il costrutto dell’affidabilità è di estrema importanza per rendere validi i risultati ottenuti e le conclusioni che ne derivano, e può essere calcolato semplicemente con una

  percentuale di accordo tra i due giudici; normalmente sotto il 40 di accordo non è possibile considerare affidabile il processo di categorizzazione e i risultati conseguenti, mentre dal 75 in poi la percentuale riflette un buon grado di accordo e dunque di affidabilità (Rourke et al., 2005). Sintetizzando, è possibile dire che il controllo può essere effettuato tramite tre differenti procedure tese a verificare l’attendibilità delle analisi (Krippendorff, 1980): • la stabilità, richiede che vengano condotte codifiche multiple da uno stesso analista, sugli stessi dati ma in momenti diversi; • l’accuratezza, meno usata rispetto alle altre, esige l’utilizzo di codifiche standardizzate; • la riproducibilità, più propriamente detta “attendibilità intercodifica”, prevede il confronto tra analisi condotte sugli stessi dati da analisti differenti. Proprio quest’ultimo criterio di attendibilità ha guidato la prima fase della ricerca presentata, infatti due ricercatori hanno condotto in maniera indipendente l’analisi sull’intero corpus di dati calcolando il loro grado di accordo. L’analisi del contenuto del flusso comunicativo che avviene nei forum con finalità educative può aiutare i docenti a comprendere meglio la natura e la qualità dei processi di apprendimento e costruzione di conoscenza (Stahl, 2006; Wegerif, 2006) e la possibilità di tenere traccia delle interazioni tra gli utenti può servire a stimare la qualità dell’esperienza formativa, a monitorare e supportare il processo di apprendimento e di costruzione di conoscenza, e a valutare l’apprendimento individuale e le attività collaborative (Pozzi et al., 2007).

5.6.2 La Social Network Analysis

  La Social Network Analysis (SNA), ossia l’Analisi delle Reti Sociali è un approccio che utilizza una serie di tecniche per lo studio dello scambio di informazioni, focalizzandosi sulle relazioni tra gli attori (Haythornwaite, 1996), piuttosto che sulle caratteristiche individuali (Vanin, Manca, 2009).

  Tale approccio può essere definito di tipo quantitativo su dati relazionali, in quanto vengono, appunto, svolte analisi quantitative di tipo statistico, su dati riguardanti le relazioni o i legami che caratterizzano un gruppo di persone o i membri di una comunità (Mazzoni, 2005). Come sottolineano Wasserman e Faust (1994; pp. 7-8): “Rather than focusing on attributes of autonomous individual units, the associations among these attributes, or the usefulness of one or more attributes for predicting the level of another attribute, the social network perspective views characteristics of the social units as arising out of structural or relational processes or focuses on properties of the relational systems themselves. The task is to understand properties of the social (economic or political) structural environment, and how these structural properties influence observed characteristics and associations among characteristics”. L’analisi delle reti sociali, dunque, è un valido strumento, utile ad analizzare la complessità delle relazioni sociali all’interno di comunità reali e virtuali (Scott, 1997; Wasserman e Faust, 1994). Con l’ausilio dei grafi, la SNA mostra la rete di rapporti e dunque la relazione tra i membri della comunità, attraverso i nodi, che rappresentano gli individui,

  e i ponti che rappresentano il tipo di relazione (Scott, 1997; Wasserman Faust, 1994). Nel contesto degli ambienti di apprendimento collaborativo supportati dal computer (CSCL), la SNA si è rivelata un potente approccio metodologico, attraverso il quale è possibile misurare il livello e gli schemi di interazione negli ambienti di apprendimento virtuali, specialmente quando è usato in combinazione con altri metodi, come l’analisi del contenuto (Daradoumis et al., 2004; De Laat et al., 2007; Martinez et al,. 2006; Zhu, 2006). Come già sottolineato più volte, l’interazione negli ambienti di apprendimento on-line è decisamente più complessa rispetto al ‘three-step process’ di cui parla Henry (1992), che comprende: un emittente che invia un messaggio, un ricevente che risponde al messaggio e il primo emitettente che replica nuovamente. Nei forum, ad esempio, i messaggi non sono quasi mai inviati ad

  una singola persona, ma al contrario, sono quasi sempre diretti al gruppo dei partecipanti come unico insieme e ai quali tutti possono rispondere (McDonald Gibson, 1998). Questo provoca delle difficoltà nella codifica e nella conseguente costruzione delle matrici indispensabili alla costruzione dei grafi. La soluzione proposta è quella di identificare i destinatari dei messaggi attraverso l’aiuto di un’analisi qualitativa delle interazioni pubblicate; questa parte della procedura chiamata ‘semantic coding’ o ‘codifica semantica’ (Manca, Delfino, Mazzoni, 2009) richiede un processo di interpretazione di ciò che l’autore del messaggio intende dire, al fine di catturare la complessità degli schemi comunicativi e permette di individuare un maggior numero di destinatari, sia espliciti che impliciti, rispetto a quanto si potrebbe ottenere con una procedura automatizzata (Vanin, Manca, 2009). Il principale limite di tale metodo riguarda la mole di tempo necessaria per la codifica dei messaggi e la necessità di coinvolgere più ricercatori per garantire la validità del sistema di codifica e per valutare i casi ambigui (Vanin, Manca, 2009). Il motivo per cui si è scelto di sottolineare questi due aspetti – la rete di relazioni e l’importanza della codifica semantica – risiede nell’importanza che rivestono in questo lavoro, come vedremo in seguito.

5.6.3 Il software: Cyram NetMiner 3

  Per trattare ed elaborare i dati relazionali utili ad effettuare un’analisi sulle Reti Sociali sono attualmente disponibili due software: Cyram NetMiner3 e Ucinet, che offrono un’ampia gamma di analisi e funzioni statistiche, oltre alla possibilità di rappresentare graficamente i risultati ottenuti. Nel lavoro di ricerca qui presentato si è scelto di utilizzare il programma Cyram Netminer3 in quanto particolarmente user-friendly, e perché compatibile con il sistema operativo Windows, a differenza di Ucinet costruito in linguaggio DOS e con un’interfaccia meno fruibile (Huisman e Van Duijn, 2005). Il software, disponibile sul sito www.netminer.com, è stato creato dall’Institute for Social Development and Policy Research dell’Università nazionale di Seoul (Korea), da professionisti delle scienze sociali e delle Per trattare ed elaborare i dati relazionali utili ad effettuare un’analisi sulle Reti Sociali sono attualmente disponibili due software: Cyram NetMiner3 e Ucinet, che offrono un’ampia gamma di analisi e funzioni statistiche, oltre alla possibilità di rappresentare graficamente i risultati ottenuti. Nel lavoro di ricerca qui presentato si è scelto di utilizzare il programma Cyram Netminer3 in quanto particolarmente user-friendly, e perché compatibile con il sistema operativo Windows, a differenza di Ucinet costruito in linguaggio DOS e con un’interfaccia meno fruibile (Huisman e Van Duijn, 2005). Il software, disponibile sul sito www.netminer.com, è stato creato dall’Institute for Social Development and Policy Research dell’Università nazionale di Seoul (Korea), da professionisti delle scienze sociali e delle

  

  e realizzare le analisi desiderate, rendendo visibili, lateralmente, i file di report con i risultati descrittivi e quantitativi. Per procedere con le analisi è innanzitutto necessario creare e denominare un Project e i relativi workfiles, i quali rappresentano l’unità di base di ciascun progetto. Successivamente va importata la matrice di dati creata in funzione dell’oggetto e degli obiettivi dell’indagine. L’insieme dei valori riportati nella matrice rappresenta il data- set sul quale vengono successivamente condotte le analisi prescelte. Con il software NetMiner è possibile svolgere diversi tipi di analisi: la neighbour analysis, che osserva la rete nella sua integrità attraverso l’analisi del livello di aggregazione; la centrality analysis, che sposta l’attenzione sul ruolo giocato da ciascun nodo della rete; la cohesion analysis, che individua i sottogruppi coesi che strutturano l’intera rete esaminata; la connection analysis, che riflette la vulnerabilità dei collegamenti identificando i nodi che possiedono connessioni fragili con l’intero gruppo. Per ciascuna analisi o esplorazione il programma permette di ottenere il rispettivo report, dove sono presenti le informazioni descrittive del grafo e i relativi indici e dati statistici della rete. In linea con gli obiettivi di questo lavoro di ricerca, si è scelto di utilizzare la neighbour analysis, con il corrispondente indice di densità e la centrality analysis, con il corrispondente indice di centralizzazione, che per questo motivo verranno spiegati dettagliatamente. Per quanto riguarda la prima tipologia di analisi, essa opera fondamentalmente attraverso l’indice di densità, che descrive il livello di coesione tra i nodi presi in esame. Con il concetto di densità si intende la proporzione di linee (i collegamenti) realmente presenti all’interno di un grafo, rispetto al numero massimo di linee possibili; in altre parole la densità serve a verificare quanto il grafo sia lontano dalla configurazione di “grafo completo” in cui ogni nodo

  presenta legami con tutti gli altri nodi (Scott, 1997; Wasserman e Faust, 1994). Il valore di questo indice può oscillare da 0 a 1 e viene calcolato su dati dicotomizzati che considerano la presenzaassenza di legami tra i vari nodi della rete: quanto più il valore è elevato tanto più il sociogramma si avvicina alla configurazione di un grafo completo in cui ogni nodo ha legami con tutti gli altri nodi della rete. La misura dell’indice di densità si basa su due importanti parametri: l’indice di inclusività e il nodal degree. Il primo indica la percentuale di nodi coinvolti negli scambi, quindi rappresenta una misura dell’intera struttura di relazioni e si ottiene sottraendo il numero dei nodi isolati che non hanno alcun legame all’interno della rete dal numero totale dei nodi della rete. Il secondo è il nodal degree (grado dei nodi) ovvero il numero dei nodi con cui ciascun nodo ha legami diretti (Mazzoni, 2005). Questo parametro consente di rilevare la presenza di eventuali nodi isolati, scollegati dalla rete, o connessi alla rete attraverso il legame con un solo nodo. Per quanto riguarda, invece, il secondo tipo di analisi – quello della centralità – l’attenzione viene posta sui singoli nodi e sul loro ruolo all’interno della rete, rilevato sulla base della centralità che assumono. La centralità è un indicatore che descrive e misura le proprietà della “posizione dell’attore” all’interno di una rete sociale (Wasserman e Faust, 1994). In altre parole l’analisi della centralità identifica i nodi più centrali e strategici per la rete, attraverso vari indici che rilevano aspetti differenti del loro prestigio e della loro rilevanza nelle interazioni dell’intera comunità (Mazzoni, 2005). Nel lavoro qui illustrato si è adottato l’indice di degree centrality che solitamente evidenzia l’importanza degli attori in base alla loro partecipazione e al coinvolgimento negli scambi rilevati. Questo indice viene calcolato sulla base del nodal degree di ciascun nodo, quindi sulla quantità di legami, sia in entrata (IN) che in uscita (OUT), instaurati dal singolo individuo rispetto al totale degli scambi dell’intera rete; i nodi più centrali saranno quindi quelli che attivano un maggior numero di connessioni. Per esempio in una rete con 10 nodi, il maggior numero di

  connessioni attivabili da ogni nodo è 9, pertanto la centralità di ciascun nodo sarà tanto più elevata quanto più il suo nodal degree tenderà a 9. La frequenza relativa di ciascun nodo rappresenta il suo indice di centralità, che può variare da 0, in presenza di nodi isolati e periferici, a 1, in presenza di nodi massimamente centrali, connessi con tutti gli altri nodi. Le misurazioni sui singoli individui, o più in generale dei nodi, possono confluire in un’ulteriore misura di centralità e di prestigio, questa volta riferita all’intera rete. L’indice di centralizzazione (degree centralization) esprime proprio l’indice di centralità dell’intera rete e descrive quanto essa sia incardinata attorno ai suoi nodi più centrali, pertanto può essere considerata una misura della variabilità e della dispersione degli indici di centralità dei singoli nodi (Wasserman e Faust, 1994). Infatti, la degree centralization, espressa in valori percentuali, calcola la somma delle differenze tra l’indice di centralità più elevato e gli indici di centralità degli altri nodi. In presenza di un indice di centralizzazione molto alto solo uno o pochi nodi saranno in posizione molto centrale; mentre in presenza di un indice basso ci sarà una maggiore compattezza della rete non essendoci nodi particolarmente centrali rispetto agli altri. Con gli indici di centralità e di centralizzazione ogni strategia interattiva ha un valore, oscillante tra 0 e 1, che indica il suo “potere”, calcolato sulla base del rapporto tra il numero di connessioni con le altre strategie e il numero massimo di connessioni possibili, dunque, permette di verificare in che misura le modalità di interazione siano fondate su strategie più centrali.