Riconoscimento delle caratteristiche di natura cognitiva e metacognitiva del discente

Accanto alla presenza di moduli tradizionalmente inclusi in Sistemi di Tutoraggio Intelligente (ITSs) che tengono traccia delle conoscenze, e talvolta delle competenze, dello studente ("modello studente") rispetto allo specifico dominio di conoscenza oggetto di insegnamento/apprendimento, si può rilevare il tentativo di affiancare moduli dedicati alla profilatura del discente in maniera indipendente dal dominio.

Esempi di questo approccio sono la rilevazione dei "tratti cognitivi" (Lin et al., 2003), dello stile di apprendimento (Graf et al., 2006), dell'uso delle proprietà del sistema che lo studente mostra di preferire (Baker et al., 2006), delle strategie cognitive e metacognitive inferibili durante la navigazione (Viola et al., 2007; Yeh et al., 2005).

L'attività di profilatura del discente si propone in genere l'obiettivo di adattare e/o personalizzare l'applicazione e, in definitiva, la riduzione del carico cognitivo necessario all'uso dell' applicazione stessa, il migliore e più efficace reperimento di tutta e solo l'informazione rilevante, il monitoraggio per la valutazione degli apprendimenti (assessment) e dei processi (evaluation).

A tal fine viene impiegato un ampio spettro di metodi, che spazia dal ragionamento automatico al data mining, ai modelli matematici e statistici anche su serie temporali di dati. Le caratteristiche dello studente soggette a rilevazione e analisi sono le più svariate e riguardano sia le componenti affettive dell'interazione con ambienti elettronici di apprendimento sia quelle cognitive del processo di apprendimento.

Mentre l'indagine sugli aspetti affettivi si inserisce nel più generale contesto del cosiddetto affective computing, e vari approcci sono ad oggi documentati (analisi automatica di immagini facciali per il riconoscimento di stati emotivi; analisi automatica o semi-automatica di dati eterogenei, quali segnali neurologici, immagini e dati di navigazione per il riconoscimento di stati emotivi), quella sugli aspetti cognitivi si inserisce nell'ambito degli ITS (Intelligent tutoring system), come sottoparte specifica dedicata all'analisi di dati di uso e basata su metodi principalmente, anche se non esclusivamente, data-driven.

Di seguito, rivolgeremo la nostra attenzione soprattutto agli aspetti cognitivi, riferendoci alla letteratura internazionale, che dimostra oggi particolare interesse per le potenzialità dei dati raccolti durante la navigazione in ambienti e-learning e per le potenzialità degli algoritmi di data mining nell' identificare tratti di rilevanza cognitiva.

Questa linea di ricerca, originariamente nata in ambito applicativo con la finalità di supportare l' utente durante l'interazione con gli ambienti di apprendimento elettronici (ricognizione di piani, adattatività rispetto alle caratteristiche cognitive e metacognitive), ha apportato in seguito anche un notevole contributo, basato sull'evidenza empirica, alla ricerca teorica interessata all'apprendimento mediato dalle tecnologie. Le sue principali novità riguardano l'autenticità dei dati e la possibilità di operare al di fuori delle assunzioni della Teoria dell'inferenza statistica classica.

Particolarmente attuale è il problema dell'efficacia dei metodi e algoritmi utilizzati per la profilatura dell'utente rispetto alla rilevanza delle caratteristiche per il processo di apprendimento, come documenta il numero di call for papers di conferenze internazionali (ITS 2006, ISM-MTEL 2006, UM 2007, ICALT 2007, AIED 2007, EC-TEL 2007). I metodi e gli algoritmi presentati dalla letteratura come efficaci nel rilevare pattern di apprendimento sono molteplici; vi sono tuttavia aspetti di fondo di natura metodologica comuni ai diversi approcci, promettenti ma non ancora pienamente esplorati. Infatti, una delle difficoltà peculiari del settore di ricerca riguarda il fatto che molti dei tratti cognitivi di interesse sono ignoti prima del processo di estrazione della conoscenza.

Ne consegue pertanto la necessità di perseguire, almeno inizialmente, approcci più mirati all'esplorazione grafica dei dati (che generalmente presentano alta dimensionalità), alla selezione di tutti e soli gli elementi di interesse (data dimensionality reduction) e alla ridefinizione di concetti basilari, come ad esempio quello di "similarità". Questi pattern così selezionati necessitano quindi di essere testati rispetto alla loro effettiva influenza sia sull'efficacia dell'apprendimento che sulla sua percezione di efficacia da parte dell'apprendente.

Problemi aperti

In relazione allo stato dell'arte, si possono indicare i seguenti problemi aperti:
a) definizione e comparazione di differenti approcci;
b) elicitazione e comparazione di differenti aspetti di uso di ambienti di apprendimento elettronici che possano essere messi in relazione con le strategie cognitive e metacognitive del discente, con attenzione alla loro evoluzione nel tempo e verifica della loro utilità quali indicatori dell'efficacia del processo di apprendimento;
c) comparazione con altri approcci provenienti dalla ricerca quantitativa e qualitativa;
d) integrazione delle informazioni ottenute al fine di supportare il processo decisionale a tutti i livelli.
Indagini mirate alla soluzione di tali problemi avrebbero ricadute positive sia per la ricerca psicopedagogica finalizzata a indagare le variabili che influenzano l'apprendimento mediato dalle tecnologie sia per quella applicata finalizzata a migliorare la qualità degli ambienti stessi.

Il valore che le attività collaborative assumono per l'apprendimento e le potenzialità e il ruolo che le tecnologie possono avere nel potenziamento di tali attività e dei processi che di conseguenza vengono innescati sono tra gli argomenti oggi più discussi. L'attenzione della ricerca si focalizza sulla collaborazione nei contesti di apprendimento informali (ad es. lavorativi) e sulle possibilità offerte dagli ambienti di rete a supporto. In particolare, nell' area dell'e-learning, si riscontra interesse per le dinamiche del lavoro di gruppo mediato dalle tecnologie, anche se non vi è una chiara e univoca caratterizzazione dell'oggetto di studio.

Questa difficoltà riguarda innanzitutto la definizione delle tipologie di gruppi di collaborazione in relazione alla loro composizione e alle loro finalità (ad es., Wenger, 1998); inoltre l'introduzione della tecnologia viene vista come fattore di complessità che tocca molteplici aspetti, fra cui l' ingegneria dei processi, i canali di comunicazione (ad esempio l' uso del linguaggio orale, profondamente influenzato dalla mediazione delle tecnologie) e l'organizzazione del lavoro. Per queste ragioni diviene importante l'analisi dei vari contesti di interazione.

All' interno di questo scenario, sono state proposte differenti cornici per l'analisi delle attività collaborative; esempi noti, ma non unici, sono le cosiddette "comunità di pratiche", del già citato Wenger, che paiono essere dotate di caratteristiche di ottimalità per quanto concerne lo sviluppo e la diffusione di conoscenza. Da un altro punto di vista, l' Activity Theory ha ampliato e sviluppato l'originario concetto vygotskiano di Zone of Proximal Development (ZPD), estendendolo a situazioni di apprendimento distribuito (Engerstrom, 1997).

Per quanto concerne il rilevamento e l'individuazione di tratti che siano indicatori del buon andamento di un'attività collaborativa, non vi è ancora consenso in letteratura. Alcuni di questi sono proposti da Wenger, come ad esempio l'obiettivo comune, l'impegno condiviso e la condivisione di repertori (joint enterprise, mutual engagement, shared repertoires).

Si tratta di indicatori multifattoriali e di granularità piuttosto grossa, che presentano differenti problemi quando vengono calati all'interno della ricerca empirica e della modellizzazione utente. Essi inoltre si riferiscono più o meno esplicitamente alla "conoscenza tacita", la cui individuazione è incerta e laboriosa, e presentano difficoltà nel reperimento di indicatori validi e attendibili.

Uno dei modi individuati dalla letteratura internazionale per ovviare in parte a queste difficoltà è l'analisi delle interazioni linguistiche e verbali in ambienti virtuali (ad es. in forum, chat, instant messaging service, e-mail). Questa analisi è stata condotta da più punti di vista, fra cui quello dell'interazione uomo-macchina.

Sebbene siano stati sviluppati strumenti a diverso livello di automazione per l'analisi delle interazioni, ad oggi non possiamo contare ancora su una lista univoca ed esaustiva degli indicatori. Inoltre soltanto una parte delle caratteristiche delle attività collaborative può essere inferita tramite l'analisi delle sole interazioni linguistiche. Per questi motivi l'attenzione degli studiosi si è concentrata anche sull'analisi di dati di uso di ambienti virtuali a supporto dell'attività collaborativa.

A questo riguardo, una linea di ricerca basata sull'analisi di network sociali (social networks analysis) (Wasserman et al., 1994) sta riscuotendo interesse per i risultati soddisfacenti che ha prodotto (ad es., Aviv 2005). Essa si sofferma sulla natura, quantità e qualità delle interazioni fra persone, piuttosto che sull'analisi del linguaggio, utilizzando indicatori legati il più possibile all'uso degli ambienti elettronici, con i pregi di una maggiore autenticità e di svincolare la ricerca dal predominio esclusivo dell'analisi delle interazioni linguistiche.

La teoria dei grafi (ad es., Diestel, 2005) sembra il background matematico più appropriato per questo tipo di modellizzazione. Vi è infine interesse della letteratura internazionale per le leggi che governano le dinamiche di reti complesse, in particolare quelle che esibiscono comportamenti particolare, come ad esempio i cosiddetti small-world networks (Watts e Strogatz, 1998; Kleimberg, 2001).

Problemi aperti

In relazione allo stato dell'arte, si possono indicare i seguenti problemi aperti:
a) definizione e comparazione di differenti aspetti metodologici, quali la definizione di prossimità fra grafi, in grado di rilevare, in modo preciso e accurato, pattern di attività collaborativa; verifica dell'eventuale presenza di proprietà di auto-similarità e invarianza di scala in gruppi di lavoro collaborativi online;
b) elicitazione e comparazione di differenti aspetti di uso di ambienti di apprendimento elettronici che possano essere messi in relazione con le strategie collaborative di gruppi di apprendenti, con attenzione alla loro evoluzione nel tempo; comparazione con la letteratura;
c) comparazione con altri approcci provenienti dalla ricerca quantitativa e qualitativa, soprattutto in riferimento all' analisi delle strategie linguistiche;
d) integrazione delle informazioni ottenute, al fine di supportare il processo decisionale a tutti i livelli.

Profilatura utente per la valutazione assistita e/o basata da/su calcolatore (CAA, CBA)

Il problema della valutazione dell'apprendimento (assessment) costituisce un problema centrale in ambito pedagogico/didattico, per quanto concerne i metodi, i criteri, gli obiettivi, le ricadute. L'introduzione delle tecnologie dell'informazione e della comunicazione (TIC) e il loro impatto sul processo formativo hanno permesso di rivisitare il problema, originando quella che in letteratura internazionale viene definita "Computer Based Assessment" (CBA) (ad es. Valenti, 2003); il CBA si occupa di individuare i metodi, i criteri, la verifica empirica di efficacia delle procedure di valutazione dell'apprendimento basate su TIC.

Recenti contributi di matrice costruttivista hanno evidenziato che, perché la valutazione risulti significativa per l'apprendente, l'attenzione deve essere spostata dalla funzione sommativa a quella formativa (Coppola, 2005 e 2007c), come pure l'errore deve essere considerato come un elemento transitorio, utile, spesso anche necessario: si pensi, ad esempio, all'importante funzione che gli errori evolutivi assumono nel processo di acquisizione linguistica; veri e propri indici del processo di apprendimento in atto, essi costituiscono, nel caso di acquisizione di nuove lingue, una fondamentale fonte di informazioni per il docente sui diversi stadi dell' interlingua (interlanguage) via via raggiunti dall'apprendente (ad esempio, Gass, Selinker, 2001; Giacalone Ramat, 2003).

L' attenzione degli studiosi si sta anche concentrando sul rapporto fra valutazione e metacognizione, nelle differenti accezioni del termine, specialmente nella prospettiva tratteggiata dall'accordo di Lisbona e relativa all'estensione della formazione a tutto l'arco della vita (lifelong learning) e alla necessità di acquisire competenze trasferibili in contesti diversi.

La letteratura internazionale sull'apprendimento mediato dalle tecnologie ha mostrato di anticipare il problema della significatività della valutazione, dedicando all'argomento la linea di ricerca inerente ai cosiddetti modelli utente (user models) implementati all'interno di ITSs. Essa vanta una lunga storia, che risale alle prime applicazioni dell'Intelligenza Artificiale.

I modelli utente interni agli ITSs presentano in genere una rappresentazione della conoscenza organizzata secondo regole, nella maggior parte dei casi definite a priori (Brusilovsky, 2001). Grazie a questa rappresentazione strutturata, essi cercano non solo di interagire con lo studente, suggerendo le alternative più adeguate al suo "stato", ma anche di "interpretare" gli errori commessi identificando, all'interno di un dominio di conoscenza limitato e strutturato, cause e strategie (Baker, 2006).
La diffusione piuttosto limitata che questi sistemi hanno avuto è dovuta:

• al rapporto costi/benefici piuttosto svantaggioso;
• alla rigidità della rappresentazione;
• alla problematicità della gestione dell'incertezza, che ha richiesto il superamento del paradigma basato su regole (Vasilakos et al., 2004);
• all' applicabilità piuttosto limitata, in genere riservata a domini tecnico- scientifici fortemente strutturati (matematica, fisica).

Pur tenendo in considerazione i miglioramenti determinati dall'evoluzione di tale linea di ricerca, si riscontra a oggi una carenza nella capacità di questi sistemi di venire incontro a esigenze di flessibilità nate all'interno del paradigma della formazione a distanza in ambiente distribuito. Queste in particolare riguardano:

• la necessità di monitorare l'evoluzione dell'apprendimento nel tempo, con conseguente aggiornamento del modello utente;
• la possibilità di utilizzare la considerevole quantità di dati prodotta durante l'utilizzo di ambienti FAD distribuiti;
• la necessità di sopperire all'assenza e/o alla limitazione di interazione docenti/studenti quasi sempre associata alla FAD per le sue caratteristiche;
• la necessità di integrare dati eterogenei per provenienza, formato e significato, all'interno di un modello il più possibile dettagliato e coerente;
• la necessità di fornire informazione sulla sfera metacognitiva oltre che cognitiva, essendo la prima determinante ai fini dell'acquisizione di competenze in maniera autonoma da parte dei discenti (Yeah et al., 2005).

Per tali motivi l'impiego di metodi che permettano, in maniera quanto più possibile automatica, di tenere traccia dell'evoluzione del profilo studente per finalità valutative ha recentemente attirato l'attenzione degli studiosi: fra questi metodi risultano particolarmente accurati quelli basati su modelli matematici (Pierrakos et al. 2003; Zukerman et al. 2001).

Sono inoltre stati proposti metodi e procedure finalizzati alla automazione, a differenti livelli di complessità, del processo di valutazione assistito da calcolatore.

La sfida dell' introduzione dei modelli matematici e statistici per la valutazione si concentra tuttavia sulla significatività che questi mostrano da un punto di vista pedagogico-didattico, cognitivo e metacognitivo, oltre che puramente quantitativo.

Problemi aperti

In relazione allo stato dell'arte, si possono indicare i seguenti problemi aperti:
a) identificazione di pattern relativi a caratteristiche cognitive degli apprendenti e monitoraggio della loro validità e affidabilità quali indicatori dell'efficacia dell'apprendimento;
b) valutazione dell'impatto complessivo sul processo di apprendimento/insegnamento.

Conclusioni

I sistemi dedicati alla formazione a distanza producono attualmente una notevole quantità di dati. Una delle sfide attuali della ricerca, sia psico-pedagogica che ingegneristica, sta proprio nell'analisi di questi dati allo scopo di ottenere un profilo o modello di utente il più possibile coerente, accurato e preciso.

In questo lavoro abbiamo analizzato alcuni contributi provenienti dalla letteratura internazionale, relativamente all'introduzione di metodi di modellizzazione e/o profilatura utente/discente.

Dalla nostra analisi si può concludere che tale linea di ricerca presenta oggi una notevole vitalità e una discreta maturità scientifica. Rimangono tuttavia aperti molti problemi che, se affrontati adeguatamente, potrebbero rendere più efficace l'adattività e/o personalizzazione dell'ambiente di apprendimento e migliorare la qualità delle interazioni utente-macchina.

Riferimenti bibliografici

R. Aviv, Z. Erlich, G. Ravid (2005). Response Neighborhoods in Online Learning Networks: A Quantitative Analysis. Educational Technology and Society, 8(4), pp. 90-99.

Baker, R.S.J.d., Corbett, A.T., Koedinger, K.R., Evenson, E., Roll, I., Wagner, A.Z., Naim, M., Raspat, J., Baker, D.J., Beck, J. (2006). Adapting to When Students Game an Intelligent Tutoring System. Proceedings of the 8th International Conference on Intelligent Tutoring Systems, pp. 392-401.

P. Brusilovsky (2001). The construction and application of student models in intelligent tutoring systems, Computer and System Science Intenational, 32(1), pp. 70-89.

R. Cooley, P. Tan, J. Srivastava (1999). Discovery of Interesting Usage Patterns from Web Data, Proc. of WEBKDD99, pp. 163-182.

D. Coppola (2007a), PELT-Progetto E-Learning trasversale, "iGel", Vol.1 n. 4.

D. Coppola (2007b), Barbieri, angeli, muratori e torri. Elogio della complessità, "Scienza e pace", n. 4.

D. Coppola (2007 c), La formazione del valutatore tra tecnologie e valori, Università di Pisa - Progetto TRIO (corso di formazione on line: www.progettotrio.it).

D. Coppola (2006), Dal formato didattico allo scenario, Edizioni ETS, Pisa.

D. Coppola (2005), Percorsi di formazione, CLUEB, Bologna.

Y. Engerstrom (1997). Learning by expanding. Helsinky, Prienta-Konsultit Oy. online at http://lchc.ucsd.edu/MCA/Paper/Engestrom/expanding/toc.htm

S.M. Gass, L . Selinker (2001), Second language acquisition. An introductory course, Erlbaum. Hillsdale NJ.

A. Giacalone Ramat ( 2003), Verso l'italiano. Percorsi e strategie di acquisizione. Roma, Carocci.

M. Giacomantonio (2007), Learning Object. Progettazione dei contenuti didattici per l'e-learning, Roma, Carocci.

S. Graf, Kinshuk (2006). Considering Learning Styles in Learning Management Systems: Investigating the Behavior of Students in an Online Course, Proceedings of the First IEEE International Workshop on Semantic Media Adaptation and Personalization (SMAP 06), pp. 25-30.

S. Graf, S. R. Viola, Kinshuk (2007), Automatic student modelling for detecting learning style preferences in learning management systems, Proc. of the IADIS Int. Conf. on Cognition and Exploratory Learning in Digital Age 2007, pp. 172-179.

C. Haythornthwaite (1998). A social network study of the growth of community among distance learners, Information Research, 4(1), paper 49, http://informationr.net/ir/4-1/paper49.html

J. Kay, N. Maysonneuve, K. Yacef, O. Zaiane (2006). Mining patterns of events in students' teamwork data. Proc. Of Educational Data Mining Workshop at Intelligent Tutoring Systems (ITSs) Int. Conference, pp. 45-52.

J. Kleinberg (2001). Small world and the dynamics of information, Advances in Neural Information Processing Systems (NIPS), 14.

T. Lin, Kinshuk, A. Patel (2003). Cognitive Trait Model for Persistent Student Modelling, EdMedia 2003 Conference Proceedings, pp. 2144-2147.

D. Pierrakos, G. Paliouras, C. Papatheodorou, C. D. Spyropoulos (2003). Web Usage Mining as a Tool for Personalization : a Survey, User Modelling and User-Adapted Interaction, 13, pp.311-372.

S. Valenti (2003). Information Technology for assessing students learning. J. of Information Technology Education, 2, pp. 181-184.

T. Vasilakos, V. Devedzic, Kinshuk, W. Pedrycz (2004). Computational Intelligence in Web-Based Education: a Tutorial. J. of Interactive Learning Research, 15(4), pp. 299-318.

S. R. Viola, A. Giretti, T. Leo (2007). Learners Profiling by data driven approaches. IEEE Learning Technology Newsletter, 9(2):11-13.

S. W. Yeh, J. J. Lo (2005). Assessign metacognitive knowledge in web-based CALL: a neural network approach, Computers & Education, 44, pp. 97-113.

S. Wasserman, K. Faust, D. Iacobucci (1994). Social Network Analysis: Methods and Applications, Cambridge University Press.

D. Watts , S. Strogatz (1998). Collective dynamics of `small-world' networks. Nature, 393(6684), pp. 440-2.

E. Wenger (1998). Communities of practices. Learning, meaning and identity. Cambridge University Press.

I. Zukerman, D. W. Albrecht (2001). Predictive Statistical Models for User Modelling, User Modelling and User-Adapted Interaction, 11, pp. 5-18.