Appunti Digital marketing

SLIDE PROF ......................................................................................................................................................... 2

A Cooperative Binary-Clustering Framework Based on Majority Voting for Twitter Sentiment Analysis ........ 7

Using Twitter sentiment and emotions analysis of Google Trends for decisions making ............................... 10

Sentiment Analysis to Evaluate Teaching Performance .................................................................................. 13

E-commerce websites services versus buyers’ expectations: an empirical analysis of the online marketplace

.......................................................................................................................................................................... 15

Bayes goes to Cinema ...................................................................................................................................... 19

Online Advertising Using Linguistic Knowledge ............................................................................................... 20

Decision trees to identify companies’ distress: the AI at work ....................................................................... 22

Nuove prospettive nell’intelligenza artificiale ................................................................................................. 24

SLIDE PROF

Il demone di Laplace

È un agente (essere umano o artefatto) con informazione e tempo illimitato a sua disposizione.

NFLT (No free lunch theorem)

Dato un particolare problema, algoritmi di ricerca differenti possono ottenere risultati diversi, ma su tutti i

problemi essi sono indistinguibili: se un algoritmo raggiunge risultati superiori su alcuni problemi allora

paga con performance inferiori su altri problemi.

È un argomento contro il demone di Laplace e dimostra che è impossibile, per qualsiasi intelletto (umano o

artefatto) conoscere tutto sull’universo di cui fa parte.

Cognitive satisfier: un agente (umano o artefatto) che cerca una soluzione soddisfacente piuttosto che

ottimale.

Euristiche

Simon (1956): un organismo richiede solo meccanismi percettivi e di scelta molto semplici (euristiche) per

soddisfare le sue molteplici esigenze senza ricorrere a una funzione di utilità e senza impegnare procedure

elaborate.

Tversky & Kahneman (1990): situazioni che comportano incertezza si basano più sull'euristica che sulla

razionalità per raggiungere una decisione

G. Polya: «if you are having difficulty understanding a problem, try drawing a picture»

Sinonimi di euristica: rule of the thumb, scorciatoia per l’elaborazione delle informazioni, giudizio intuitivo,

common sense.

Ambiti che impiegano euristiche:

− Sport, es. euristica dello sguardo;

− Scienze del comportamento, es. euristica del riconoscimento;

− Scoperte scientifiche, es. BACON e Biomedicina.

Fissare lo sguardo sulla palla, iniziare a correre e regolare la velocità di corsa in modo che l'angolo di

sguardo rimanga costante.

Tre blocchi

• Fissare lo sguardo

• Iniziare a correre

• Regolare la velocità

Ciascun blocco è ancorato a capacita evolutive:

→ Il primo fa uso della capacità umana di tracciare oggetti;

→Il secondo ricorre alla capacità di mantenere l’equilibrio durante la corsa

→Il terzo ricorre alla capacità di aggiustamento visivo-motoria.

Usando l'euristica, gli esseri umani fanno inferenze sul mondo con tempo e conoscenza limitati e in

contrasto con molti modelli inferenziali.

Euristica del riconoscimento: quale città ha la popolazione più numerosa? Detroit o Milwaukee?

→ se si riconosce il nome di una città ma non quella dell'altro, si deduce che la città riconosciuta ha la

popolazione più grande. Può non corrispondere a valore di verità

Fast and frugal (Gigerenzer & Goldstein)

Se vi è una certa anomalia nell'elettrocardiogramma (il cosiddetto

segmento ST), il paziente viene immediatamente ammesso al

reparto di terapia coronarica. Altrimenti si considera un altro caso.

Terza legge di Keplero: I quadrati dei periodi di rivoluzione dei pianeti sono

2 3

proporzionali ai cubi dei semiassi maggiori delle loro orbite (T /d =k)

→ d è il semiasse maggiore (o il raggio medio) dell'orbita ØT il periodo di

rivoluzione

→

K una costante (a volte detta di Keplero)

Euristiche in astronomia (scoperta scientifica)

Shopping online

• Acquirenti/consumatori che acquistano beni e servizi online

• Satisficing?

• Euristiche?

• Venditori

• Servizi offerti sui siti facilitano l’acquisto?

• I siti di e-commerce offrono servizi basati su scelte e selezione dei prodotti sotto forma euristica?

Information overload

Diffusione shopping online

• Venditori facilitati a trasmettere grandi quantità di info a basso costo

• Acquirenti facilitati nello sforzo per ottenere info alle quali sono interessati

L’acquirente coinvolto nell’acquisto si trova spesso in situazioni di information overload che porta a

peggiori decisioni.

▪ Approccio di Sweller

Si hanno schemi rispetto ad acquisti nel tempo:

− automatizzati sotto forma di regole (euristiche);

− immagazzinati nella memoria a lungo termine;

− richiamati quando necessari

Si assume che la memoria di lavoro sia limitati e la memoria a lungo

termine sia virtualmente illimitata.

Modello di acquisto degli acquirenti

Acquisto per categoria

Acquisto per brand F1

Acquisto per prezzo

Acquisto per destinatario F7

Acquisto per occasione

Acquisto prodotti scontati F4

Acquisto per più venduti

Link dei nuovi acquisti sulla

home page

F1 è un costrutto che spiega l’attitudine dell’acquirente verso acquisti per brand, prezzo e categoria;

F7 è un costrutto che spiega l’intenzione dell’acquirente a comprare secondo un determinato scopo;

F4, da un punto di vista strutturale, è “causato” da F7 e F1 (credenza).

Il modello di acquisto con più servizi prevede che i

fattori del modello spieghino il 55,52% della varianza

di F1 e solo F4 è significativo per spiegare la F1.

Il rasoio di Occan

Si accetta la teoria più semplice che funziona.

Opinion mining/sentiment analysis

+ = ( )

Mining delle opinioni degli acquirenti per le decisioni di acquisto:

• rilevare la popolarità attraverso un approccio bayesiano;

• estrazione automatica di feature;

• impiego di un classificatore bayesiano (Nive Bayes Classifier)

Mining delle recensioni

Il compito contempla:

a) L’identificazione delle entità rilevanti: persone, eventi, organizzazioni, argomenti..;

b) Estrazione delle rispettive feature

• Una feature o aspect rappresenta l’attributo di una certa entità (es. display di un telefono, qualità

delle foto di una videocamera)

c) Determinazione del valore (opinione/sentimento) di ciascuna feature (positiva, negativa o neutra).

Opinion mining come classificazione

La classificazione è un caso di inductive learning; una funzione di learning classifica un item (testo – text

classfication, messaggio e-mail – spam/non spam, un’opinione – positiva/negativa...) in una o più classi

predefinite.

Usando la funzione di classificazione ogni nuovo esempio per il quale non si conosce la classe di

appartenenza può essere classificato correttamente.

La regola aurea del rev. Bayes (|) ∗ ()

(|) = ()

Come funziona:

− si ha una distribuzione di dati e (evidenza), di cui non si conosce la classe di appartenenza;

− si ha H, un’ipotesi riguardante e;

− si vuole determinate P(H|e), ovvero la probabilità dell’ipotesi data l’osservazione e;

o P(H|e) è la probabilità a posteriori e rappresenta la confidence nell’ipotesi H dato e

o P(H) è invece la probabilità a priori e prescinde dalla forma dei dati.

ML Bayesiano

Modello a spazi vettoriali Considerando l’intero vocabolario del nostro corpus (5 termini), i doc

e la query hanno la seguente rappresentazione nello spazio 5-

dimensionale.

LAKE (Linguistic Analysis Knowledge Extractor) keyword extraction system applying

supervised learning and linguistic processing

▪ Estrazione di termini che potrebbero

essere considerati feature

▪ Schema di ponderazione TF-IPF

(Term Frequency - Inverse Polarity Frequency)

Wordcloud

Aggiungono semplicità e chiarezza e le parole chiave più utilizzate risultano meglio in esse.

Sono un potente strumenti di comunicazione perché facili da capire, condividere ed hanno un impatto

intenso essendo visivamente più accattivanti di dati in una tabella.

Usate da:

▪ Ricercatori per riportare dati qualitativi;

▪ Marketing per evidenziare le esigenze e i punti deboli dei clienti;

▪ Politici e giornalisti

▪ Social media, per raccogliere, analizzare e condividere i sentimenti degli utenti.

Passaggi principali per crearle:

1) Creare un file di testo;

2) Caricare il testo;

3) Trasformare il testo;

4) Pulizia del testo;

5) Costruzione di una matrice termine-documento

6) Generazione della word cloud

A Cooperative Binary-Clustering Framework Based on Majority Voting for Twitter Sentiment

Analysis

Introduction

Companies perform sentiment analysis to examine feedback on products, government and other agencies

use it for public-health monitoring and predicting political trends, and so on.

Companies used to manually analyze the popularity of their products by surveying customers; however,

with the advent of social networks, e.g., twitter, manual analysis of data has become a challenging

problem.

Twitter is a popular microblogging platform that allows users to share their ideas, opinions and thoughts

through real-time short messages (limited to 280 characters) called tweets. Researchers have explored

twitter data for diverse issues including sentiment analysis, public-health monitoring, election trends,

→

education and sports machine learning techniques used to extract useful information.

• Supervised learning uses labeled data to build a classification model used to predict labels for

unlabeled data; the limitation of this techniques is the requirement od labeled data.

• Unsupervised learning – clustering tends to group unlabeled data based on similarity.

o Hierarchical clustering constructs clusters of given instances as dendrograms either in a top-

down (divisive clustering) or bottom-up (agglomerative clustering) manner by using some

similarity or distance measure.

▪ Single linkage (SL)

▪ Complete linkage (CL)

▪ Average linkage (AL)

o Partitioned clustering creates portions of instances by relocation them from one cluster to

another according to some criteria (e.g., minimizing the sum square error).

Multiple clustering techniques can be combined to produce better quality results:

• Cooperative clustering combines different clustering approaches.

Materials and methods

Twitter datasets

Four twitter datasets in English language are used for evaluating the selected algorithms. Three of these

are existing datasets:

1) Health Care Reform (HCR), subset of manually-labeled tweets with positive or negative label.

2) Sentiment Strength Twitter Dataset (SS-Tweet), labeled according to their positive and negative

sentiment strength. Labels are then re-assigned to these tweets.

3) Stanford Twitter Sentiment Test Set (STS-Test).

These datasets have widely been explored in previous studies.

The fourth (NewTweets) one is a newly collected dataset, which has been created as part of the current

study, this is collected based on keywords flu and migraine using Twitter4j API. It contains positive and

negative tweets, which were manually labeled by medical- domain specialists.

K-means clustering

This technique divides the given instances into k non-empty subsets. Depending on the value of k, it

computes the initial centroid around which partitioning is performed. At the beginning, the centroids are

selected randomly. Then, the distance between each instance and centroid is calculated. After first

iteration of k-means clustering, the mean value of each cluster is computed. The new mean values are now

considered as centroids for each cluster. The process continues until instances do not change their clusters.

Hierarchical clustering

a) Agglomerative clustering cluster data based on similarity; clustering process can be stopped until a

cutoff point (pre-defined number of clusters).

a. Single linkage (SL) algorithm, it starts by considering each instance as individual cluster and

then merges the closest clusters together; the process continues until the specified criteria are

met. In this study Euclidean distance measure is used as a starting point.

b. Complete linkage (CL) algorithm clusters the instances that are the furthest away from each

other. The clustering process is repeated until some specified criteria are met.

c. Average linkage (AL) algorithm computes the average distance among the elements in two

clusters.

b) Divisive clustering initially considers all data points as a big single cluster and then recursively split the

cluster(s) in a top- down manner until some pre-specified termination condition is met.

Cooperative clustering

In this approach, the strengths of multiple techniques are combined together to improve the overall

accuracy. In this study, we built the cooperative clustering framework by combining SL, CL and AL using

majority voting:

each algorithm places the tweet in one of the two clusters (positive tweets or negative tweets)

1. the selection method is invoked which places the tweet in the optimal cluster based on the majority

2. votes.

Classifiers

In this study, two well-known classifiers, Naïve Bayes and SVMs (support vector machines), are

experimented.

• Bayesian classification is a probability based supervised learning technique which aims to predict

the class label for unseen data. Posterior probability is the conditional probability computed when

relevant evidence is seen.

• SVMs builds non-linear classification models from the training data to predict the class of unseen

instances. SVMs find a separating hyperplane by transforming the original data into higher

dimensionality. In the research Linear kernel with default parameters is used.

Feature selection and representation

In this study, three text-mining feature representation techniques are considered: unigrams, TF-IDF and

polarity-based representation.

• Unigram representation weighs features using the boolean approach: if a feature (term) from

dictionary of terms exists in a tweet, it will be assigned a boolean value 1, otherwise 0.

• TF-IDF is a term weighting scheme which depicts importance of a term to different documents in a

given corpus.

• Polarity based representation examines positive and negative strength of words (e.g., good is a

positive word and bad is a negative one).

Evaluation Metrics

The performance of clustering and classification algorithms can be measured along different dimensions,

including quality and time efficiency.

The quality of clustering (and classification) results is a complex phenomenon that can be measured which

the approach of authoritativeness whereby the clustering results of an algorithm are compared against the

results of some authority (e.g., human experts).

Empirical study

1) Preprocessing wherein all tweets are first converted to lowercase letters and then tokenized. The stop

words, downloaded from the WordNet, are removed. All punctuations (e.g. !, =, ; etc.) and numbers are

eliminated. Emoticons are not considered in this study; hence they are also removed. All the repeated words and

URLs are removed as well in order to create unique tokens.

2) The preprocessed tweets are transformed into feature vectors. The features are represented using

unigrams, TF-IDF and words’ polarity.

3) The feature representation is submitted to each competing algorithm, in turn, for clustering. The

cooperative framework is also evoked which selects the optimal cluster for the given tweet based on

majority voting.

4) Accuracy and total time elapsed for each algorithm are recorded for later analysis.

Conclusion

Cooperative clustering seems to be the most suitable in terms of creating high quality clusters than all

other techniques. However, time efficiency of k-means clustering is the best as compared to other

techniques. The results also suggest that, especially, accuracy of the proposed cooperative-clustering

framework is comparable to classifiers which is encouraging.

In summary, our results suggest that cooperative clustering based on majority voting provides bet- ter

cluster quality with tradeoff of poor time efficiency. The findings of our study depict that clustering

techniques can be used for reliable (twitter) sentiment analysis. One future direction can be to combine

hiera