Alt Du Trenger Å Vite Om Samarbeidsfiltrering

Før vi kommer inn i kjernekonsepter som samarbeidsfiltreringsanbefalingssystemer og samarbeidsfiltreringsalgoritmer, la oss forstå anbefalingssystemer.

et anbefalingssystem tar sikte på å forutsi en brukers preferanser, for å ‘anbefale’ et element, som kan være et produkt som klær, eller kan være filmer, tjenester, etc., recommender systemer har blitt svært viktig i dag på grunn av overskudd av alternativer i hvert domene, og de hjelper bedrifter bedre plassere sine produkter eller tjenester for økt bevegelse.

det er to måter å bygge et anbefalingssystem på; den Ene Er Innholdsbasert, og Den andre Er Samarbeidsfiltrering. Vi skal se På Samarbeidsfiltrering i dybden i denne artikkelen, sammen med Samarbeidsfiltreringseksempler.

35% av Amazon.com s inntekter genereres av sin anbefalingsmotor.

det er to måter, eller sanser, der samarbeidsfiltrering kjører anbefalingssystemer, og det er en smal og en mer generell.

i smalere forstand fungerer samarbeidsfiltrering ved å forutsi en brukers preferanser, ved å samle inn og studere preferansene til mange andre lignende brukere.

for eksempel, hvis bruker A og bruker B begge foretrekker samme vaskemaskin, kan de andre preferansene til bruker B være noe bruker A vil være interessert i siden deres smak og behov er like. Dette gjøres selvfølgelig ved å ta hensyn til mange forskjellige brukere og mange preferanser og reaksjoner, derav begrepet samarbeidsfiltrering.

i en mer generell forstand er samarbeidsfiltrering prosessen med å forutsi en brukers preferanser ved å studere deres aktivitet for å utlede mønstre.

for eksempel, ved å studere liker, misliker, hopper og visninger, kan et anbefalingssystem forutsi hva en bruker liker og hva de misliker.

forskjellen mellom samarbeidsfiltrering og innholdsbasert filtrering er at førstnevnte ikke trenger elementinformasjon, men i stedet fungerer på brukerinnstillinger.

Typer Samarbeidsfiltrering

Minnebasert Eller Nærmeste Nabolagsalgoritme

denne metoden bruker et klassifiseringssystem for å forutsi preferansene til en bruker ved å ta hensyn til preferansene til en lignende bruker, eller ‘naboen’. Det er to måter å beregne preferanser her, brukerbasert Samarbeidsfiltrering og elementbasert Samarbeidsfiltrering.

la oss først vurdere brukerbasert Samarbeidsfiltrering. La oss si at vi har en matrise av rangeringer n x m, for bruker uᵢ, i = 1,…n og vare pⱼ, j = 1, … m. La oss si at vi må forutsi vurderingen av vare rᵢⱼ, en vare j som brukeren jeg ikke har sett/vurdert. Hvordan denne metoden fungerer, er å beregne bruker i ‘s preferanser og matche dem med andre brukere, velge de Beste x lignende brukere, ta sine vurderinger for varen rᵢⱼ, og finn det veide gjennomsnittet for å forutsi bruker i’ s mulige vurdering / preferanse av varen.

Tatt i betraktning det faktum at noen brukere har en tendens til å være for mild, noe som gir høye karakterer for elementer de egentlig ikke liker, mens noen brukere har en tendens til å være for strenge, noe som gir lave karakterer selv for elementer de liker, korrigerer Denne Metoden For Samarbeidsfiltrering formelen for å kvitte seg med bias. For å rette opp dette trekker vi hver brukers gjennomsnittlige vurdering av alle elementer når vi beregner det veide gjennomsnittet og legger det tilbake for målbrukeren:

Likhet kan beregnes på 2 måter: Pearson Korrelasjon og Cosinus Likhet.

Oppsummering av denne metoden er ideen å finne brukere som ligner mest på vår målbruker når det gjelder preferanse, veie deres karakterer for et element og forutsi det som potensiell vurdering for vår målbruker, for det valgte elementet.

i Elementbasert Samarbeidsfiltrering sammenligner vi to elementer og antar at de er like når en bruker gir de to elementene lignende karakterer. Vi forutsier deretter brukerens vurdering for en vare ved å beregne det veide gjennomsnittet av vurderinger på De Fleste x lignende elementer fra denne brukeren. Se bildet nedenfor som et eksempel.

Modellbasert Samarbeidsfiltrering

i denne metoden for anbefalte systemer for samarbeidsfiltrering brukes ulike data mining-og maskinlæringsalgoritmer til å utvikle en modell for å forutsi en brukers vurdering av et ikke-klassifisert element. Noen eksempler på Disse modellene er Bayesianske nettverk, clustering modeller, singular verdi dekomponering, probabilistisk latent semantisk analyse, multiple multiplikativ faktor, latent Dirichlet tildeling Og Markov beslutningsprosessbaserte modeller.

Hybrid Samarbeidsfiltrering

denne metoden kombinerer de minnebaserte Og modellbaserte Samarbeidsfiltreringssystemene for å eliminere begrensninger som sparsity og tap av informasjon. Denne metoden er imidlertid mer kompleks å bygge.

Samarbeidsfiltreringseksempel

for å få en god forståelse av samarbeidsfiltreringsanbefalingssystemer, la oss ta et samarbeidsfiltreringseksempel I sanntid Og bygge en samarbeidsfiltreringsalgoritme i Python. Det første trinnet er å definere datasettet. Hvis du er nybegynner I Python, sjekk ut denne kunnskapsartikkelen:

Datasett

for dette samarbeidsfiltreringseksemplet må vi først samle data som inneholder et sett med elementer og brukere som har reagert på disse elementene. Denne reaksjonen kan være eksplisitt, som en vurdering eller en lignende eller misliker, eller det kan være implisitt, som å se et element, legge det til en ønskeliste eller lese en artikkel.

disse datasettene er vanligvis representert som en matrise som består av et sett med brukere, elementer og reaksjonene gitt av disse brukerne til disse elementene. Her er et eksempel:

denne matrisen representerer fem brukere u1-u5, som har vurdert fem elementer i1-i5, mellom karakterer 1-5 (også ingen karakterer). I de fleste tilfeller har disse matrisene flere tomme celler enn fulle, fordi det er svært lite sannsynlig at mange brukere vurderer mange av elementene i listen. Dette er kjent som en sparsom matrise.

du kan bruke dette til en liste over datakilder av høy kvalitet for dine samarbeidende filtreringsalgoritmeprosjekter. Et godt sted å starte Er MovieLens 100k datasett som inneholder 100.000 karakterer for 1682 filmer gitt av 943 brukere, med hver bruker har vurdert minst 20 filmer.

mens datasettet har mange nyttige felt, er de vi fokuserer på en spesielt:

u.item: the list of moviesu.data: the list of ratings given by users

u. datafilen inneholder en egen liste over vurderinger og bruker-ID, element-ID, vurdering og tidsstempel. Her er et eksempel:

hele filen inneholder data for 100.000 slike karakterer.

Opprette Samarbeidsfiltreringsalgoritmen

ideen bak å utføre dette prosjektet er å 1. Identifiser brukere med lignende preferanser og deretter 2. Forutsi en vurdering for en film av en bruker, som ennå ikke har vurdert den. Vi må også ta hensyn til nøyaktigheten av våre resultater.

1 og 2 oppnås ved hjelp av forskjellige sett med algoritmer. Et viktig poeng å huske er at vi ikke er bekymret for prøvebrukernes alder, demografi, etc. eller filmens sjanger, etc. Alt vi er opptatt av er implisitte og / eller eksplisitte rangeringer for disse filmene av disse brukerne.

for å måle nøyaktigheten av resultatet vårt, kan vi bruke alternativer som Root Mean Square Error, Eller Mean Absolute Error.

Minnebasert Samarbeidsfiltreringsalgoritme

i denne metoden prøver vi å forutsi rating R at en bruker U muligens vil gi et element (filmen) I.

det første trinnet er å finne brukere som har lignende preferanser til bruker U, og deretter beregne rating R.

her er et eksempel på hvordan vi finner brukere med lignende preferanser. Tenk på det lille datasettet:

dette er rangeringer for 2 filmer, gitt av 4 brukere A, B, C og D. Plotting av rangeringer, grafen ser slik ut:

avstanden mellom plottpunkter er en måte å få en ide om likheter i interesse. Vi kan bruke følgende program for å beregne avstanden:

fra scipy import spatial

Vi bruker scipy.romlig.avstand.euklidsk funksjon for å beregne avstanden. Vi beregner avstanden Til C fra A, B og D. Vi kan se, fra resultatet og også fra bordet selv, At C er nærmest B. men også, vi vil gjerne vite Ut Av A og D som er nærmest C. når det gjelder avstand, kan Vi si D, men ser på bordet kan Vi si At A og C er mer justert fordi de begge liker film 2 dobbelt så mye som film 1 (vurderer forholdstall og ikke den faktiske vurderingen) mens bruker D liker begge filmene nesten like, noe som indikerer at deres preferanse kan være annerledes. Hva Den Euklidiske avstanden ikke kan forutsi, kan vi muligens utlede fra vinkelen på linjen som forbinder brukerne. Ved å bli med brukerne, vil grafen se ut som:

vi kan se at jo mindre vinkelen mellom to linjer, jo mer lik deres referanser. For å finne dette i programmet kan vi kjøre følgende:

du kan se at cosinus likheten mellom a og b er 0, noe som indikerer nær likhet. Bruke Euklidisk avstand og cosinus likhet er 2 av de forskjellige metodene du kan bruke til å beregne likhet i preferanse.

Beregning Av Rating

Når vi har identifisert brukere med lignende preferanser til vår bruker U, går vi om å forutsi rating R U ville gi for en film hvis de ennå ikke har vurdert. Igjen er det mange måter å gå om dette.

En enkel måte er å finne gjennomsnittet av karakterene gitt for den filmen av lignende toppbrukere. Det matematiske uttrykket ville være:

Du kan også gå for en vektet tilnærming hvis i de øverste lignende brukerne er det mye forskjell i oppfatning. Det ville bety å gi nærmeste lignende bruker mer vekt og deretter synkende vekter. Uttrykket ville være:

Begrensninger Av Samarbeidsfiltrering

Et vesen, det tar ikke hensyn til metadata. Brukere kan vurdere en film basert på deres preferanse for skuespilleren i den, for eksempel, men samarbeidsfiltrering vil ikke ta hensyn til dette.

En annen ulempe er at samarbeidsfiltrering ikke er veldig effektiv med mindre mange brukere har vurdert mange elementer. Først da kan det gjøre den beste kampen for et lignende publikum og deretter forutsi vurderingen.

Siden Samarbeidsfiltrering trenger store datasett, for å kunne få brukere med nære likheter, er det ofte problemet med data sparsity. Som vi så tidligere, er en sparsom matrise en med flere tomme celler enn fulle, noe som nesten alltid er tilfelle.

Skalerbarhet er et annet problem, Da Samarbeidsfiltreringsalgoritmen vanligvis skrives med tanke på n-brukere. Etter hvert som datasettet vokser, kan det samlede programmet bli massivt.

Applikasjoner Av Samarbeidsfiltreringsanbefalingssystemer

Samarbeidsfiltrering finner den høyeste bruken i det sosiale nettet. Du vil se samarbeidsfiltrering i aksjon på applikasjoner Som YouTube, Netflix og Reddit, blant mange andre. Disse programmene bruker Samarbeidsfiltrering for å anbefale videoer / innlegg som brukeren mest sannsynlig vil like basert på deres prediktive algoritme.

Samarbeidsfiltrering er en populær metode for anbefalingsprogrammer, til tross for begrensningene. Det brukes også i e-handelsplattformer for å anbefale produkter, basert på kjøp av brukere med lignende preferanser eller smak.

som programmerer må du blande algoritmer for å gjøre Samarbeidsfiltrering mer presis, og også blande metoder eller prediksjon for å få de mest nøyaktige resultatene. Recommender Systems kapittel I Mining Massive Dataset boken er også en stor kilde til informasjon Om Samarbeidsfiltrering.

Vi har Også En Komplett Guide Til Hvordan Man Blir Datavitenskapsmann, noe de fleste maskinlæringsentusiaster ønsker å bli.

for å få riktig datavitenskapskompetanse, bør du melde deg på Et Datavitenskapskurs. Dette vil hjelpe deg med å heve din karriere som Datavitenskapsmann.