Tudo o que Você Precisa Saber Sobre a Filtragem Colaborativa

Antes de chegarmos em conceitos fundamentais como a filtragem colaborativa recommender systems e algoritmos de filtragem colaborativa, vamos entender recommender systems.

um sistema de recomendação Visa prever a preferência de um usuário, a fim de “recomendar” um item, que poderia ser um produto como roupas, ou poderia ser Filmes, serviços, etc., sistemas recommender tornaram-se muito importantes hoje por causa do excedente de opções em todos os domínios, e eles ajudam as empresas a colocar melhor seus produtos ou serviços para o aumento do movimento.

existem duas maneiras de construir um sistema de recomendação; uma é baseada em Conteúdo, e a outra é filtragem colaborativa. Vamos analisar a filtragem colaborativa em profundidade neste artigo, juntamente com exemplos de filtragem colaborativa.

35% de apoio Amazon.com as receitas são geradas pelo seu motor de recomendação.

existem duas maneiras, ou sentidos, em que a filtragem colaborativa executa sistemas de recomendação, e que é uma estreita e uma mais geral.

no sentido mais restrito, a filtragem colaborativa funciona prevendo a preferência de um utilizador, recolhendo e estudando as preferências de muitos outros utilizadores semelhantes.

Por exemplo, se o utilizador A e o utilizador B, ambos amam a mesma máquina de lavar roupa, as outras preferências de usuário B pode ser algo usuário estará interessado em seus gostos e necessidades semelhantes. Isso é feito, naturalmente, levando em consideração muitos usuários diferentes e numerosas preferências e reações, daí o termo filtragem colaborativa.

num sentido mais geral, filtragem colaborativa é o processo de prever a preferência de um utilizador ao estudar a sua actividade para derivar padrões.

por exemplo, ao estudar os gostos, avarias, falhas e vistas, um sistema de recomendação pode prever o que um usuário gosta e o que ele não gosta.

A diferença entre filtragem colaborativa e filtragem baseada em conteúdo é que o primeiro não precisa de informação de item, mas em vez disso trabalha com as preferências do Usuário.

Tipos de Filtragem Colaborativa

de Memória, ou a mais próxima do Bairro Algoritmo

Este método utiliza um sistema de classificação para prever as preferências de um usuário, levando em consideração as preferências de um usuário similar, ou o ‘vizinho’. Existem duas maneiras de calcular as preferências aqui, filtragem colaborativa baseada no usuário e filtragem colaborativa baseada em itens.

vamos primeiro considerar a filtragem colaborativa baseada no utilizador. Vamos dizer que temos uma matriz de classificações de n x m, para o usuário uᵢ, i = 1,…n, e o item pⱼ, j=1,…m. Vamos dizer que nós precisamos prever a classificação do item rᵢⱼ, um item j usuário que eu não assisti/nominal. Como este método funciona, é calcular as preferências do usuário I e combiná-las com outros usuários, selecionar o top X usuários similares, tomar suas classificações para o item rᵢⱼ, e encontrar a média ponderada para prever a classificação/preferência do usuário I possível do item.

Levando em consideração o fato de que alguns usuários tendem a ser demasiado branda, dando altas classificações para os itens que eles realmente não gostam, enquanto alguns usuários tendem a ser demasiado rigoroso, dando baixa audiência, mesmo para os itens que eles gostam, este método de Filtragem Colaborativa corrige a fórmula para se livrar do preconceito. Para corrigir isso, subtraímos a classificação média de cada usuário de todos os itens ao calcular a média ponderada e, em seguida, adicioná-la de volta para o usuário alvo:

similaridade pode ser calculada de duas maneiras: correlação de Pearson e similaridade Cossina.

resumindo este método, a ideia é encontrar utilizadores mais semelhantes ao nosso utilizador-alvo em termos de preferência, pesar as suas classificações para um item, e prever que como a classificação potencial para o nosso utilizador-alvo, para o item seleccionado.

em filtragem colaborativa baseada em itens, nós comparamos dois itens e assumimos que eles são semelhantes quando um usuário dá aos dois itens classificações semelhantes. Nós então prevemos que a classificação do Usuário para um item, calculando a média ponderada de classificações na maioria dos X itens similares deste usuário. Veja a imagem abaixo como um exemplo.

Modelo Baseado em Filtragem Colaborativa

este método de filtragem colaborativa recommender systems, diferente de mineração de dados e aprendizado de máquina algoritmos são usados para desenvolver um modelo para prever um usuário de classificação de um sem classificação item. Alguns exemplos destes modelos são Redes Bayesianas, modelos de agrupamento, decomposição de valores singulares, análise semântica latente probabilística, múltiplos fatores multiplicativos, alocação latente de Dirichlet e modelos baseados em processos de decisão de Markov.

filtragem colaborativa Híbrida

este método combina os sistemas de filtragem colaborativa baseados na memória e baseados em modelos para eliminar limitações como a escassez e a perda de informação. Este método, no entanto, é mais complexo de construir.

Filtragem Colaborativa Exemplo

Para obter uma boa compreensão de filtragem colaborativa recommender systems, deixe-nos fazer exame de um tempo real, filtragem colaborativa exemplo e criar um filtro de algoritmo em Python. O primeiro passo é definir o conjunto de dados. Se você é um iniciante em Python, confira este artigo de conhecimento:

Dataset

para este exemplo de filtragem colaborativa, precisamos primeiro acumular dados que contenham um conjunto de itens e usuários que tenham reagido a esses itens. Esta reação pode ser explícita, como uma classificação ou como ou não gostar, ou pode ser implícita, como ver um item, adicioná-lo a uma lista de desejos, ou ler um artigo.

estes conjuntos de dados são geralmente representados como uma matriz que consiste de um conjunto de utilizadores, itens, e as reacções dadas por estes utilizadores a estes itens. Aqui está um exemplo:

This matrix represents five users u1-u5, who have rated five items i1-i5, between ratings 1-5 (also no ratings). Na maioria dos casos, estas matrizes têm mais células vazias do que células completas, porque é muito improvável para muitos usuários classificar muitos dos itens na lista. Isto é conhecido como uma matriz esparsa.

pode utilizar esta lista de fontes de dados de alta qualidade para os seus projectos de algoritmo de filtragem colaborativa. Um bom lugar para começar é MovieLens 100K dataset que contém 100,000 avaliações para 1682 Filmes dados por 943 usuários, com cada usuário tendo avaliado pelo menos 20 filmes.

enquanto o conjunto de dados tem muitos campos úteis, os que estamos focando um em particular são:

u.item: the list of moviesu.data: the list of ratings given by users

o arquivo de dados U. contém uma lista separada de classificações e ID de usuário, ID de item, classificação e timestamp. Aqui está um exemplo:

o ficheiro inteiro contém dados para 100 000 classificações.

Creating the Collaborative Filtering Algorithm

The idea behind executing this project is to 1. Identificar usuários com preferências semelhantes e, em seguida, 2. Prever uma classificação para um filme por um usuário, que ainda não o avaliou. Teremos também de ter em conta a exactidão dos nossos resultados.

1 e 2 são alcançados usando diferentes conjuntos de algoritmos. Um ponto importante a lembrar é que não estamos preocupados com a idade dos usuários de amostra, demografia, etc. ou o género dos filmes, etc. Tudo o que nos preocupa São classificações implícitas e/ou explícitas para esses filmes por esses usuários.

A fim de medir a precisão do nosso resultado, podemos usar opções como erro quadrático médio, ou erro absoluto médio.

Memória baseados em Filtragem Colaborativa Algoritmo

neste método, estamos tentando prever a classificação R, que um usuário U seria, possivelmente, dar um item (o filme) I.

O primeiro passo é encontrar usuários que têm as mesmas preferências do usuário U, em seguida, calcular a classificação de R.

Aqui está um exemplo de como podemos encontrar usuários com preferências similares. Considere o conjunto de dados pequeno:

Estas são as classificações de 2 filmes, dada por 4 usuários A, B, C e D. traçar o de classificações, o gráfico parecido com este:

A distância entre pontos do enredo é uma maneira de obter uma idéia sobre semelhanças em juros. Podemos usar o seguinte programa para calcular a distância:

do Spatial de importação de scipy

estamos usando o scipy.espacial.distancia.função euclidiana para calcular a distância. Estamos a calcular a distância de C de A, B E D. Podemos ver, a partir do resultado e também da própria mesa, que C está mais próximo do B. Mas, também, gostaríamos de saber de A e D, que está mais próximo C. em termos de distância, podemos dizer D, mas olhando a tabela, pode-se dizer que A e C estão mais alinhados porque ambos gostam de filme de 2 duas vezes tanto como filme de 1 (considerando as proporções e não a avaliação real) enquanto o usuário D gosta de filmes quase igualmente, indicando suas preferências podem ser diferentes. O que a distância Euclidiana não pode prever, nós podemos possivelmente derivar do ângulo da linha conectando os usuários. Juntando os usuários, o gráfico se pareceria com:

podemos ver que quanto menor o ângulo entre duas linhas, mais semelhantes as suas referências. Para encontrar isso no programa, podemos executar o seguinte:

você pode ver que a semelhança Cosina entre a e b é 0, indicando semelhança estreita. Usando distância euclidiana e similaridade cossina é 2 dos diferentes métodos que você pode usar para calcular similaridade em preferência.

Calculando a classificação

uma vez que tenhamos identificado utilizadores com preferências semelhantes às do nosso Utilizador U, vamos prever a classificação que R U daria para um filme se eles ainda não tiverem Classificado. Mais uma vez, há muitas maneiras de fazer isso.

uma maneira simples é encontrar a média das classificações dadas para esse filme pelos usuários de topo similares. A expressão matemática seria::

Você também pode optar por uma abordagem ponderada se o no topo de usuários similares há uma grande diferença de opinião. Isso significaria dar mais peso ao usuário similar mais próximo e, em seguida, pesos descendentes. A expressão seria:

Limitations of Collaborative Filtering

One being, it does not take into consideration metadata. Os usuários podem classificar um filme com base em sua preferência pelo ator nele, por exemplo, mas filtragem colaborativa não vai levar isso em conta.

outra desvantagem é que a filtragem colaborativa não é muito eficaz a menos que muitos usuários tenham Classificado um monte de itens. Só então ele pode fazer o melhor jogo para um público semelhante e, em seguida, prever a classificação.

uma vez que a filtragem colaborativa precisa de grandes conjuntos de dados, para ser capaz de obter usuários com semelhanças próximas, muitas vezes há o problema da escassez de dados. Como vimos anteriormente, uma matriz esparsa é uma com mais células vazias do que células cheias, o que é quase sempre o caso.

escalabilidade é outra questão, como o algoritmo de filtragem colaborativa é geralmente escrito considerando n usuários. À medida que o conjunto de dados cresce, o programa global pode se tornar massivo.

Applications of Collaborative Filtering Recommender Systems

Collaborative Filtering finds the highest use in the social web. Você vai ver filtragem colaborativa em ação em aplicativos como YouTube, Netflix, e Reddit, entre muitos outros. Estas aplicações usam filtragem colaborativa para recomendar vídeos / posts que o Usuário é mais provável de gostar com base em seu algoritmo preditivo.

filtragem colaborativa é um método popular para programas de recomendação, apesar das limitações. Ele também é usado em plataformas de comércio eletrônico para recomendar produtos, com base em compras por usuários de preferências ou gostos semelhantes.

como programador, você precisará misturar algoritmos para tornar a filtragem colaborativa mais precisa, e também misturar métodos ou predição para obter os resultados mais precisos. O capítulo de Sistemas Recommender no livro Massive Dataset de mineração é também uma grande fonte de informação sobre filtragem colaborativa.

Nós também temos um Guia Completo sobre Como se Tornar um Cientista de Dados, que é algo que a maioria de aprendizagem de máquina entusiastas aspiram a se tornar.

para obter a habilitação correta para ciência dos dados, você deve inscrever-se em um curso de Ciência dos dados. Isto vai ajudá-lo a elevar a sua carreira como cientista de dados.