IIC3633 Sistemas Recomendadores

Agosto-Diciembre 2020

Equipo Docente e Información Administrativa

Instructor: Denis Parra, Profesor Asociado PUC Chile, Ph.D. University of Pittsburgh

Ayudantes:
Vladimir Araujo, Alumno de Doctorado en Ciencia de la Computación PUC Chile.
Manuel Cartagena, Alumno de Magister en Ciencia de la Computación PUC Chile.
Andrés Carvallo, Alumno de Doctorado en Ciencia de la Computación PUC Chile.
Francisca Cattan, Alumna de Doctorado en Ciencia de la Computación PUC Chile.
Andrés Villa, Alumno de Doctorado en Ciencia de la Computación PUC Chile.

Institución: Pontificia Universidad Católica de Chile

Horario: Martes y Jueves, Módulo 3 (11:30 a 12:50).

Programa IIC 3633, 2do Semestre 2020: pdf.

Descripción del Curso

El curso de Sistemas Recomendadores cubre las principales tareas de recomendación, algoritmos, fuentes de datos y evaluación de estos sistemas. Al final de este curso serás capaz de decidir qué técnicas y fuentes de datos usar para implementar y evaluar sistemas recomendadores.

Software: pyRecLab.

La componente práctica de este curso se enseña a través del uso de pyRecLab desarrollado por Gabriel Sepúlveda (ex-alumno de este curso), biblioteca de software para desarrollo de sistemas recomendadores en Python.

Contenido:

Contenidos por Semana

Semana	Tema	link slide(s)	link video	comentario(s)
1	Introducción	x	video
1	Ranking no personalizado y Filtrado colaborativo (FC)	slides	video
1	User-based FC con clustering	slides	video
1	Pendiente Uno	slides	video
2	Item-based FC	slides	video
2	Factorización Matricial: FunkSVD	slides	video
3	Implicit Feedback CF	slides	video1 video2
3	Bayesian Personalized Ranking (BPR)	slides	video
4	Evaluación: metricas de error y ranking	slides	video	slides P Castells LARS 2019
4	Evaluación II: Cobertura, diversidad, novedad	slides	video
4	Evaluación III: Tests estadísticos	slides	video
5	Recomendación basada en contenido 1	slides	video
5	Recomendación basada en contenido 2	slides	video
6	Recomendación híbrida	slides	video
6	Recomendación por ensambles	slides	video
6	Recomendación basada en contexto	slides	video1 video2
6	Máquinas de Factorización	slides	video
7	Semana Break	Break	Break
8	Ideas de Proyecto	slides	video1 video2
9	Evaluación centrada en usuarios	slides	video1 video2
9	Sistemas Justos, Explicables y Transparentes	slides	video
10	Aprendizaje Activo (Active Learning)	slides	video
10	Bandits: Invitada PhD(c) Andrea Barraza	slides	video1 video2	Tutorial eng. RecSys 2020 video slides
11	Aprendizaje Profundo para RecSys (Intro y FC)	slides	video
11	Aprendizaje Profundo para RecSys (Secuencias)	slides	video
12	Aprendizaje Profundo para RecSys (Imágenes, Transformer, Grafos)	slides	video1 video2
12	10 problemas en Sistemas de Recomendación	slides	video

Parte II del curso: seminario

A partir de noviembre el curso toma modalidad seminario, los alumnos hacen presentaciones de los siguientes papers:

Semana	Tema	link slide(s)	link video	conferencia
13	CTRec: A Long-Short Demands Evolution Model for Continuous-Time Recommendation	slides	video	SIGIR 2019
13	Collaborative Similarity Embedding for Recommender Systems	slides	video	WWW 2019
13	Personalized re-ranking for recommendation	slides	video	RecSys 2019
13	Recommending what video to watch next: a multitask ranking system	slides	video	RecSys 2019
13	Interactive Recommender System via Knowledge Graph-enhanced Reinforcement Learning	slides	video	SIGIR 2020
13	The Impact of More Transparent Interfaces on Behavior in Personalized Recommendation	slides	video	SIGIR 2020
14	Complete the Look: Scene-based Complementary Product Recommendation	slides	video	CVPR 2019
14	Dynamic Online Conversation Recommendation	slides	video	ACL 2020
14	Temporal-Contextual Recommendation in Real-Time	slides	video	KDD 2020
14	What does BERT Know about Books, Movies and Music? Probing BERT for Conversational Recommendation	slides	video	RecSys 2020
14	Fairness-Aware Explainable Recommendation over Knowledge Graphs	slides	video	SIGIR 2020
15	Deep generative ranking for personalized recommendation	slides	video	RecSys 2019
15	Revisiting Adversarially Learned Injection Attacks Against Recommender Systems	slides	video	RecSys 2020
15	Neural Interactive Collaborative Filtering	slides	video	SIGIR 2020
15	Explanation Mining: Post Hoc Interpretability of Latent Factor Models for Recommendation Systems	slides	video	KDD 2018
15	Towards Conversational Recommendation over Multi-Type Dialogs	slides	video	ACL 2020
15	Self-Supervised Reinforcement Learning for Recommender Systems	slides	video	SIGIR 2020
16	Controlling Fairness and Bias in Dynamic Learning-to-Rank	slides	video	SIGIR 2020
16	Are we really making much progress? A worrying analysis of recent neural recommendation approaches	slides	video	RecSys 2019
16	KRED: Knowledge-aware Document Representation for News Recommendations	slides	video	RecSys 2020
16	Improving Relevance Prediction with Transfer Learning in Large-scale Retrieval Systems	slides	video	Workshop ICML 2019
16	BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer	slides	video	CIKM 2019

Proyectos finales

L@s estudiantes trabajaron en grupo sobre proyectos finales de curso, produciendo un poster, paper y repositorio con código para cada uno:

Imagen de la sesión de posters en gather.town del 15 de diciembre de 2020.

Grupo	Proyecto	Poster	Paper
1	Recomendación a conjuntos de usuarios en grupos heterogeneos Cartagena, Huerfano, Toscano	poster	paper
2	Personality bias in music recommendation:Beyond accuracy Objectives Valencia, Gonzalez	poster	paper
3	Attack learning: a method using GANs Castro, Casassus	poster	paper
4	Metrica Beyond Accuracy: Personal Labarca, Fuentes	poster	paper
5	Sequential Recommenders for MeLiDataChallenge 2020 Aguilera, Everke	poster	paper
6	Exploración de recomendadores híbridos para música Suarez, Carreño, Alipanah	poster	paper
7	Impacto del Sesgo de Popularidad en el tiempo, considerando multiples stakeholders Guiñez, Ruiz, Sanchez	poster	paper
8	Recomendación de items basada en la secuencia de compras: Aplicación DotA Salinas	poster	paper
9	Delay and preference based flight recommendation Waugh, Hanuch, Ricke	poster	paper
10	Changing the way we predict game purchases Duarte, Lopez, Rodriguez	poster	paper
11	MelAE: A content-based next track recommendation from Mel Sprectrograms Diaz, Vinay	poster	paper
12	Optimizing Hyper-parameters un RecSys using rolling averages Alliende	poster	paper
13	Ramos Perez on MeliChallenge 2020 Perez, Ramos	poster	paper
14	RL Algorithms for video game recsys Tapia, Villagrán	poster	paper
15	Matrix factorizacion and content-based recsysy for playlist continuation Biskupovic	poster	paper
16	Topic Recommendation for Call Centers Andrade, Dominguez, Patillo	poster	paper
17	Recomendacion a grupos: metrica de similaridad y modelos de agrupacion Olguin, Ibarra	poster	paper
18	Recommendation of COVID-19 articles using Deep Knowledge-Aware Network Donoso-Guzmán	poster	paper
19	RecGAN as anime recommender systems Codoceo, Escudero, Torres	poster	paper
20	Sistema Recomendador de Lecciones Aprendidas en Cursos Capstone Contreras, Molina, Stambuk	poster	paper
21	Finding Similar Users with Recommender Systems Ovalle, Valdes	poster	paper

MES 1 En las primeras semanas nos enfocaremos en métodos básicos para hacer recomendación usando y prediciendo ratings (filtrado colaborativo User-based & item-based, slope-one). Luego veremos métodos de factorización matricial para ratings y para feedback implícito. En la 3ra semana veremos formas adicionales de evaluar más alla de la métricas de error de predicción de rating (MAE, MSE, RMSE) e incorporaremos métricas para evaluar listas de ítems (precision, recall, MAP, P@n, nDCG). Veremos métodos basados en contenido y sistemas híbridos.

MES 2 Métodos basados en contexto, máquinas de factorización y modelos fundamentales de deep learning para recomendación. Recapitulación de las tareas de recomendacion (predecir rating, predecir una lista de items, recomendar una secuencia, recomendación TopN) y de su evaluacion considerando diversidad, novedad, coverage, y otras métricas.

MES 3 User-centric RecSys, FAT (Fairness, Accountability and Transparency), Aplicaciones de Deep learning para problemas más específicos: recomendación de ropa, multimedia, etc. Modelos profundos generativos para recomendación. Revisaremos problemas de recomendación aún no resueltos en el área.

MES 4 Principalmente presentaciones de alumnos.

Código de Honor

Este curso adscribe el Código de Honor establecido por la Escuela de Ingeniería el que es vinculante. Todo trabajo evaluado en este curso debe ser propio. En caso de que exista colaboración permitida con otros estudiantes, el trabajo deberá referenciar y atribuir correctamente dicha contribución a quien corresponda. Como estudiante es su deber conocer la versión en línea del Código de Honor

Evaluaciones

Detalles de las evaluaciones en esta presentacion.

Tarea 1

Al final de las primeras 4 semanas, las(los) estudiantes implementarán mecanismos de recomendación para predecir ratings y para rankear items en un dataset que se entregará durante clases. Usarán la biblioteca pyreclab para los métodos básicos, pero si quieren optar a la nota máxima debe hacer un sistema híbrido o contextual que utilice información de contenido, como texto o imágenes. Para tener una idea de qué se trata la tarea, pueden revisar el enunciado de la tarea del año 2019

Lecturas: Blog y Presentación

Fecha de revisión de blogs: El post de la semana x, tiene fecha de entrega el lunes a las 12pm de la semana x+1. Ejemplo: Las lecturas de la semana 1 (del 10 al 14 de agosto) se entregan a más tardar el lunes 17 de agosto de 2020 a las 8pm.

Cada alumno tendrá un repositorio en github (debe indicarlo en este formulario) donde escribirá en markdown sus comentarios respecto de los papers indicados como obligatorios. No es necesario hacer un resumen largo del paper, sino indicar un resumen corto, puntos que pueden abrir discusión, mejoras o controversias: Evaluación inadecuada, parámetros importantes no considerados, potenciales mejoras de los algoritmos, fuentes de datos que podían mejorar los resultados, etc.

Adicionalmente, cada alumno presentará al menos una vez durante el semestre un paper sobre un tópico, con el objetivo de abrir una discusión sobre el tema durante la clase.

Proyecto Final

Durante septiembre, las(los) estudiantes enviarán una idea de proyecto final, la cual desarrollarán durante octubre y noviembre. Enviarán un informe de avance a fines de octubre, para hacer una presentación de su proyecto al final del curso en una sesión de posters.

Planificación general (sujeta a actualización)

(actualizada el 8 de octubre de 2020)

Lecturas por Semana

Semana 1:

Obligatorias

• Sarwar, B., Karypis, G., Konstan, J., & Riedl, J. (2001). Item-based collaborative filtering recommendation algorithms. In Proceedings of the 10th international conference on World Wide Web (pp. 285-295).

• Post original FunkSVD

Sugeridas

• Schafer, J. B., Frankowski, D., Herlocker, J., & Sen, S. (2007). Collaborative filtering recommender systems. In The adaptive web (pp. 291-324). Springer Berlin Heidelberg.
• Lemire, D., & Maclachlan, A. (2005). Slope One Predictors for Online Rating-Based Collaborative Filtering. In SDM (Vol. 5, pp. 1-5).

Semana 2:

Obligatorias

• Hu, Y., Koren, Y., & Volinsky, C. (2008). Collaborative filtering for implicit feedback datasets. In Data Mining, 2008. ICDM’08. Eighth IEEE International Conference on (pp. 263-272). IEEE.
• Rendle, S., Freudenthaler, C., Gantner, Z., & Schmidt-Thieme, L. (2009). BPR: Bayesian personalized ranking from implicit feedback. In Proceedings of the Twenty-Fifth Conference on Uncertainty in Artificial Intelligence (pp. 452-461). AUAI Press.

Sugeridas

• Jannach, D., Lerche, L., & Zanker, M. (2018). Recommending based on implicit feedback. In Social Information Access (pp. 510-569). Springer, Cham.
• Takács, G., Pilászy, I., Németh, B., & Tikk, D. (2009). Scalable collaborative filtering approaches for large recommender systems. Journal of machine learning research, 10(Mar), 623-656.
• Pan, R., Zhou, Y., Cao, B., Liu, N. N., Lukose, R., Scholz, M., & Yang, Q. (2008). One-class collaborative filtering. In 2008 Eighth IEEE International Conference on Data Mining (pp. 502-511). IEEE. En este artículo aparecen la derivación y reglas de actualización de los parámetros así como las nociones de AMAN y AMAU.
• Srebro, N., & Jaakkola, T. (2003). Weighted low-rank approximations. In Proceedings of the 20th International Conference on Machine Learning (ICML-03) (pp. 720-727). Artículo citado por Pan et al. (2008) indicando detalles de la versión no regularizada que inspira OCCF.
• El siguiente paper es opcional, pero permite entender cómo se deriva e del paper de Hu et al.: Takács, G., Pilászy, I., & Tikk, D. (2011). Applications of the conjugate gradient method for implicit feedback collaborative filtering. In Proceedings of the fifth ACM conference on Recommender systems (pp. 297-300). ACM.
• Verstrepen, K., Bhaduriy, K., Cule, B., & Goethals, B. (2017). Collaborative filtering for binary, positiveonly data. ACM Sigkdd Explorations Newsletter, 19(1), 1-21.

Semana 3:

Obligatorias

• Cremonesi, P., Koren, Y., & Turrin, R. (2010). Performance of recommender algorithms on top-n recommendation tasks. In Proceedings of the fourth ACM conference on Recommender systems (pp. 39-46). ACM.
• Guy, S., & Gunawardana, A.. (2011) “Evaluating recommendation systems.” In Recommender systems handbook, pp. 257-297. Springer US, 2011.

Sugeridas

• Herlocker, J. L., Konstan, J. A., Terveen, L. G., & Riedl, J. T. (2004). Evaluating collaborative filtering recommender systems. ACM Transactions on Information Systems (TOIS), 22(1), 5-53.

Semana 4:

Obligatorias

• Pazzani, M. J., & Billsus, D. (2007). Content-based recommendation systems. In The adaptive web (pp. 325-341). Springer Berlin Heidelberg. Xu, W., Liu, X., & Gong, Y. (2003).
• Document clustering based on non-negative matrix factorization. In Proceedings of the 26th annual international ACM SIGIR conference on Research and development in informaion retrieval (pp. 267-273). ACM.

Sugeridas

• Messina, P., Dominguez, V., Parra, D., Trattner, C., & Soto, A. (2019). Content-based artwork recommendation: integrating painting metadata with neural and manually-engineered visual features. User Modeling and User-Adapted Interaction, 29(2), 251-290.
• Celma, Ò., & Herrera, P. (2008). A new approach to evaluating novel recommendations. In Proceedings of the 2008 ACM conference on Recommender systems (pp. 179-186).
• Van den Oord, A., Dieleman, S., & Schrauwen, B. (2013). Deep content-based music recommendation. In Advances in neural information processing systems (pp. 2643-2651).

Semana 5:

Obligatorias (esta semana se puede elegir una de las dos para entregar)*

• Adomavicius, G., Mobasher, B., Ricci, F. and Tuzhilin, A. (2011). Context-Aware Recommender Systems. AI Magazine, 32(3), 67-80.
• Jahrer, M., Töscher, A. and Legenstein, R. (2010). Combining predictions for accurate recommender systems. In Proceedings of the 16th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 693-702. ACM.

Sugeridas

• Pigi K., Shobeir F., James F., Magdalini E. and Lise G. (2015). HyPER: A Flexible and Extensible Probabilistic Framework for Hybrid Recommender Systems. In Proceedings of the 9th ACM Conference on Recommender Systems (RecSys '15), 99–106. ACM.
• Rendle, S. (2010). Factorization machines. In 2010 IEEE International Conference on Data Mining (pp. 995-1000). IEEE.

*No olvidar declarar en la crítica el título elegido.

Semanas 6 y 7:

Libre de lecturas (fiestas patrias)

Semana 8 :

Obligatorias con entrega lunes 5 de octubre

• Pu, P., Chen, L. and Hu, R. (2011). A user-centric evaluation framework for recommender systems. RecSys'11 - Proceedings of the 5th ACM Conference on Recommender Systems. 157-164.
• Parra, D., Brusilovsky, P., and Trattner, C. (2014). See What You Want to See: Visual User-Driven Approach for Hybrid Recommendation. International Conference on Intelligent User Interfaces, Proceedings IUI.

Obligatoria con entrega miércoles 7 de octubre

• Knijnenburg, B., Bostandjiev, S., O'Donovan, J., and Kobsa, A. (2012). Inspectability and control in social recommenders. RecSys'12 - Proceedings of the 6th ACM Conference on Recommender Systems.

Semana 9 :

Obligatorias

• Cañamares, R., Redondo, M., & Castells, P. (2019). Multi-armed recommender system bandit ensembles. In Proceedings of the 13th ACM Conference on Recommender Systems (pp. 432-436).
• Bendada, W., Salha, G., & Bontempelli, T. (2020). Carousel Personalization in Music Streaming Apps with Contextual Bandits. In Fourteenth ACM Conference on Recommender Systems (pp. 420-425).

Sugeridas

• Lacerda, A., Santos, R. L., Veloso, A., & Ziviani, N. (2015). Improving daily deals recommendation using explore-then-exploit strategies. Information Retrieval Journal, 18(2), 95-122.
• Guillou, F., Gaudel, R., & Preux, P. (2016). Scalable explore-exploit collaborative filtering. In Pacific Asia Conference On Information Systems (PACIS). Association For Information System.
• Teo, C. H., Nassif, H., Hill, D., Srinivasan, S., Goodman, M., Mohan, V., & Vishwanathan, S. V. N. (2016). Adaptive, personalized diversity for visual discovery. In Proceedings of the 10th ACM conference on recommender systems (pp. 35-38).

Semana 10 :

Obligatorias

• Hasta la sección 3.4 (incluyendo 3.4): Zhang, S., Yao, L., Sun, A., & Tay, Y. (2019). Deep learning based recommender system: A survey and new perspectives. ACM Computing Surveys (CSUR), 52(1), 1-38.

Sugeridas

• Covington, P., Adams, J., & Sargin, E. (2016). Deep neural networks for youtube recommendations. In Proceedings of the 10th ACM conference on recommender systems (pp. 191-198).
• Bansal, T., Belanger, D., & McCallum, A. (2016). Ask the gru: Multi-task learning for deep text recommendations. In Proceedings of the 10th ACM Conference on Recommender Systems (pp. 107-114).

Semana 11 :

Obligatorias

• Desde la sección 3.5 en adelante: Zhang, S., Yao, L., Sun, A., & Tay, Y. (2019). Deep learning based recommender system: A survey and new perspectives. ACM Computing Surveys (CSUR), 52(1), 1-38.

Sugeridas

• Chen, J., Zhang, H., He, X., Nie, L., Liu, W., & Chua, T. S. (2017). Attentive collaborative filtering: Multimedia recommendation with item-and component-level attention. In Proceedings of the 40th International ACM SIGIR conference on Research and Development in Information Retrieval (pp. 335-344).
• Liang, D., Krishnan, R. G., Hoffman, M. D., & Jebara, T. (2018). Variational autoencoders for collaborative filtering. In Proceedings of the 2018 World Wide Web Conference (pp. 689-698).