CC66Q - Primavera 2025 🍃

Repositorio del modulo de Procesamiento de Lenguaje Natural del Diplomado en Inteligencia Artificial del Departamento en Ciencias de la Computación de la Universidad de Chile

Equipo docente 🧑‍🏫:

• Profesores: Andrés Abeliuk, Fabián Villena.
• Profesor Auxiliar: Martin Paredes

Reglas del curso

• Curso online. Todas las cátedras seran tutoriales sobre el Procesamiento de Lenguaje Natural.
• Cada clase constara de tres partes: una teoríca, un práctica y una de trabajo personal.
• Habrán dos controles que serán evaluados, que pueden resolver en grupos de dos personas.
• Como en un entorno real, la colaboración es fundamental para resolver problemas. Por lo mismo, todas las evaluaciones serán grupales.
• El objetivo es que aprendan a medida que implementan. Por lo mismo, está prohibida la copia.

Canales de comunicación

• Foro de ucursos para cualquier duda de los contenidos del curso y administrativas. Todos los mails con consultas al equipo docente serán redirigidos al foro. Idea detrás de esto: La colaboración entre equipos.
• Github: materia práctico del módulo, laboratorios, tutoriales y tareas.

NLP Libraries and Tools

1. NLTK: Natural Language Toolkit
2. Gensim
3. spaCy: Industrial-strength NLP
4. Torchtext
5. AllenNLP: Open source project for designing deep leaning-based NLP models
6. HuggingFace Transformers
7. ChatGPT
8. Google Bard
9. Stanza - A Python NLP Library for Many Human Languages
10. FlairNLP: A very simple framework for state-of-the-art Natural Language Processing (NLP)
11. WEFE: The Word Embeddings Fairness Evaluation Framework
12. WhatLies: A library that tries help you to understand. "What lies in word embeddings?"
13. LASER:a library to calculate and use multilingual sentence embeddings
14. Sentence Transformers: Multilingual Sentence Embeddings using BERT / RoBERTa / XLM-RoBERTa & Co. with PyTorch
15. Datasets: a lightweight library with one-line dataloaders for many public datasets in NLP
16. RiverText: A Python Library for Training and Evaluating Incremental Word Embeddings from Text Data Streams

Notes and Books

1. Speech and Language Processing (3rd ed. draft) by Dan Jurafsky and James H. Martin.
2. Michael Collins' NLP notes.
3. A Primer on Neural Network Models for Natural Language Processing by Joav Goldberg.
4. Natural Language Understanding with Distributed Representation by Kyunghyun Cho
5. A Survey of Large Language Models
6. Natural Language Processing Book by Jacob Eisenstein
7. NLTK book
8. Embeddings in Natural Language Processing by Mohammad Taher Pilehvar and Jose Camacho-Collados
9. Dive into Deep Learning Book
10. Contextual Word Representations: A Contextual Introduction by Noah A. Smith

Other NLP Courses

1. CC6205: Curso de Natural Language Processing del DCC Uchile
2. CS224n: Natural Language Processing with Deep Learning, Stanford course
3. Deep Learning in NLP: slides by Horacio Rodríguez
4. David Bamman NLP Slides @Berkley
5. CS 521: Statistical Natural Language Processing by Natalie Parde, University of Illinois
6. 10 Free Top Notch Natural Language Processing Courses