Полезная информация
Длительность 4 месяца
Начало обучения: 1 сентября 2026 года
Конец обучения: 20 января 2027 года
Обработка больших данных и их применение (Аршидинова Мукаддас) (CSE7873pol) (2026) (Осень) (Магистратура) (Рус.яз)
Цель дисциплины: формирование теоретических знаний и практических навыков проектирования масштабируемых систем хранения, обработки и анализа больших данных с использованием современных распределенных и потоковых технологий.
Содержание дисциплины: современные технологии хранения, преобразования и аналитической обработки больших данных. Изучаются технологии распределенной обработки Apache Spark, потоковой обработки Apache Kafka и Apache Flink. Рассматриваются архитектуры Data Lake и Lakehouse, методы построения масштабируемых аналитических платформ, потоковые данные и распределенные вычисления. Изучаются векторные базы данных Milvus, Weaviate, Pinecone и Qdrant, а также концепция Feature Store и ее применение в системах машинного обучения. Практические занятия предусматривают использование современных открытых наборов данных и платформ Kaggle, Hugging Face, OpenML и Google Colab.
Содержание дисциплины: современные технологии хранения, преобразования и аналитической обработки больших данных. Изучаются технологии распределенной обработки Apache Spark, потоковой обработки Apache Kafka и Apache Flink. Рассматриваются архитектуры Data Lake и Lakehouse, методы построения масштабируемых аналитических платформ, потоковые данные и распределенные вычисления. Изучаются векторные базы данных Milvus, Weaviate, Pinecone и Qdrant, а также концепция Feature Store и ее применение в системах машинного обучения. Практические занятия предусматривают использование современных открытых наборов данных и платформ Kaggle, Hugging Face, OpenML и Google Colab.