머신러닝 & 딥러닝

MLOps 환경 구축 예시

에멜라 2023. 12. 13. 14:08

예시 1: TensorFlow 기반의 MLOps 파이프라인
데이터 처리 및 저장:

데이터베이스: PostgreSQL
데이터 웨어하우스: Google BigQuery
데이터 처리: Apache Airflow
모델 훈련 및 실험 관리:

머신 러닝 프레임워크: TensorFlow
실험 관리: MLflow
파이프라인 관리: Kubeflow Pipelines
모델 서빙 및 배포:

컨테이너화: Docker, Kubernetes
모델 서빙: TensorFlow Serving
CI/CD: Jenkins
모니터링 및 로깅:

모니터링: Prometheus, Grafana
로깅: ELK Stack

 


예시 2: PyTorch와 AWS 기반의 MLOps 파이프라인
데이터 처리 및 저장:

데이터베이스: Amazon RDS
데이터 웨어하우스: Amazon Redshift
데이터 처리: AWS Glue
모델 훈련 및 실험 관리:

머신 러닝 프레임워크: PyTorch
실험 관리: Weights & Biases
파이프라인 관리: AWS Step Functions
모델 서빙 및 배포:

컨테이너화: Amazon ECS, Kubernetes
모델 서빙: Amazon SageMaker
CI/CD: AWS CodePipeline