> ## Documentation Index
> Fetch the complete documentation index at: https://wb-21fd5541-serverless-sft-revamp.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.
# Keras 모델
export const ColabLink = ({url}) =>
Try in Colab
;
기계학습 실험 추적, 데이터 버전 관리 및 프로젝트 협업을 위해 W\&B를 사용해 보세요.
이 Colab 노트북은 `WandbModelCheckpoint` 콜백을 소개합니다. 이 콜백을 사용하여 모델 체크포인트를 W\&B [Artifacts](/models/artifacts/) 에 로그할 수 있습니다.
## 설정 및 설치
먼저, 최신 버전의 W\&B를 설치합니다. 그런 다음 이 Colab 인스턴스가 W\&B를 사용할 수 있도록 인증합니다.
```python theme={null}
!pip install -qq -U wandb
```
```python theme={null}
import os
import tensorflow as tf
from tensorflow.keras import layers
from tensorflow.keras import models
import tensorflow_datasets as tfds
# W&B 관련 임포트
import wandb
from wandb.integration.keras import WandbMetricsLogger
from wandb.integration.keras import WandbModelCheckpoint
```
W\&B를 처음 사용하거나 로그인하지 않은 경우, `wandb.login()` 실행 후 나타나는 링크를 통해 가입/로그인 페이지로 이동할 수 있습니다. [무료 계정](https://wandb.ai/signup) 에 가입하는 과정은 클릭 몇 번만으로 매우 간단합니다.
```python theme={null}
wandb.login()
```
## 하이퍼파라미터
적절한 config 시스템을 사용하는 것은 재현 가능한 기계학습을 위한 권장 사항입니다. W\&B를 사용하여 모든 실험에 대한 하이퍼파라미터를 추적할 수 있습니다. 이 Colab에서는 간단한 Python `dict` 를 config 시스템으로 사용하겠습니다.
```python theme={null}
configs = dict(
num_classes = 10,
shuffle_buffer = 1024,
batch_size = 64,
image_size = 28,
image_channels = 1,
earlystopping_patience = 3,
learning_rate = 1e-3,
epochs = 10
)
```
## 데이터셋
이 Colab에서는 TensorFlow 데이터셋 카탈로그의 [Fashion-MNIST](https://www.tensorflow.org/datasets/catalog/fashion_mnist) 데이터셋을 사용합니다. TensorFlow/Keras를 사용하여 간단한 이미지 분류 파이프라인을 구축하는 것이 목표입니다.
```python theme={null}
train_ds, valid_ds = tfds.load('fashion_mnist', split=['train', 'test'])
```
```python theme={null}
AUTOTUNE = tf.data.AUTOTUNE
def parse_data(example):
# 이미지 가져오기
image = example["image"]
# image = tf.image.convert_image_dtype(image, dtype=tf.float32)
# 레이블 가져오기
label = example["label"]
label = tf.one_hot(label, depth=configs["num_classes"])
return image, label
def get_dataloader(ds, configs, dataloader_type="train"):
dataloader = ds.map(parse_data, num_parallel_calls=AUTOTUNE)
if dataloader_type=="train":
dataloader = dataloader.shuffle(configs["shuffle_buffer"])
dataloader = (
dataloader
.batch(configs["batch_size"])
.prefetch(AUTOTUNE)
)
return dataloader
```
```python theme={null}
trainloader = get_dataloader(train_ds, configs)
validloader = get_dataloader(valid_ds, configs, dataloader_type="valid")
```
## 모델
```python theme={null}
def get_model(configs):
backbone = tf.keras.applications.mobilenet_v2.MobileNetV2(weights='imagenet', include_top=False)
backbone.trainable = False
inputs = layers.Input(shape=(configs["image_size"], configs["image_size"], configs["image_channels"]))
resize = layers.Resizing(32, 32)(inputs)
neck = layers.Conv2D(3, (3,3), padding="same")(resize)
preprocess_input = tf.keras.applications.mobilenet.preprocess_input(neck)
x = backbone(preprocess_input)
x = layers.GlobalAveragePooling2D()(x)
outputs = layers.Dense(configs["num_classes"], activation="softmax")(x)
return models.Model(inputs=inputs, outputs=outputs)
```
```python theme={null}
tf.keras.backend.clear_session()
model = get_model(configs)
model.summary()
```
## 모델 컴파일
```python theme={null}
model.compile(
optimizer = "adam",
loss = "categorical_crossentropy",
metrics = ["accuracy", tf.keras.metrics.TopKCategoricalAccuracy(k=5, name='top@5_accuracy')]
)
```
## 학습
```python theme={null}
# W&B Run 초기화
run = wandb.init(
project = "intro-keras",
config = configs
)
# 모델 학습
model.fit(
trainloader,
epochs = configs["epochs"],
validation_data = validloader,
callbacks = [
WandbMetricsLogger(log_freq=10),
WandbModelCheckpoint(filepath="models/model.keras") # 여기서 WandbModelCheckpoint를 사용하는 것에 주목하세요
]
)
# W&B Run 종료
run.finish()
```
이 Colab 노트북은 `WandbModelCheckpoint` 콜백을 소개합니다. 이 콜백을 사용하여 모델 체크포인트를 W\&B [Artifacts](/models/artifacts/) 에 로그할 수 있습니다.
## 설정 및 설치
먼저, 최신 버전의 W\&B를 설치합니다. 그런 다음 이 Colab 인스턴스가 W\&B를 사용할 수 있도록 인증합니다.
```python theme={null}
!pip install -qq -U wandb
```
```python theme={null}
import os
import tensorflow as tf
from tensorflow.keras import layers
from tensorflow.keras import models
import tensorflow_datasets as tfds
# W&B 관련 임포트
import wandb
from wandb.integration.keras import WandbMetricsLogger
from wandb.integration.keras import WandbModelCheckpoint
```
W\&B를 처음 사용하거나 로그인하지 않은 경우, `wandb.login()` 실행 후 나타나는 링크를 통해 가입/로그인 페이지로 이동할 수 있습니다. [무료 계정](https://wandb.ai/signup) 에 가입하는 과정은 클릭 몇 번만으로 매우 간단합니다.
```python theme={null}
wandb.login()
```
## 하이퍼파라미터
적절한 config 시스템을 사용하는 것은 재현 가능한 기계학습을 위한 권장 사항입니다. W\&B를 사용하여 모든 실험에 대한 하이퍼파라미터를 추적할 수 있습니다. 이 Colab에서는 간단한 Python `dict` 를 config 시스템으로 사용하겠습니다.
```python theme={null}
configs = dict(
num_classes = 10,
shuffle_buffer = 1024,
batch_size = 64,
image_size = 28,
image_channels = 1,
earlystopping_patience = 3,
learning_rate = 1e-3,
epochs = 10
)
```
## 데이터셋
이 Colab에서는 TensorFlow 데이터셋 카탈로그의 [Fashion-MNIST](https://www.tensorflow.org/datasets/catalog/fashion_mnist) 데이터셋을 사용합니다. TensorFlow/Keras를 사용하여 간단한 이미지 분류 파이프라인을 구축하는 것이 목표입니다.
```python theme={null}
train_ds, valid_ds = tfds.load('fashion_mnist', split=['train', 'test'])
```
```python theme={null}
AUTOTUNE = tf.data.AUTOTUNE
def parse_data(example):
# 이미지 가져오기
image = example["image"]
# image = tf.image.convert_image_dtype(image, dtype=tf.float32)
# 레이블 가져오기
label = example["label"]
label = tf.one_hot(label, depth=configs["num_classes"])
return image, label
def get_dataloader(ds, configs, dataloader_type="train"):
dataloader = ds.map(parse_data, num_parallel_calls=AUTOTUNE)
if dataloader_type=="train":
dataloader = dataloader.shuffle(configs["shuffle_buffer"])
dataloader = (
dataloader
.batch(configs["batch_size"])
.prefetch(AUTOTUNE)
)
return dataloader
```
```python theme={null}
trainloader = get_dataloader(train_ds, configs)
validloader = get_dataloader(valid_ds, configs, dataloader_type="valid")
```
## 모델
```python theme={null}
def get_model(configs):
backbone = tf.keras.applications.mobilenet_v2.MobileNetV2(weights='imagenet', include_top=False)
backbone.trainable = False
inputs = layers.Input(shape=(configs["image_size"], configs["image_size"], configs["image_channels"]))
resize = layers.Resizing(32, 32)(inputs)
neck = layers.Conv2D(3, (3,3), padding="same")(resize)
preprocess_input = tf.keras.applications.mobilenet.preprocess_input(neck)
x = backbone(preprocess_input)
x = layers.GlobalAveragePooling2D()(x)
outputs = layers.Dense(configs["num_classes"], activation="softmax")(x)
return models.Model(inputs=inputs, outputs=outputs)
```
```python theme={null}
tf.keras.backend.clear_session()
model = get_model(configs)
model.summary()
```
## 모델 컴파일
```python theme={null}
model.compile(
optimizer = "adam",
loss = "categorical_crossentropy",
metrics = ["accuracy", tf.keras.metrics.TopKCategoricalAccuracy(k=5, name='top@5_accuracy')]
)
```
## 학습
```python theme={null}
# W&B Run 초기화
run = wandb.init(
project = "intro-keras",
config = configs
)
# 모델 학습
model.fit(
trainloader,
epochs = configs["epochs"],
validation_data = validloader,
callbacks = [
WandbMetricsLogger(log_freq=10),
WandbModelCheckpoint(filepath="models/model.keras") # 여기서 WandbModelCheckpoint를 사용하는 것에 주목하세요
]
)
# W&B Run 종료
run.finish()
```