> ## Documentation Index
> Fetch the complete documentation index at: https://wb-21fd5541-serverless-sft-revamp.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.
# Keras
export const ColabLink = ({url}) =>
Try in Colab
;
기계학습 실험 트래킹, 데이터셋 버전 관리, 그리고 프로젝트 협업을 위해 W\&B를 사용하세요.
이 Colab 노트북은 `WandbMetricsLogger` 콜백을 소개합니다. [Experiment Tracking](/models/track/)을 위해 이 콜백을 사용하세요. 이 콜백은 트레이닝 및 검증 메트릭과 함께 시스템 메트릭을 W\&B로 로그합니다.
## 설정 및 설치
먼저, 최신 버전의 W\&B를 설치합니다. 그런 다음 W\&B를 사용하기 위해 이 Colab 인스턴스를 인증합니다.
```shell theme={null}
pip install -qq -U wandb
```
```python theme={null}
import os
import tensorflow as tf
from tensorflow.keras import layers
from tensorflow.keras import models
import tensorflow_datasets as tfds
# W&B 관련 임포트
import wandb
from wandb.integration.keras import WandbMetricsLogger
```
W\&B를 처음 사용하거나 로그인하지 않은 경우, `wandb.login()` 실행 후 나타나는 링크를 통해 가입/로그인 페이지로 이동할 수 있습니다. [무료 계정](https://wandb.ai/signup) 가입은 클릭 몇 번으로 간단히 완료됩니다.
```python theme={null}
wandb.login()
```
## 하이퍼파라미터
재현 가능한 기계학습을 위해 적절한 설정(config) 시스템을 사용하는 것이 권장되는 베스트 프랙티스입니다. W\&B를 사용하여 모든 실험의 하이퍼파라미터를 트래킹할 수 있습니다. 이 Colab에서는 간단한 Python `dict`를 설정 시스템으로 사용합니다.
```python theme={null}
configs = dict(
num_classes=10,
shuffle_buffer=1024,
batch_size=64,
image_size=28,
image_channels=1,
earlystopping_patience=3,
learning_rate=1e-3,
epochs=10,
)
```
## 데이터셋
이 Colab에서는 TensorFlow 데이터셋 카탈로그의 [Fashion-MNIST](https://www.tensorflow.org/datasets/catalog/fashion_mnist) 데이터셋을 사용합니다. TensorFlow/Keras를 사용하여 간단한 이미지 분류 파이프라인을 구축하는 것이 목표입니다.
```python theme={null}
train_ds, valid_ds = tfds.load("fashion_mnist", split=["train", "test"])
```
```python theme={null}
AUTOTUNE = tf.data.AUTOTUNE
def parse_data(example):
# 이미지 가져오기
image = example["image"]
# image = tf.image.convert_image_dtype(image, dtype=tf.float32)
# 레이블 가져오기
label = example["label"]
label = tf.one_hot(label, depth=configs["num_classes"])
return image, label
def get_dataloader(ds, configs, dataloader_type="train"):
dataloader = ds.map(parse_data, num_parallel_calls=AUTOTUNE)
if dataloader_type == "train":
dataloader = dataloader.shuffle(configs["shuffle_buffer"])
dataloader = dataloader.batch(configs["batch_size"]).prefetch(AUTOTUNE)
return dataloader
```
```python theme={null}
trainloader = get_dataloader(train_ds, configs)
validloader = get_dataloader(valid_ds, configs, dataloader_type="valid")
```
## 모델
```python theme={null}
def get_model(configs):
backbone = tf.keras.applications.mobilenet_v2.MobileNetV2(
weights="imagenet", include_top=False
)
backbone.trainable = False
inputs = layers.Input(
shape=(configs["image_size"], configs["image_size"], configs["image_channels"])
)
resize = layers.Resizing(32, 32)(inputs)
neck = layers.Conv2D(3, (3, 3), padding="same")(resize)
preprocess_input = tf.keras.applications.mobilenet.preprocess_input(neck)
x = backbone(preprocess_input)
x = layers.GlobalAveragePooling2D()(x)
outputs = layers.Dense(configs["num_classes"], activation="softmax")(x)
return models.Model(inputs=inputs, outputs=outputs)
```
```python theme={null}
tf.keras.backend.clear_session()
model = get_model(configs)
model.summary()
```
## 모델 컴파일
```python theme={null}
model.compile(
optimizer="adam",
loss="categorical_crossentropy",
metrics=[
"accuracy",
tf.keras.metrics.TopKCategoricalAccuracy(k=5, name="top@5_accuracy"),
],
)
```
## 트레이닝
```python theme={null}
# W&B Run 초기화
run = wandb.init(project="intro-keras", config=configs)
# 모델 트레이닝
model.fit(
trainloader,
epochs=configs["epochs"],
validation_data=validloader,
callbacks=[
WandbMetricsLogger(log_freq=10)
], # 여기서 WandbMetricsLogger 사용에 주목하세요
)
# W&B Run 종료
run.finish()
```
이 Colab 노트북은 `WandbMetricsLogger` 콜백을 소개합니다. [Experiment Tracking](/models/track/)을 위해 이 콜백을 사용하세요. 이 콜백은 트레이닝 및 검증 메트릭과 함께 시스템 메트릭을 W\&B로 로그합니다.
## 설정 및 설치
먼저, 최신 버전의 W\&B를 설치합니다. 그런 다음 W\&B를 사용하기 위해 이 Colab 인스턴스를 인증합니다.
```shell theme={null}
pip install -qq -U wandb
```
```python theme={null}
import os
import tensorflow as tf
from tensorflow.keras import layers
from tensorflow.keras import models
import tensorflow_datasets as tfds
# W&B 관련 임포트
import wandb
from wandb.integration.keras import WandbMetricsLogger
```
W\&B를 처음 사용하거나 로그인하지 않은 경우, `wandb.login()` 실행 후 나타나는 링크를 통해 가입/로그인 페이지로 이동할 수 있습니다. [무료 계정](https://wandb.ai/signup) 가입은 클릭 몇 번으로 간단히 완료됩니다.
```python theme={null}
wandb.login()
```
## 하이퍼파라미터
재현 가능한 기계학습을 위해 적절한 설정(config) 시스템을 사용하는 것이 권장되는 베스트 프랙티스입니다. W\&B를 사용하여 모든 실험의 하이퍼파라미터를 트래킹할 수 있습니다. 이 Colab에서는 간단한 Python `dict`를 설정 시스템으로 사용합니다.
```python theme={null}
configs = dict(
num_classes=10,
shuffle_buffer=1024,
batch_size=64,
image_size=28,
image_channels=1,
earlystopping_patience=3,
learning_rate=1e-3,
epochs=10,
)
```
## 데이터셋
이 Colab에서는 TensorFlow 데이터셋 카탈로그의 [Fashion-MNIST](https://www.tensorflow.org/datasets/catalog/fashion_mnist) 데이터셋을 사용합니다. TensorFlow/Keras를 사용하여 간단한 이미지 분류 파이프라인을 구축하는 것이 목표입니다.
```python theme={null}
train_ds, valid_ds = tfds.load("fashion_mnist", split=["train", "test"])
```
```python theme={null}
AUTOTUNE = tf.data.AUTOTUNE
def parse_data(example):
# 이미지 가져오기
image = example["image"]
# image = tf.image.convert_image_dtype(image, dtype=tf.float32)
# 레이블 가져오기
label = example["label"]
label = tf.one_hot(label, depth=configs["num_classes"])
return image, label
def get_dataloader(ds, configs, dataloader_type="train"):
dataloader = ds.map(parse_data, num_parallel_calls=AUTOTUNE)
if dataloader_type == "train":
dataloader = dataloader.shuffle(configs["shuffle_buffer"])
dataloader = dataloader.batch(configs["batch_size"]).prefetch(AUTOTUNE)
return dataloader
```
```python theme={null}
trainloader = get_dataloader(train_ds, configs)
validloader = get_dataloader(valid_ds, configs, dataloader_type="valid")
```
## 모델
```python theme={null}
def get_model(configs):
backbone = tf.keras.applications.mobilenet_v2.MobileNetV2(
weights="imagenet", include_top=False
)
backbone.trainable = False
inputs = layers.Input(
shape=(configs["image_size"], configs["image_size"], configs["image_channels"])
)
resize = layers.Resizing(32, 32)(inputs)
neck = layers.Conv2D(3, (3, 3), padding="same")(resize)
preprocess_input = tf.keras.applications.mobilenet.preprocess_input(neck)
x = backbone(preprocess_input)
x = layers.GlobalAveragePooling2D()(x)
outputs = layers.Dense(configs["num_classes"], activation="softmax")(x)
return models.Model(inputs=inputs, outputs=outputs)
```
```python theme={null}
tf.keras.backend.clear_session()
model = get_model(configs)
model.summary()
```
## 모델 컴파일
```python theme={null}
model.compile(
optimizer="adam",
loss="categorical_crossentropy",
metrics=[
"accuracy",
tf.keras.metrics.TopKCategoricalAccuracy(k=5, name="top@5_accuracy"),
],
)
```
## 트레이닝
```python theme={null}
# W&B Run 초기화
run = wandb.init(project="intro-keras", config=configs)
# 모델 트레이닝
model.fit(
trainloader,
epochs=configs["epochs"],
validation_data=validloader,
callbacks=[
WandbMetricsLogger(log_freq=10)
], # 여기서 WandbMetricsLogger 사용에 주목하세요
)
# W&B Run 종료
run.finish()
```