> ## Documentation Index
> Fetch the complete documentation index at: https://wb-21fd5541-serverless-sft-revamp.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.
# Keras tables
export const ColabLink = ({url}) =>
Try in Colab
;
기계학습 실험 트래킹, 데이터셋 버전 관리, 그리고 프로젝트 협업을 위해 W\&B를 사용해 보세요.
이 Colab 노트북은 모델 예측 시각화 및 데이터셋 시각화를 위한 유용한 콜백을 구축할 때 상속받아 사용할 수 있는 추상 콜백인 `WandbEvalCallback`을 소개합니다.
## 설정 및 설치
먼저 최신 버전의 W\&B를 설치합니다. 그런 다음 이 Colab 인스턴스가 W\&B를 사용할 수 있도록 인증을 진행합니다.
```shell theme={null}
pip install -qq -U wandb
```
```python theme={null}
import os
import numpy as np
import tensorflow as tf
from tensorflow.keras import layers
from tensorflow.keras import models
import tensorflow_datasets as tfds
# W&B 관련 임포트
import wandb
from wandb.integration.keras import WandbMetricsLogger
from wandb.integration.keras import WandbModelCheckpoint
from wandb.integration.keras import WandbEvalCallback
```
W\&B를 처음 사용하거나 로그인하지 않은 경우, `wandb.login()` 실행 후 나타나는 링크를 통해 가입/로그인 페이지로 이동할 수 있습니다. [무료 계정](https://wandb.ai/signup) 가입은 클릭 몇 번으로 간단히 완료됩니다.
```python theme={null}
wandb.login()
```
## 하이퍼파라미터
재현 가능한 기계학습을 위해 적절한 설정(config) 시스템을 사용하는 것이 권장되는 모범 사례입니다. W\&B를 사용하여 모든 실험의 하이퍼파라미터를 트래킹할 수 있습니다. 이 Colab에서는 간단한 Python `dict`를 설정 시스템으로 사용합니다.
```python theme={null}
configs = dict(
num_classes=10,
shuffle_buffer=1024,
batch_size=64,
image_size=28,
image_channels=1,
earlystopping_patience=3,
learning_rate=1e-3,
epochs=10,
)
```
## 데이터셋
이 Colab에서는 TensorFlow 데이터셋 카탈로그의 [Fashion-MNIST](https://www.tensorflow.org/datasets/catalog/fashion_mnist) 데이터셋을 사용합니다. TensorFlow/Keras를 사용하여 간단한 이미지 분류 파이프라인을 구축하는 것이 목표입니다.
```python theme={null}
train_ds, valid_ds = tfds.load("fashion_mnist", split=["train", "test"])
```
```
AUTOTUNE = tf.data.AUTOTUNE
def parse_data(example):
# 이미지 가져오기
image = example["image"]
# image = tf.image.convert_image_dtype(image, dtype=tf.float32)
# 레이블 가져오기
label = example["label"]
label = tf.one_hot(label, depth=configs["num_classes"])
return image, label
def get_dataloader(ds, configs, dataloader_type="train"):
dataloader = ds.map(parse_data, num_parallel_calls=AUTOTUNE)
if dataloader_type=="train":
dataloader = dataloader.shuffle(configs["shuffle_buffer"])
dataloader = (
dataloader
.batch(configs["batch_size"])
.prefetch(AUTOTUNE)
)
return dataloader
```
```python theme={null}
trainloader = get_dataloader(train_ds, configs)
validloader = get_dataloader(valid_ds, configs, dataloader_type="valid")
```
## 모델
```python theme={null}
def get_model(configs):
backbone = tf.keras.applications.mobilenet_v2.MobileNetV2(
weights="imagenet", include_top=False
)
backbone.trainable = False
inputs = layers.Input(
shape=(configs["image_size"], configs["image_size"], configs["image_channels"])
)
resize = layers.Resizing(32, 32)(inputs)
neck = layers.Conv2D(3, (3, 3), padding="same")(resize)
preprocess_input = tf.keras.applications.mobilenet.preprocess_input(neck)
x = backbone(preprocess_input)
x = layers.GlobalAveragePooling2D()(x)
outputs = layers.Dense(configs["num_classes"], activation="softmax")(x)
return models.Model(inputs=inputs, outputs=outputs)
```
```python theme={null}
tf.keras.backend.clear_session()
model = get_model(configs)
model.summary()
```
## 모델 컴파일
```python theme={null}
model.compile(
optimizer="adam",
loss="categorical_crossentropy",
metrics=[
"accuracy",
tf.keras.metrics.TopKCategoricalAccuracy(k=5, name="top@5_accuracy"),
],
)
```
## `WandbEvalCallback`
`WandbEvalCallback`은 주로 모델 예측 시각화와 부수적으로 데이터셋 시각화를 위한 Keras 콜백을 구축하기 위한 추상 기본 클래스입니다.
이것은 데이터셋과 태스크에 구애받지 않는 추상 콜백입니다. 이를 사용하려면 이 기본 콜백 클래스를 상속받아 `add_ground_truth`와 `add_model_prediction` 메소드를 구현하세요.
`WandbEvalCallback`은 다음과 같은 유용한 메소드를 제공하는 유틸리티 클래스입니다:
* 데이터 및 예측 `wandb.Table` 인스턴스 생성
* 데이터 및 예측 Table을 `wandb.Artifact`로 로그
* `on_train_begin` 시점에 데이터 테이블 로그
* `on_epoch_end` 시점에 예측 테이블 로그
예시로, 아래 이미지 분류 태스크를 위해 `WandbClfEvalCallback`을 구현했습니다. 이 예시 콜백은 다음과 같이 작동합니다:
* 검증 데이터(`data_table`)를 W\&B에 로그합니다.
* 추론을 수행하고 매 에포크가 끝날 때마다 예측 결과(`pred_table`)를 W\&B에 로그합니다.
## 메모리 사용량을 줄이는 방법
`on_train_begin` 메소드가 호출될 때 `data_table`을 W\&B에 로그합니다. W\&B Artifact로 업로드되면 `data_table_ref` 클래스 변수를 통해 이 테이블에 대한 참조를 얻을 수 있습니다. `data_table_ref`는 2차원 리스트로, `self.data_table_ref[idx][n]`과 같이 인덱싱할 수 있습니다. 여기서 `idx`는 행 번호이고 `n`은 열 번호입니다. 아래 예시에서 사용법을 확인해 보세요.
```python theme={null}
class WandbClfEvalCallback(WandbEvalCallback):
def __init__(
self, validloader, data_table_columns, pred_table_columns, num_samples=100
):
super().__init__(data_table_columns, pred_table_columns)
self.val_data = validloader.unbatch().take(num_samples)
def add_ground_truth(self, logs=None):
for idx, (image, label) in enumerate(self.val_data):
self.data_table.add_data(idx, wandb.Image(image), np.argmax(label, axis=-1))
def add_model_predictions(self, epoch, logs=None):
# 예측값 가져오기
preds = self._inference()
table_idxs = self.data_table_ref.get_index()
for idx in table_idxs:
pred = preds[idx]
self.pred_table.add_data(
epoch,
self.data_table_ref.data[idx][0],
self.data_table_ref.data[idx][1],
self.data_table_ref.data[idx][2],
pred,
)
def _inference(self):
preds = []
for image, label in self.val_data:
pred = self.model(tf.expand_dims(image, axis=0))
argmax_pred = tf.argmax(pred, axis=-1).numpy()[0]
preds.append(argmax_pred)
return preds
```
## 학습
```python theme={null}
# W&B Run 초기화
run = wandb.init(project="intro-keras", config=configs)
# 모델 학습
model.fit(
trainloader,
epochs=configs["epochs"],
validation_data=validloader,
callbacks=[
WandbMetricsLogger(log_freq=10),
WandbClfEvalCallback(
validloader,
data_table_columns=["idx", "image", "ground_truth"],
pred_table_columns=["epoch", "idx", "image", "ground_truth", "prediction"],
), # 여기서 WandbEvalCallback 사용에 주목하세요
],
)
# W&B Run 종료
run.finish()
```
이 Colab 노트북은 모델 예측 시각화 및 데이터셋 시각화를 위한 유용한 콜백을 구축할 때 상속받아 사용할 수 있는 추상 콜백인 `WandbEvalCallback`을 소개합니다.
## 설정 및 설치
먼저 최신 버전의 W\&B를 설치합니다. 그런 다음 이 Colab 인스턴스가 W\&B를 사용할 수 있도록 인증을 진행합니다.
```shell theme={null}
pip install -qq -U wandb
```
```python theme={null}
import os
import numpy as np
import tensorflow as tf
from tensorflow.keras import layers
from tensorflow.keras import models
import tensorflow_datasets as tfds
# W&B 관련 임포트
import wandb
from wandb.integration.keras import WandbMetricsLogger
from wandb.integration.keras import WandbModelCheckpoint
from wandb.integration.keras import WandbEvalCallback
```
W\&B를 처음 사용하거나 로그인하지 않은 경우, `wandb.login()` 실행 후 나타나는 링크를 통해 가입/로그인 페이지로 이동할 수 있습니다. [무료 계정](https://wandb.ai/signup) 가입은 클릭 몇 번으로 간단히 완료됩니다.
```python theme={null}
wandb.login()
```
## 하이퍼파라미터
재현 가능한 기계학습을 위해 적절한 설정(config) 시스템을 사용하는 것이 권장되는 모범 사례입니다. W\&B를 사용하여 모든 실험의 하이퍼파라미터를 트래킹할 수 있습니다. 이 Colab에서는 간단한 Python `dict`를 설정 시스템으로 사용합니다.
```python theme={null}
configs = dict(
num_classes=10,
shuffle_buffer=1024,
batch_size=64,
image_size=28,
image_channels=1,
earlystopping_patience=3,
learning_rate=1e-3,
epochs=10,
)
```
## 데이터셋
이 Colab에서는 TensorFlow 데이터셋 카탈로그의 [Fashion-MNIST](https://www.tensorflow.org/datasets/catalog/fashion_mnist) 데이터셋을 사용합니다. TensorFlow/Keras를 사용하여 간단한 이미지 분류 파이프라인을 구축하는 것이 목표입니다.
```python theme={null}
train_ds, valid_ds = tfds.load("fashion_mnist", split=["train", "test"])
```
```
AUTOTUNE = tf.data.AUTOTUNE
def parse_data(example):
# 이미지 가져오기
image = example["image"]
# image = tf.image.convert_image_dtype(image, dtype=tf.float32)
# 레이블 가져오기
label = example["label"]
label = tf.one_hot(label, depth=configs["num_classes"])
return image, label
def get_dataloader(ds, configs, dataloader_type="train"):
dataloader = ds.map(parse_data, num_parallel_calls=AUTOTUNE)
if dataloader_type=="train":
dataloader = dataloader.shuffle(configs["shuffle_buffer"])
dataloader = (
dataloader
.batch(configs["batch_size"])
.prefetch(AUTOTUNE)
)
return dataloader
```
```python theme={null}
trainloader = get_dataloader(train_ds, configs)
validloader = get_dataloader(valid_ds, configs, dataloader_type="valid")
```
## 모델
```python theme={null}
def get_model(configs):
backbone = tf.keras.applications.mobilenet_v2.MobileNetV2(
weights="imagenet", include_top=False
)
backbone.trainable = False
inputs = layers.Input(
shape=(configs["image_size"], configs["image_size"], configs["image_channels"])
)
resize = layers.Resizing(32, 32)(inputs)
neck = layers.Conv2D(3, (3, 3), padding="same")(resize)
preprocess_input = tf.keras.applications.mobilenet.preprocess_input(neck)
x = backbone(preprocess_input)
x = layers.GlobalAveragePooling2D()(x)
outputs = layers.Dense(configs["num_classes"], activation="softmax")(x)
return models.Model(inputs=inputs, outputs=outputs)
```
```python theme={null}
tf.keras.backend.clear_session()
model = get_model(configs)
model.summary()
```
## 모델 컴파일
```python theme={null}
model.compile(
optimizer="adam",
loss="categorical_crossentropy",
metrics=[
"accuracy",
tf.keras.metrics.TopKCategoricalAccuracy(k=5, name="top@5_accuracy"),
],
)
```
## `WandbEvalCallback`
`WandbEvalCallback`은 주로 모델 예측 시각화와 부수적으로 데이터셋 시각화를 위한 Keras 콜백을 구축하기 위한 추상 기본 클래스입니다.
이것은 데이터셋과 태스크에 구애받지 않는 추상 콜백입니다. 이를 사용하려면 이 기본 콜백 클래스를 상속받아 `add_ground_truth`와 `add_model_prediction` 메소드를 구현하세요.
`WandbEvalCallback`은 다음과 같은 유용한 메소드를 제공하는 유틸리티 클래스입니다:
* 데이터 및 예측 `wandb.Table` 인스턴스 생성
* 데이터 및 예측 Table을 `wandb.Artifact`로 로그
* `on_train_begin` 시점에 데이터 테이블 로그
* `on_epoch_end` 시점에 예측 테이블 로그
예시로, 아래 이미지 분류 태스크를 위해 `WandbClfEvalCallback`을 구현했습니다. 이 예시 콜백은 다음과 같이 작동합니다:
* 검증 데이터(`data_table`)를 W\&B에 로그합니다.
* 추론을 수행하고 매 에포크가 끝날 때마다 예측 결과(`pred_table`)를 W\&B에 로그합니다.
## 메모리 사용량을 줄이는 방법
`on_train_begin` 메소드가 호출될 때 `data_table`을 W\&B에 로그합니다. W\&B Artifact로 업로드되면 `data_table_ref` 클래스 변수를 통해 이 테이블에 대한 참조를 얻을 수 있습니다. `data_table_ref`는 2차원 리스트로, `self.data_table_ref[idx][n]`과 같이 인덱싱할 수 있습니다. 여기서 `idx`는 행 번호이고 `n`은 열 번호입니다. 아래 예시에서 사용법을 확인해 보세요.
```python theme={null}
class WandbClfEvalCallback(WandbEvalCallback):
def __init__(
self, validloader, data_table_columns, pred_table_columns, num_samples=100
):
super().__init__(data_table_columns, pred_table_columns)
self.val_data = validloader.unbatch().take(num_samples)
def add_ground_truth(self, logs=None):
for idx, (image, label) in enumerate(self.val_data):
self.data_table.add_data(idx, wandb.Image(image), np.argmax(label, axis=-1))
def add_model_predictions(self, epoch, logs=None):
# 예측값 가져오기
preds = self._inference()
table_idxs = self.data_table_ref.get_index()
for idx in table_idxs:
pred = preds[idx]
self.pred_table.add_data(
epoch,
self.data_table_ref.data[idx][0],
self.data_table_ref.data[idx][1],
self.data_table_ref.data[idx][2],
pred,
)
def _inference(self):
preds = []
for image, label in self.val_data:
pred = self.model(tf.expand_dims(image, axis=0))
argmax_pred = tf.argmax(pred, axis=-1).numpy()[0]
preds.append(argmax_pred)
return preds
```
## 학습
```python theme={null}
# W&B Run 초기화
run = wandb.init(project="intro-keras", config=configs)
# 모델 학습
model.fit(
trainloader,
epochs=configs["epochs"],
validation_data=validloader,
callbacks=[
WandbMetricsLogger(log_freq=10),
WandbClfEvalCallback(
validloader,
data_table_columns=["idx", "image", "ground_truth"],
pred_table_columns=["epoch", "idx", "image", "ground_truth", "prediction"],
), # 여기서 WandbEvalCallback 사용에 주목하세요
],
)
# W&B Run 종료
run.finish()
```