DEVELOPMENT LOG
試行錯誤の、記録。
本モデルは一度で完成したわけではありません。プレースホルダを喋り、 無駄に改行し、argparseに敗北した時代がありました。ここに記録します。
PHASE 01 — データ設計
Discordログ 39,000件の正規化
DMと大規模サーバー、性質の異なるログを「セッション分割」「連投結合」「短文スパム上限」で整形。takwatの発言のみをassistantに据える設計を確立しました。
PHASE 02 — argparse事件
SystemExit: 2
Colab上でデータ整形スクリプトがカーネル引数を誤飲し即死。parse_known_args()への変更で解決。無実の引数を拾わないことの大切さを学びました。
PHASE 03 — [画像]事件
モデルが「[画像]」を生成し始める
添付ファイルのみの発言が学習ターゲットに混入し、モデルが画像の気配を口にするように。placeholder_dropped = 219 件を除去し、沈黙させました。
PHASE 04 — 改行事件
「これ / なにが / 起きている」
連投を改行結合していたため、出力が俳句のようになる事態が発生。連投を独立したターンに分離し、「1発言したら止まる」作法を教え直しました。
PHASE 05 — 発見
「アシスタントの応答のみ学習」
GUIの奥底に眠っていたトグルを発見・有効化。これにより他人の口調の混入が断たれ、人格の純度が劇的に向上しました。
PHASE 06 — 収束
eval_loss 2.44
損失はなめらかに収束。過学習の兆候なく完了。絶妙な、出来です。
TRAINING CURVE — 収束の記録(実測値)
Training Loss
Eval Loss