ChatGPTに指導してもらいながら、FPGAにおけるPongの強化学習の設計を進めて行きます。

Pongゲームで深層学習と強化学習を用いるプロジェクトは面白い試みですね。強化学習を使って、コンピューターがゲーム内で最適な行動を学習するように設計することができます。このプロセスでは、主に環境（この場合はPongゲーム）、エージェント（コンピューターのパドル）、行動（パドルを上に移動、停止、下に移動）、報酬（ボールを打ち返した場合の報酬、落とした場合のペナルティ）の4つの要素を定義します。

強化学習アルゴリズムの基本的な構造とベルマン方程式の適用方法について説明します。

強化学習の基本コンセプト

• 環境：Pongゲームの画面（256x256ピクセル）です。この画面は、エージェントに現在のゲームの状態を提供します。
• エージェント：コンピューターのパドルです。状態（ゲームの画面）に基づいて行動を選択します。
• 行動：エージェントが取りうる行動は、パドルを上に移動、停止、下に移動の3つです。
• 報酬：ボールを打ち返すと正の報酬を、ボールを落とすと負の報酬（ペナルティ）を受け取ります。

ベルマン方程式

強化学習の基本的なアイデアは、現在の状態から取りうる全ての行動に対して、将来得られる報酬の合計が最大になるようなポリシー（方針）を見つけ出すことです。このとき、ベルマン方程式が重要な役割を果たします。

ベルマン方程式は、ある状態の価値を、その状態から取りうる行動によって得られる即時報酬と、その後の状態の価値の割引和として定義します。数学的には以下のように表されます：

$$V(s) = \max_a \left( R(s,a) + \gamma \sum_{s'} P(s'|s,a) V(s') \right)$$

ここで、

• $V(s)$ は状態 $s$ の価値です。
• $R(s,a)$ は状態 $s$ で行動 $a$ を取ったときの即時報酬です。
• $\gamma$ は割引率で、将来の報酬をどれだけ重視するかを示します。
• $P(s'|s,a)$ は行動$a$を取ったときに状態$s$から状態 $s'$ へ遷移する確率です。
• $V(s')$ は状態 $s'$ の価値です。

実装アプローチ

1. 環境の構築：Pongのゲーム環境をシミュレートするか、既存の環境を使用します。OpenAI Gymなどのフレームワークは、Pongのようなゲーム環境を提供しており、強化学習アルゴリズムの開発とテストに適しています。

2. ディープラーニングモデルの設計：エージェントの行動選択を支援するために、ニューラルネットワークを用いてゲームの状態（画面のピクセルデータ）から価値または行動を予測します。Convolutional Neural Networks (CNN) は画像データから特徴を抽出するのに適しているため、この用途によく使用されます。

3. 強化学習アルゴリズムの選択と適用：Q-learning、Deep Q-Networks (DQN)、Policy Gradients、Actor-Criticなど、多くの強化学習アルゴリズムがあります。Pongのような比較的単純なゲームには、DQNがよく使用されます。

4. トレーニングと評価：エージェントをトレーニングし、ゲームのプレイを通じて最適な行動ポリシーを学習させます。トレーニングの進行状況を監視し、エージェントのパフォーマンスを評価します。

この概要が、Pongゲームにおける強化学習の実装に対する理解の一助となれば幸いです。特定のアルゴリズムの実装の詳細や、コードの例が必要な場合は、さらに詳しい説明を提供できますので、お知らせください。

前のブログ 次のブログ

前のブログ 次のブログ

サウンドミキサーの検証

bsvでモジュールを開発するに際して、正解値を出力するverilogモジュールを作成しました。それぞれのモジュールを駆動するテストベンチはbsvのステートマシン合成で簡単に作成できます。verilogの世界で統合するために、テストベンチの上位にverilogの最上位階層を設けます。なぜならbsvの最上位であるテストベンチ階層にはクロックもリセットも存在しないため、verilogの最上位階層を設けてクロックとリセットをテストベンチに供給してやる必要があるためです。

ここまでは通常のBSV⇒verilogシミュレーション手法ですが、最上位階層を統合して一つにすれば、その中に2つのbsvから生成されたverilogのステートマシンとそれに接続されるverilogモジュールが配置されることになります。

top階層からverilogモードによるC-c C-aで自動結合するには、自モジュール名とファイル名が一致する必要があります。

ここで最上位階層top.vを統合して一つにし、テストベンチを2つ配置します。これで正解値と比較してデバッグし以下のミキサーが完成しました。以下にコードを示します。

typedef Int#(8) Esound_t;
typedef Int#(16) Lsound_t;

interface Mixer_ifc;
   (* prefix="" *)
   method Lsound_t mout(
      Esound_t ch0,
      Esound_t ch1,
      Esound_t ch2,
      Esound_t ch3
      ); // output
   (* prefix="" *)
   method Bool soundon(
      Bool son0,
      Bool son1,
      Bool son2,
      Bool son3
      ); // output
endinterface

(* synthesize, always_enabled = "mout, soundon", no_default_clock, no_default_reset *)
module mkMixer(Mixer_ifc);
   function Bit#(9) repeatBit(Bit#(1) b);
      Bit#(9) result = 0;
        for (Integer i = 0; i < 9; i = i + 1) begin
           result = result << 1;
           result[0] = b;
        end
      return result;
   endfunction
   
   method Lsound_t mout(
      Esound_t ch0,
      Esound_t ch1,
      Esound_t ch2,
      Esound_t ch3
      ); // output
      let tmp0 = pack(ch0);
      let tmp1 = pack(ch1);
      let tmp2 = pack(ch2);
      let tmp3 = pack(ch3);
      Int#(16) itmp0 = unpack({repeatBit(~tmp0[7]),tmp0[6:0]});
      Int#(16) itmp1 = unpack({repeatBit(~tmp1[7]),tmp1[6:0]});
      Int#(16) itmp2 = unpack({repeatBit(~tmp2[7]),tmp2[6:0]});
      Int#(16) itmp3 = unpack({repeatBit(~tmp3[7]),tmp3[6:0]});
      Int#(16) tmp4 = itmp0 + itmp1 + itmp2 + itmp3;
      let tmp5 = tmp4 << 6;
      return tmp5;
   endmethod
  method Bool soundon(
      Bool son0,
      Bool son1,
      Bool son2,
      Bool son3
      ); // output
      let sdon = son0 || son1 || son2 || son3;
      return sdon;
   endmethod
endmodule   

まずげた履き符号から2の補数表現に変換するために、MSBの反転を行います。次にそれを符号拡張し16ビット整数とします。それらを加え合わせてスケーリングを行います。

シミュレーションの結果、4つのチャネルにどんな値が入力されてもオーバーフローやアンダーフローが起きないことを検証しています。

前のブログ 次のブログ

サウンドミキサーの仕様

8bit符号無し$\dagger$のwave形式のサウンドを4多重して16bit符号付きに変換するサウンドミキサーを作成します。

• 入力: 4チャンネルch0～3のwave(PCM, 11.025KHz、8bit、Mono、メタデータ無し)
• 出力: 1チャンネルwave(PCM, 11.025KHz、16bit、Mono、メタデータ無し)

まず8bit符号無し数を加算操作を行うために8bitの2の補数表現に変換します。それにはゲタ8'h80を引き算する必要があります。しかしながら、引き算はコストが高いため、MSBの反転を行います。以下にそれで良いことをChatGPTに証明してもらいました。

8bitゲタ履き数を8bitの2の補数表現に変換するにはゲタを引き算するのが常道ですが、MSBの反転でも良いことを数学的に証明してください。

ChatGPT:

8ビットの「ゲタ履き数」（8'h80がゼロとされる特殊な表現）を8ビットの2の補数表現に変換する際に、MSBのみを反転する方法が等価であることを証明します。

特殊な表現

この表現では、8'h80がゼロとされます。したがって、この表現における任意の値 $V$は、標準的な2の補数表現における値 $V'$ に$128$（あるいは2進数で$1000\,0000_2 $）を加えたものとして表現されます。

つまり、$V = V' + 128$ または$ V = V' + 1000\,0000_2$。

2の補数表現への変換

通常の2の補数表現へ変換するには、特殊な表現から128（$1000\,0000_2$）を引きます。

$V' = V - 128$または$V' = V - 1000\,0000_2$

MSBの反転

MSBを反転するということは、数値から$1000\,0000_2$（128）を引くか、加えることと等価です。なぜなら、MSBが1の場合は1を0に反転（-128する）、MSBが0の場合は0を1に反転（+128する）からです。

したがって、MSBの反転は以下の操作に等しいです：

• MSBが1の場合（つまり $V$が128以上の場合）、$ V' = V - 1000\,0000_2 $。
• MSBが0の場合（つまり $V$が127以下の場合）、$ V' = V + 1000\,0000_2$。

証明

MSBの反転が128の加算または減算と等価であることを考えると、この操作は常に特殊な表現を標準的な2の補数表現に変換します。

• $V $が128以上の場合、MSBは1です。したがって、MSBを反転すると$ V - 128 $になります。これは2の補数表現における負の値に相当します。
• $V $が127以下の場合、MSBは0です。したがって、MSBを反転すると $V + 128$になります。しかし、$ V $が127以下であるため、この加算はオーバーフローを引き起こし、結果として128を引くことになります。これは2の補数表現における正の値に相当します。

したがって、MSBのみを反転する操作は、特殊な8ビットの「ゲタ履き数」を標準的な8ビットの2の補数表現に変換するための有効な方法であることが証明されます。

$\dagger$:符号無しの定義は0以上の正の整数のみを扱うデータ型であるため、正しくはゲタ(8'h80)履き数

前のブログ 次のブログ

Digilent Adeptの利用

Vivadoは開発システムのため、当然ビットストリームファイルを書き込むことが可能ですが、スタンダロンの書き込みツールがあります。それがDigilent Adeptです。これはFlashへの書き込みはできないようですが、SRAMにネットまたはUSB経由で書き込むことが可能です。

前のブログ 次のブログ

CmodA7toPMODボード

基本的には過去記事に対してボードをCmodA7ボードに変更したものです。 DigilentからCmodA7ボードを購入しました。このボードは(弊社開発の)PMOD変換ボードは必要となりますが、総額では安くSpace Invadersを動かすことができます。

周辺インタフェースボード等

Space Invadersを動作させるには、CmodA7ボードの他に必要なものは以下のとおりです。

• 12V電源
• PMOD I2Sインタフェース(オーディオDAC)カード
• オーディオケーブル 図731.1 PMOD I2Sインタフェースとケーブル
• アンプ付きミニスピーカ 図731.2 アンプ付きミニスピーカ
• PMOD VGAインタフェースカード
• VGA/HDMIインタフェース 図731.3 PMOD VGAインタフェースとVGA/HDMIインタフェース
• VGA/HDMIインタフェース用5V電源
• HDMIケーブル
• PMOD JOYスティック・スイッチインタフェース(弊社開発) 図731.4 PMOD JOYスティック・スイッチインタフェース
• JOYスティック・スイッチ(弊社開発) 図731.5 JOYスティック・スイッチ
• Micro-B USBケーブル 図731.6 Micro-B USBケーブル 図731.7に、これら周辺を全て接続したCmodA7ボードの写真を示します。 図731.7 CmodA7toPMODボードに周辺を接続

CmodA7-35ボードへの移植

Arty-35とFPGAアーキテクチャが同じであり、何も変更せずにそのままで動作しました。

前のブログ 次のブログ

Pongの完成

いままでのV5/V6の評価を含めて判明しているところまでをまとめます。

• XADCのクロックが100MHz推奨と書かれていたのをそのまま100MHzを入力したが、最低入力周波数である8MHzまで落としたほうが良い。
• XADCの設定画面においても8MHzとしたほうが良い。
• V5/V6共に画面斜め縞が出る。これはXADCのクロックを停止しても出ている。
• V5はさらにポップノイズ雑音が出る。
• V6において+3.3Vに電解コンデンサー10uFを付加したところ、電源のノイズが消えた。電源ノイズが画面に表れていたようだ。

図730.1に完成したPongを示します。画面ではわかりにくいですが、斜めの縞模様が流れています。今まであまり意識しなくてもたまたま問題にならなかったのですが、VGAはアナログ信号のため、ノイズ対策をきっちりとやらないと今回のようになることが分かりました。

前のブログ 次のブログ

CmodA7toPMODV5/6のノイズ評価

それぞれのボードに部品を実装してノイズ評価を行いました。その結果以下のようなことが判明しました。

• 改版後のV6でもV5と同様にノイズが乗る。主にXADCに供給していた100MHzクロックが原因のようだ。
• 100MHzを落として8MHz程度にすると正しく動作し、かつスイッチONでのブー音が消えた。

• スペースインベーダーはXADCを使用していないので、どちらのボードでも画面縞は発生しない。
• 一方、XADCクロックを8MHzに落としても画面の斜め縞はV5/V6両方で発生する。
• XADCへの供給クロックを8MHzに落とした(上記)だけではなく、XADCの内部動作クロック設定も8MHzにしたが、斜め画面縞は変わらず原因不明。

実験によるフィードバック

V6基板においてVRを実際にADCに接続してJTAG経由で測定したところ、ADC入力電圧値は0.208～0.9804Vとなりました。LTSpiceの値とほぼ一致する結果です。

設計計算の変化点をマーカで表示します。ピンクは前記事との変化点であり、ブルーは最終結果としてソースコードに入れる値です。

• VRの全角度は300°
• VRの有効角はパラメータ化し、開始角a[°] (デフォルト値a=105)、範囲b[°] (デフォルト値b=90)
• VRの全角度の際のADC入力電圧は測定結果より、0.2～0.98[V]

再設計計算

これらより、ADC入力電圧は開始角$a$の値を$V_\text{a}$、終了角$a+b$の値を$V_\text{a+b}$として、 $\require{color} \definecolor{pink}{rgb}{1.0,0.8,1.0} \definecolor{blue}{rgb}{0.8,0.8,1.0}$

• $V_\text{L}=\colorbox{pink}{0.2}$, $V_\text{H}=\colorbox{pink}{0.98}$
• $V_\text{range}=V_\text{H}-V_\text{L}=\colorbox{pink}{0.78}$
• $V_\text{a}=\frac{V_\text{range}}{300}a+V_\text{L}$
• $V_\text{a+b}=\frac{V_\text{range}}{300}(a+b)+V_\text{L}$

次にAD変換後のデータDは入力全範囲0～1[V]を4096分割する。開始角の値を$D_\text{a}$、終了角の値を$D_\text{a+b}$として

• $D_\text{a}=4096V_\text{a}=\frac{4096V_\text{range}}{300}a+4096V_\text{L}=\colorbox{pink}{10.65}a+\colorbox{pink}{819.2}$
• $D_\text{a+b}=4096V_\text{a+b}=\colorbox{pink}{10.65}(a+b)+\colorbox{pink}{819.2}$
• $D_\text{range}=D_\text{a+b}-D_\text{a}=\colorbox{pink}{10.65}b$

一方、y座標の制約は以下のとおりであり、$y_\text{top}$(上限$y_\text{max}$+5%)と$y_\text{bottom}$(下限$y_\text{min}$-5%)の値でクリッピング。

• $y_\text{min}=\colorbox{pink}{44}, y_\text{max}=\colorbox{pink}{219}, Paddle_\text{h}=\colorbox{pink}{26}$
• $y_\text{bottom}=y_\text{min}-7=\colorbox{pink}{37}, y_\text{top}=(y_\text{max}-Paddle_\text{h})+7=\colorbox{pink}{200}$
• $y_\text{range}=y_\text{top}-y_\text{bottom}=200-37=\colorbox{pink}{163}$

これらからy座標を求めると、ADCのデータを$D$とすれば、

• $y=\frac{y_\text{range}}{D_\text{range}}(D-D_\text{a})+y_\text{bottom}=\frac{\colorbox{pink}{163}}{\colorbox{pink}{10.65}b}D-\frac{\colorbox{pink}{163}}{b}a-\frac{\colorbox{pink}{163}\cdot\colorbox{pink}{819.2}}{\colorbox{pink}{10.65}b}+\colorbox{pink}{37}\\ =\frac{\colorbox{pink}{244.9}}{b\ll4}D-\frac{\colorbox{pink}{163}}{b}a-\frac{\colorbox{pink}{12538}}{b}+\colorbox{pink}{37}=\frac{\colorbox{blue}{245}D-\colorbox{blue}{2608}a-\colorbox{blue}{200615}}{b\ll4}+\colorbox{blue}{37}$

y式中のシフトは固定小数点演算を行うために分母分子を16倍しているものです。さらに最小値$D_\text{a}$、最大値$D_\text{a+b}$で入力ADCデータのクリッピングを行います。

• $D_\text{a}=\colorbox{pink}{10.65}a+\colorbox{pink}{819.2}=(\colorbox{blue}{170}a+\colorbox{blue}{13107})\gg4$
• $D_\text{a+b}=\colorbox{pink}{10.65}(a+b)+\colorbox{pink}{819.2}=(\colorbox{blue}{170}(a+b)+\colorbox{blue}{13107})\gg4$

以上より、完成したBSVコードの変更点のみを以下に示します。

クリッピング値計算部分

                // 座標の下限-5%と上限+5%に対応するADC値の計算
                Bit#(20) adcMinValue = (170 * extendedA + 13107) >>4;     // Min = 10.65A + 819.2
                Bit#(20) adcMaxValue = (170 * (extendedA + extendedB) + 13107) >> 4; // Max = 10.65(A+B) + 819.2

ADCからy値計算部分

                Bit#(24) coordinate = ((zeroExtend(clippedAdcValue) * 245
                       - zeroExtend(extendedA) * 2608 - 200615 + 915)
                       / zeroExtend(extendedB) >> 4) + 37;

+915は途中計算がアンダーフローして値が最大値にならないように調整するものです。この例のように小数点演算において0をわずかに割った場合、負数は正の最大値となるため、非常に大きな誤差が起こります。

FSM中でのパドルの可動範囲$y_\text{min}=\colorbox{blue}{44}$、$y_\text{max}-Paddle_\text{h} + 1=219-26 + 1=\colorbox{blue}{194}$でクリッピングすることを忘れないように注意します。

前のブログ 次のブログ

Hardware Description Language Advent Calendar 2023 の第11目として、「BSV (Bluespec System Verilog) によるPongの設計」と題する記事をQiitaに投稿しました。

以下に目次を示します。

• Pong Game
• 強化学習の題材としてのPong
• BSV
• BSVをより深く知るためには
• Cmod A7
• CmodA7toPMODボードの設計
• パドルコントロール
• CmodA7toPMODボード回路
• FPGA内部ブロック図
• グラフィックサブシステム
• ゲームサブシステム
• ボール方向制御
• ボール動作
• ボール制御BSVコード
• サウンドサブシステム
• サウンドステートマシン
• ADC
• 設計計算例
• 完成画面
• 今後の予定や感想

前のブログ 次のブログ

CmodA7toPMODV6の実装

JLCPCBからV6基板が届いたので、早速実装して動作試験をしてみました。あいかわらず、スイッチを押すとブーという音が出ます。いろいろと試したところXADCのクロックが100MHz推奨であるものを1/10以下に落としたら、画面もきれいになりスイッチのブー音も消えました。ただし、依然として画面の斜め縞は出ており原因不明です。インベーダーゲームでは出現しないので、XADCを起動させると出ることは確かです。

一方、初めて基板厚を0.8mmと従来の半分にしてみましたが、DCジャックの足も折れ曲がり代が増え、こちらは良好です。

JLCPCB費用他

時間としては基板製造と部品実装で2日間、最安のOCS配送が7日間で、計9日間で到着しました。

前のブログ 次のブログ