はじめに

今回は、自然言語処理で必須の「単語数値化」についてやっていきます。コンピューターは日本語を理解できないので、単語を数値化する必要があります。その中でも、今回はone-hotエンコーディングと分散表現について解説していきます。

なぜ単語を数値化するのか？

自然言語処理における単語の数値化は、テキストデータをコンピュータが処理しやすい形式に変換する手法の一つです。通常、コンピュータはテキストをそのまま処理することが難しいため、単語を数値やベクトルとして表現することで解析や機械学習アルゴリズムの入力として使用されます。

一般的な方法として、one-hotエンコーディングや分散表現などがあります。

p.s.他には単語埋め込み（分散表現の１種）やTF-IDF（Term Frequency-Inverse Document Frequency）などがあります。

one-hotエンコーディングとは

one-hotエンコーディングとは、自然言語処理における単語を数値化するための方法の一つです。以下にメリットとデメリットをまとめます。

one-hotのメリット:

• one-hotエンコーディングは非常にシンプルで理解しやすい手法です。各単語を一意のベクトルに変換するだけであり、実装が容易です。
• 各単語はベクトルの要素の中で1つだけが1であり、他の要素は0であるため、各単語は互いに独立しています。これにより、単語間の関連性や類似性を考慮せずに処理することができます。

one-hotのデメリット:

• 単語の数が増えるにつれて、one-hotエンコーディングされたベクトルの次元も増加します。このため、大規模な語彙を扱う場合、非常に高次元のベクトルが生成され、計算コストやメモリ使用量が増加します。
• one-hotエンコーディングされたベクトルは、ほとんどの要素が0であり、非常にスパース（疎）です。これは、データセット全体のスパース性を引き起こし、計算効率やメモリ効率を低下させる可能性があります。
• one-hotエンコーディングは、単語の意味や文脈を捉える能力が限定されています。各単語は独立したベクトルとして表現されるため、単語間の意味的な関係を考慮することができません。
• one-hotエンコーディングは、単語の埋め込み表現（word embeddings）を提供しません。埋め込み表現は、単語間の意味的な関係を捉えるために使用され、機械学習モデルの性能向上に役立ちます。

これらのメリットとデメリットを考慮すると、one-hotエンコーディングはシンプルで理解しやすい手法であり、小規模な語彙を扱う場合には有用ですが、大規模な語彙や意味の捉え方が重要な場合には、メモリ効率や次元の増加がネックになります。

分散表現

分散表現は、自然言語処理における単語を密なベクトル空間に埋め込む手法です。

分散表現のメリット:

• 分散表現は、単語の意味的な関係を捉える能力があります。類似した意味を持つ単語は、ベクトル空間内で近くに配置されるため、意味的な関連性をより正確に表現できます。
• 分散表現は、高次元のone-hotエンコーディングと比較して、低次元の密なベクトルで単語を表現します。これにより、計算コストやメモリ使用量を削減することができます。
• 分散表現を用いることで、単語間の類似性を計算することが容易になります。例えば、コサイン類似度などの手法を用いて、ベクトル間の角度を計算することで、単語の意味的な類似性を定量化することができます。

分散表現のデメリット:

• 分散表現を生成するためには、大規模なテキストコーパスを使用してモデルを訓練する必要があります。このため、学習には多くの計算リソースや時間が必要となります。
• 分散表現の性能は、使用されるデータセットや訓練方法に大きく依存します。適切なデータセットや適切なハイパーパラメータを選択することが重要ですが、これらを選択するためには知識が必要となります。
• 分散表現は、単語の意味的な関係を捉える能力がある一方で、何らかの事前処理なしには、ドメイン固有の意味を捉えることが難しい場合があります。特定の業界や文脈における単語の意味を捉えるためには、適切なデータセットやドメイン知識が必要となります。
• 分散表現を生成する際に、学習に使用された単語以外の単語や未知の単語に対しては、適切な埋め込みを生成することが困難です。このため、未知語やまれな単語に対する性能が低下する可能性があります。

これらのメリットとデメリットを考慮すると、分散表現は単語の意味的な関係を捉えるための強力な手法であり、多くの自然言語処理タスクで広く使用されています。しかし、適切なデータや学習方法の選択が重要であり、これらを選択するためには知識が必要となります。

one-hotと分散表現のまとめ

• 意味解釈：
  分散表現は意味的な関係を捉える能力がある
  ⇔one-hotエンコーディングが単語間の関係は考慮されない。
• メモリ使用量：
  分散表現は低次元で密な表現であるため、メモリ使用量が低く抑えられる。
  ⇔one-hotエンコーディングは高次元で疎な表現であるため、メモリ使用量が大きくなる。
• 計算効率：
  分散表現は低次元で密な表現であるため、計算効率が高い。
  ⇔one-hotエンコーディングは高次元で疎な表現であるため、計算効率が低下する可能性がある。

これらの比較を踏まえると、自然言語処理タスクにおいて、分散表現は多くの場合でone-hotエンコーディングよりも優れた表現方法とされています。

おわりに

今回は、単語数値化の必要性や、その種類について学習してきました。その中でも特に『分散表現』や『one-hotエンコーディング』について扱いました。そしてその結果、分散表現ってやつが、なにやらいいらしい。ということが分かりました。

ということで、次回は分散表現の実装を簡単にやっていきます！では、お楽しみに！

はじめに

ここでは、『自然言語処理とは？』、『自然言語処理でできること』について解説していきます。もし、この解説でAIをつくってみたいと感じたら、次回の記事にプログラミングの方法を載せているのでご自由にお使いください。

p.s.おまけとして、自然言語処理におけるメインタスクを４つ載せておきます。興味があったらどうぞ。

【NLP/実践】Janomeで単語分割しよう①【前処理

誰でもできるように、自然言語処理（NLP：Natural Language Processing）の実装やっていきます。そのなかでも前処理にフォーカスを当てます。今日のゴールは「文章から動詞だけを抽出する」です。

ascend-beyond.com

2024.03.26

自然言語処理とは

自然言語処理（Natural Language Processing、NLP）は、コンピュータが自然言語を理解し、処理する技術です

• 自然言語処理（NLP）の基本的な手法には、形態素解析、構文解析、意味解析、文脈解析などがあります。
• 自然言語処理（NLP）の応用例としては、機械翻訳、文書分類、感情分析、質問応答システムなどがあります。これらの技術は、ビジネスや個人の生活において非常に役立ちます。

⇔対義語として人工言語があります。：

• 自然に発展した言語（自然言語）とは異なり、人間によって意図的に設計され、規則的に構築された言語。
• プログラム言語などは人工言語の一つ

これが概要です。では、次に自然言語処理でできることを紹介していきます。

自然言語処理でできること：

1. 機械翻訳: 自然言語処理を用いて、言語間の翻訳を行うことができます。例えば、英語から日本語への翻訳やその逆、さまざまな言語間の翻訳が可能です。
2. 情報検索: 自然言語処理を用いて、大量のテキストデータから特定の情報を検索することができます。検索エンジンのようなシステムがこれに利用されます。
3. テキスト分類: 文章をカテゴリに分類することができます。例えば、スパムメールの検出やニュース記事の分類などがあります。
4. 感情分析: テキストから感情や意見を抽出することができます。SNSの投稿や製品レビューの分析などに応用されます。
5. 質問応答: 自然言語の質問に対して、適切な回答を生成することができます。例えば、仕事や旅行の計画の支援などに使われます。

【ワクワクする応用例】

1. 会話エージェント: 人間と会話をするAIエージェントの開発。自然な対話が可能な仮想アシスタントやロボットが活用されます。
2. 自動要約: 長い文章を要約して、重要な情報のみを抽出する自動要約システムの開発。情報の効率的な抽出や読解支援が期待されます。
3. 文章生成: 文章や物語を自動生成するAIの開発。小説の執筆支援やクリエイティブなアプリケーションがあります。
4. 音声認識: 音声をテキストに変換する音声認識システムの開発。音声アシスタントや自動字幕などに活用されます。

自然言語処理は非常に多岐にわたる応用があり、その技術の進歩により私たちの生活や仕事の多くの面で革新が起こることが期待されています。

では、次に自然言語処理の主なタスクを４つ紹介していきます。

形態素解析

形態素解析は、言語を分析するための重要な技術の一つです。言語は単語や句などの小さな部分に分割され、それぞれの部分が形態素と呼ばれます。形態素解析は、与えられた文章を形態素に分割し、それぞれの形態素の品詞や意味を判別する作業です。

例えば、日本語の文章「猫が魚を食べる」を形態素解析すると、次のようになります。

• 「猫」：名詞
• 「が」：助詞
• 「魚」：名詞
• 「を」：助詞
• 「食べる」：動詞

形態素解析は、機械翻訳や自然言語処理、検索エンジンなどの多くの言語処理アプリケーションで使用されています。例えば、検索エンジンでは、ユーザーが入力したキーワードを形態素に分割し、それに関連する情報を検索するために使用されます。

【形態素解析】

• 第一に、形態素解析を理解することで、言語の基本的な構成要素である形態素を正確に抽出する能力が身につきます。言語は単語や句などの形態素に分割され、それぞれの形態素が特定の意味を持っています。形態素解析を理解することで、文章を形態素に分割し、それぞれの形態素の品詞や意味を把握することができます。
• 次に、形態素解析を理解することで、言語処理の自動化や効率化が可能になります。形態素解析を行うことで、コンピュータが文章を自動的に解析し、その構造や意味を理解することができます。これにより、機械翻訳や情報検索などの言語処理タスクを効率的に実行することができます。
• また、形態素解析を理解することで、言語の学習や教育に役立ちます。形態素解析を行うことで、言語の構造やルールを理解しやすくなり、言語学習や文法学習の支援になります。特に、外国語の学習者にとって、形態素解析は言語理解の基礎となる重要な概念です。

p.s.MeCabやJanomeというツールが有名

構文解析

構文解析は、言語の文の構造を理解するための重要なプロセスです。言語の文は、単語や句が特定のルールに従って組み合わされています。構文解析は、文の中の単語や句の関係性を調べ、文がどのように構成されているかを理解する作業です。

文章をパズルのピースに見立てることと似ています。構文解析は、そのパズルのピースを組み合わせて、意味の通った文を作るためのルールを見つける作業です。例えば、「猫が魚を食べる」という文では、「猫」と「魚」という名詞が主語と目的語として組み合わされ、「食べる」という動詞がその動作を示しています。構文解析は、このような文の構造を理解するための手段です。

【構文解析のメリット】

• まず第一に、構文解析を理解することで、文章や文の構造を正確に理解する能力が向上します。言語は単語や句が特定のルールに従って組み合わされていますが、そのルールを理解することで、文章の構造や文の関係性を把握することができます。これにより、文章の意味や内容をより正確に理解することができます。
• 次に、構文解析を理解することで、自然言語処理のアプリケーションをより効果的に開発することができます。自然言語処理では、構文解析が文章を解析し、その構造や関係性を理解するための基本的な手法となっています。構文解析を理解することで、機械翻訳や質問応答システムなどのアプリケーションをより正確に開発し、より高度な処理を実現することができます。
• また、構文解析を理解することで、文章の生成や編集の能力が向上します。構文解析を行うことで、文章の構造や文の関係性を理解し、より正確かつ自然な文章を生成することができます。これにより、文章の作成や編集をより効率的に行うことができます。

p.s.実装ツールとしてはCabocha,KNPなどがあります

意味解析

意味解析は、言語を理解し、その意味を抽出するプロセスです。言語は単語や文の組み合わせによって情報が伝達されますが、その情報を正確に理解するには、単語や文の意味を正しく解析する必要があります。意味解析は、文章の中に含まれる単語や句の意味を理解し、文全体の意味を把握するための手法です。

例えば、「猫が魚を食べる」という文において、意味解析は「猫」が食べる主体であり、「魚」が食べられる対象であることを理解します。そして、「食べる」という動詞が行われるアクションであることを把握します。これによって、文の意味が「猫が魚を食べる」という出来事であることが理解されます。

【意味解析のメリット】

• まず第一に、意味解析を理解することで、コンピュータが言語をより正確に理解し、処理する能力が向上します。自然言語処理では、機械が人間の言語を理解し、それに基づいて様々なタスクを実行する必要があります。意味解析を行うことで、コンピュータが文章の意味や内容をより正確に把握し、機械翻訳や質問応答システムなどのアプリケーションをより効果的に実行することが可能になります。
• また、意味解析を理解することで、情報検索や文書分類などのタスクをより効率的に行うことができます。意味解析を行うことで、コンピュータが文章の意味や内容を理解し、それに基づいて適切な情報を抽出したり、文書を分類したりすることができます。これにより、大量のテキストデータを処理する際に、より正確で効率的な処理が可能になります。
• さらに、意味解析を理解することで、感情分析や意見マイニングなどのタスクを実行する上でもベネフィットがあります。意味解析を行うことで、文章に含まれる感情や意見を把握し、それを分析することができます。これにより、企業や政府などが社会の声や市場の動向を把握し、意思決定に役立てることが可能になります。

文脈解析

文脈解析は、言葉や文章を理解する際に、その文脈（周囲の状況や背景）を考慮することです。言葉や文章の意味は、その文脈によって大きく変わることがあります。文脈解析では、言葉や文章が使用される状況や周囲の文脈を把握し、その意味を正確に理解することを目指します。

例えば、「冷たい」という言葉は、空気や水、食べ物など、さまざまなものを指すことができます。しかし、文脈によってその意味が変わります。たとえば、「冷たい空気」と言った場合は、気温が低いことを指す場合がありますが、「冷たい態度」と言った場合は、感情的に冷淡な態度を指す場合があります。このように、文脈解析は言葉の意味を理解する際に、その言葉が使用される状況や背景を考慮する重要なプロセスです。

【文脈解析のメリット】

• まず第一に、文脈解析を理解することで、言葉や文章の意味をより正確に理解する能力が向上します。言葉や文章の意味は、その文脈によって大きく変わることがあります。文脈解析を行うことで、言葉や文章が使用される状況や周囲の文脈を把握し、その意味を正確に理解することができます。これにより、自然言語処理システムがより正確な解析や推論を行うことができます。
• 次に、文脈解析を理解することで、文脈に応じた適切な応答や行動を取る能力が向上します。例えば、会話の中での言葉の意味や発言者の意図を理解することで、適切な返答を生成したり、適切な行動を取ることができます。これにより、自然言語処理システムがより自然な対話やコミュニケーションを行うことができます。
• また、文脈解析を理解することで、情報検索や文書分類などのタスクをより効率的に行うことができます。文脈解析を行うことで、言葉や文章が使用される状況や周囲の文脈を把握し、それに基づいて適切な情報を抽出したり、文書を分類したりすることができます。これにより、大量のテキストデータを処理する際に、より正確で効率的な処理が可能になります。

おわりに

今回は、『自然言語処理とは？』、『自然言語処理でできること』について解説してきました。そして、おまけでメインタスクについても取り扱いました。もし、この解説でAIをつくってみたいと感じたら、次回の記事にプログラミングの方法を載せているので実際に手を動かしていきましょう！

p.s.おまけにしては量が多かったですね（笑）

【この記事も一緒に読まれています】

【NLP/実践】Janomeで単語分割しよう①【前処理

誰でもできるように、自然言語処理（NLP：Natural Language Processing）の実装やっていきます。そのなかでも前処理にフォーカスを当てます。今日のゴールは「文章から動詞だけを抽出する」です。

ascend-beyond.com

2024.03.26

対象読者

今回は損失関数についてやっていきます。対象者はAI構築を目標としている方です。そのため理論の深堀はしません。なぜなら、深いところまで理解しようとすると、いつまでも実践に進めないからです。

そのためここでは、実践に必要最低限の知識のみを解説し、パパっと座学を終わらせてすぐに実践をやれる環境を提供しています。

座学をおえたら、下の記事から実践も試してみてください。

【AI/実践編】MNISTでAIを体験【衝撃簡単①】

AIの深い原理が分からなくても作れます！MNISTを使ったとっても簡単な実装をやっていきます。AIの概要は学んだけど何から作ればいいんだろう。という悩みをお持ちのあなたにピッタリのタスクです。また、始めたばかりで100％の理解を求める必要はありません。50%理解できたらいいや程度の軽い気持ちで学習を進めましょう。その方が挫折することなく長期間続けられ、結果的にいつか50%の理解が90%以上の理解になる時がきます。

ascend-beyond.com

2024.02.24

【衝撃簡単！】誰でも一流AIエンジニアになるAI勉強法

複雑な仕組みや数学が難しくて全然AIの勉強が進まない。しかし、それも今日までにしましょう。あなたがもし、複雑な概念理解ができなくても、学びたいという気持ちがあるのなら王道ではなく邪道の勉強プロセスを歩みましょう。王道の勉強プロセスは数学ができる人向けに作られたプロセスです。数学が苦手な人にはそれ用の勉強プロセスを歩むべきなのです。

ascend-beyond.com

2024.02.20

カテゴリカルクロスエントロピー

カテゴリカルクロスエントロピーのポイント

• 多クラス交差エントロピー損失のこと
• 名前通り、多クラス分類問題に使用される
• 機械学習における損失関数の一つ
• 分類問題でモデルの出力と実際のクラスの間の距離を測るために使用
• 出力される確率分布と実際のクラスの間の差異を測る
• 予測が正しいクラスに近いほど→損失が低くなる
• 機械学習などのモデルの学習において、分類問題で使う
• ソフトマックス関数と組み合わせて使われる
• 損失が低いほど→モデルの予測が正確
• 微分可能な関数であり、勾配降下法などの最適化アルゴリズムで使用できます。
• クラスの数が多い場合には、計算コストが増加する

おまけ：カテゴリカルクロスエントロピーの数式

$$\text{Categorical Cross-Entropy Loss} = -\sum_{i} y_i \log(p_i)$$

式の解釈：yiは実際のクラス i のラベル（正解ラベル）であり、piはモデルがクラス i に割り当てた確率です。

最短コースでわかるPyTorch&深層学習(ディープラーニング)プログラミング ひと目でわかる最短コースマップ付き／赤石雅典【3000円以上送料無料】 価格：4,070円（税込、送料無料) (2024/3/4時点)

二項交差エントロピー損失(Binary Cross-Entropy Loss)

バリナリクロスエントロピーのポイント

• 2つのクラスの分類問題に適した損失関数
• バイナリクロスエントロピーの呼び名で知られる
• ２値分類に適する
• モデルが出力した確率分布と実際のクラスの間の距離を測ります。
• 損失が低いほど→モデルの予測が正確
• モデルの出力が0から1の確率であることを前提としています。
• 微分可能な関数であり、勾配降下法などの最適化アルゴリズムで使用できます
• サンプル数が少ない場合やクラス間の分布が不均衡な場合、過学習のリスクがあります。

おまけ：バイナリクロスエントロピーの数式

$$\text{Binary Cross-Entropy Loss} = -\frac{1}{N} \sum_{i=1}^{N} [y_i \log(p_i) + (1 – y_i) \log(1 – p_i)]$$

式の解釈：ここで、N はサンプルの数、yi​ は実際のクラスラベル（0または1）、pi​ はモデルがクラス1に属する確率を表します。

【POD】MNISTから始める深層学習 -PyTorch- （技術の泉シリーズ（NextPublishing）） [ kobot ] 価格：2,200円（税込、送料無料) (2024/3/4時点)

平均二乗誤差(Mean Squared Error, MSE)

平均二乗誤差（Mean Squared Error, MSE）のポイント

• 平均二乗誤差（Mean Squared Error, MSE）は、損失関数の一つ
• 平均二乗誤差は、モデルの予測値と実際の値との差の二乗の平均を計算する
• 回帰問題に使用
• 損失が低いほど→モデルの予測が正確
• 外れ値に敏感で大きな損失を与える傾向がある
  外れ値：ハズレ値は異常値とも呼ばれ、データのパターンや傾向から大きく外れている値を持つデータポイントのこと
• 外れ値の影響を軽減するためには→ロバスト性が必要
  ロバスト：外れ値やノイズの影響を受けにくいこと
• 微分可能な関数であり、勾配降下法などの最適化アルゴリズムで使用できます。
• 分類問題とは異なり、クラスの不均衡などの課題に対処する機能がない

おまけ：平均二乗誤差の数式

$$\text{MSE} = \frac{1}{N} \sum_{i=1}^{N} (y_i – \hat{y}_i)^2$$

式の解釈：ここで、N はサンプルの数、yi​ は実際の値、y^​i​ はモデルの予測値を表します。

図解即戦力　機械学習&ディープラーニングのしくみと技術がこれ1冊でしっかりわかる教科書 [ 株式会社アイデミー 山口達輝 ] 価格：2,178円（税込、送料無料) (2024/3/4時点)

まとめ（それぞれの使い分け）

• カテゴリカルクロスエントロピー:
  • 多クラス分類問題に使用されます。
  • 出力が複数のクラスの確率分布で表される場合に適しています。
  • クラスの数が2つ以上の場合に適用されます。
• 二項交差エントロピー損失:
  • 2クラス分類問題に使用されます。
  • 出力が2つのクラスの確率で表される場合に適しています。
  • クラスの数が2つの場合に適用されます。
• 平均二乗誤差:
  • 回帰問題に使用されます。
  • 出力が連続値であり、目標値との差を考慮する必要がある場合に適しています。
  • 出力が確率分布ではなく、実数値である場合に適用されます。

おわりに

今回は、機械学習・ニューラルネットワークを構築する際に覚えておくべき損失関数を紹介しました。大体この３つが使われます。

では、座学はここまでにして実践をどんどん積んでいきましょう！

p.s.もし、やるべきことが決まっていない方はこちら↓をご自由に使ってみてください

【AI/実践編】MNISTでAIを体験【衝撃簡単①】

AIの深い原理が分からなくても作れます！MNISTを使ったとっても簡単な実装をやっていきます。AIの概要は学んだけど何から作ればいいんだろう。という悩みをお持ちのあなたにピッタリのタスクです。また、始めたばかりで100％の理解を求める必要はありません。50%理解できたらいいや程度の軽い気持ちで学習を進めましょう。その方が挫折することなく長期間続けられ、結果的にいつか50%の理解が90%以上の理解になる時がきます。

ascend-beyond.com

2024.02.24

対象読者

GANモデルは学習が不安定になりがちです。それを見ると、私の心も不安定(なんちゃって)。

ここでは、そんな学習も心も不安定になってしまった人に向けての、GANモデルパラメーター調整のコツを紹介します。

また、ここでは数式などの複雑な概念理解は問いません。必要な能力は数学的思考よりも論理的思考です。

ここでしっかり学習してパズル間隔でパラメーターを調整できるようになりましょう！そして、一歩ずつ一流のAIエンジニアに近づきましょう！

判断基準となる前提知識

まずは、前提知識をつけましょう。前提知識があると….

• パラメーターの調整が運任せにならない
• 損失などの評価結果を見たら推測が立てられる
• 推理が正しかった時のヤバいくらいのアドレナリンが得られる（笑）

こんな風に、前提知識を持つだけで、一流のAIエンジニアに大きく近づけるのです。やるんだったら、一流を目指しましょう！超越しちゃいましょう！

知識：バッチサイズの大小調整

大きくする場合のメリット・デメリット:

• 計算効率の向上: 大きなバッチサイズを使用すると、GPUやCPUなどのリソースを効率的に使用できます。これにより、トレーニング時間が短縮されます。
• モデルの安定性: 大きなバッチサイズを使用すると、勾配の推定がより安定し、モデルの訓練が安定化します。
• 汎化性能の向上: 大きなバッチサイズを使用すると、モデルがより多くのデータで訓練されるため、汎化性能が向上する可能性があります。
• メモリ消費量の増加: 大きなバッチサイズを使用すると、メモリの消費量が増加し、メモリ不足になる可能性があります。
• 局所解への収束: 大きなバッチサイズを使用すると、モデルが局所解に収束しやすくなる局所最適化に陥る。これにより、多様性のある解を見つけにくくなる可能性があります。

小さくする場合のメリット・デメリット:

• メモリ消費量の削減: 小さなバッチサイズを使用すると、メモリの消費量が削減されます。
• 多様な勾配: 小さなバッチサイズを使用すると、より多様な勾配が得られ、モデルがより多様な方向に学習できます。つまり局所最適化を防ぎやすくなります。
• 計算効率の低下: 小さなバッチサイズを使用すると、計算効率が低下し、トレーニング時間が長くなる可能性があります。
• モデルの不安定性: 小さなバッチサイズを使用すると、勾配の推定が不安定になり、モデルの訓練が不安定になる可能性があります。つまり、学習が収束しにくくなります。

知識：学習率の大小調整

大きい場合のメリット・デメリット:

• 高速な収束: 学習率が大きいと、各更新ステップでのパラメータの変化量が大きくなり、収束が速くなる場合があります。
• 局所最適解の脱出: 大きな学習率を使用すると、局所最適解に収束するのを防ぐために大域的な最適解に向かう可能性が高まります。
• 発散のリスク: 学習率が大きすぎると、更新ステップごとにパラメータが大きく変化しすぎて、最適解を飛び越えてしまう可能性がある。
• 安定性の低下: 大きな学習率を使用すると、安定性が低下し、学習が不安定になる場合があります。つまり、収束しにくくなります。

小さい場合のメリット・デメリット：

• 安定した学習: 学習率が小さいと、更新ステップごとにパラメータの変化量が小さくなり、学習が安定しやすくなります。
• 局所最適解への収束: 小さな学習率を使用すると、局所最適化に陥ってしまいます。
• 収束が遅い: 学習率が小さいと、収束するまでに多くのエポックが必要になり、学習時間が長くなる可能性があります。

知識：ドロップアウトの大小調整

大きくする(追加・増加・割合)場合のメリット・デメリット

• モデルの正則化: 大きなドロップアウト率を使用すると、モデルがより多くのノードをランダムに無効にするため、モデルの正則化が向上し、過学習を減らす効果があります。
• 汎化性能の向上: 大きなドロップアウト率を使用すると、モデルがより汎化され、新しいデータに対する性能が向上する可能性があります。

• 表現力の低下: 大きなドロップアウト率を使用すると、モデルが表現力を失い、モデルの性能が低下する可能性があります。表現力を失うと、より単純な特徴に依存するようになります。また、表現力を失うとは、学習することができる表現空間が制限されることを意味します。
• 学習の収束が遅くなる: 大きなドロップアウト率を使用すると、モデルが収束するのにより多くのエポックが必要になる場合があり、学習時間が長くなる可能性があります。

小さく(削除・減らす・割合)する場合のメリット・デメリット：

• 表現力の向上: ドロップアウトをなくすか、減らすと、モデルの表現力が向上し、より複雑なパターンを捉えることができます。
• 学習の収束が早くなる: ドロップアウトをなくすか、減らすと、モデルの学習が収束するのに必要なエポック数が減少し、トレーニング時間が短縮される可能性があります。
• 過学習のリスク: ドロップアウトをなくすか、減らすと、モデルが訓練データに過剰に適合しやすくなり、過学習のリスクが高まります。

知識：識別器と生成器の強弱調整

GANの理想形は識別器と生成器の強さが五分五分になることです。もしバランスが取れないと以下のようになります。

• 識別器が強すぎると、ほとんどが偽とはじかれて学習の方向性が分からなくなる。
• 識別器が弱すぎると、偽画像の改善点がわからないので低レベルな品質が続く。

特に多いのは識別器が強くなるケースです。というのも、識別器は判定するだけですが、生成器は０から画像を作り出すという労力の大きい仕事をしなければなりません。そのため、識別器は生成器よりも早く学習を収束させてしまい、GANのバランスが崩れるのです。

つまり、私たちがやるべいことは
『生成器が追いつける範囲で識別器を強化しつつも、高品質のために過度な弱体化を避ける』というとても絶妙なバランスを見つけなくてはならないのです。

仮説を立てる練習！

では、前提知識はここまでにして、その知識の活用練習をしていきましょう。

例題：学習を開始して以下のような出力がされました。あなたなら、どのように見ますか？今までの知識を使って、何かしらの仮説を立てていきましょう。仮説は何個でも挙げられます。その仮説を１つずつ潰していくことが、学習の最適化に繋がります。

p.s.紹介した仮説と違うからと言って皆さんの仮説が間違っているわけではありません。いくらでも仮説は立てられますのでね。

例題1

これは失敗する時によく見るパターンですね。

50 [D loss: 0.000624, acc.: 100.00%] [G loss: 0.007994]
1000 [D loss: 0.004652, acc.: 99.69%] [G loss: 0.008186]
2150 [D loss: 0.002862, acc.: 100.00%] [G loss: 0.000937]
3200 [D loss: 0.006426, acc.: 99.20%] [G loss: 0.005835]
4300 [D loss: 0.000406, acc.: 100.00%] [G loss: 0.007646]
5350 [D loss: 0.000592, acc.: 100.00%] [G loss: 0.000230]

仮説：
・正解率をみると、100%付近にずっといる→識別器が強い立ち位置をキープ
・G lossがずっと0.00~という小さな値→識別器の損失にG lossが引っ張られている（G lossは識別器と生成器を合わせた損失なので、識別器の損失が極端に低い場合はそれに引っ張られて生成器の損失が無視されてしまいます。その結果、0.00~という低い損失を維持し続けているのです。

この２点から識別器が強すぎる可能性があると推理→識別器を弱めてみよう！

p.s.弱め方は以下で解説します。

例題２

50 [D loss: 0.000624, acc.: 100.00%] [G loss: 0.007994]
100 [D loss: 0.694652, acc.: 54.69%] [G loss: 1.168186]
150 [D loss: 0.732862, acc.: 40.23%] [G loss: 0.726937]
200 [D loss: 0.756426, acc.: 33.20%] [G loss: 0.835835]
300 [D loss: 0.711406, acc.: 36.33%] [G loss: 0.747646]
350 [D loss: 0.703592, acc.: 44.53%] [G loss: 0.748230]
～
700 [D loss: 0.695925, acc.: 49.61%] [G loss: 0.702438]
800 [D loss: 0.696105, acc.: 50.00%] [G loss: 0.697281]
900 [D loss: 0.688253, acc.: 56.25%] [G loss: 0.704283]
1000 [D loss: 0.687551, acc.: 56.25%] [G loss: 0.706025]
1350 [D loss: 0.697760, acc.: 48.44%] [G loss: 0.717108]
1400 [D loss: 0.686100, acc.: 53.91%] [G loss: 0.708159]
2000 [D loss: 0.659652, acc.: 60.16%] [G loss: 0.790444]
3000 [D loss: 0.645585, acc.: 62.50%] [G loss: 0.880491]
4000 [D loss: 0.553337, acc.: 74.22%] [G loss: 1.089478]
～
14000 [D loss: 0.467627, acc.: 78.12%] [G loss: 1.328423]
15000 [D loss: 0.543287, acc.: 69.92%] [G loss: 1.445801]
19000 [D loss: 0.486697, acc.: 75.00%] [G loss: 1.706172]

・最初の100%→識別が優位（始めは識別器が優位になりがち）
・それ以降は50%前後→生成器と識別器がいい感じで競い合っている
・4000イテレーションから70%になった→識別器が少しだけ優位になった

ここから、この出力結果はいい感じの学習プロセスを歩んでいると分かる。

p.s.一般的に最初の方は識別器が優勢になりやすいので、最初の100％はあまり考える必要がないかもしれません。

おまけ：識別器を弱めるには？

上述のように、識別器を弱める機会は往々にしてあります。なので、ここでは識別器を弱体化させる手段を４つほど紹介していきます。

p.s.弱体化は品質にも関わることなので、過度な弱体化は避けましょう。

バッチ正則化の排除

バッチ正則化のメリットは、収束速度を上げることです。そのため、識別器にこれを適用してしまうと、生成器の学習が識別器に追いつけなくなる可能性が上がります。そしてそれは、低品質な画像に繋がります。

そのため、もし早い段階から正解率が100%を記録し続けたら識別器のバッチ正則化層を取り除いてみましょう。

ドロップアウトを追加

ドロップアウトは過学習の抑制や学習時間が長くなるという特徴があります。つまり、あえて識別器の学習時間を延ばすことで、識別器の優位性を減少させることができるのです。

そのため、識別器の優位性を減らす手段としてドロップアウトを追加したりすることは有効な手となります。

ただし、ドロップアウトを大きくし過ぎると単調な画像しか生成できなくなるので、バランスを考えながらやりましょう。

学習率を小さく

学習率を小さくすることで、収束に時間をかけることができます。そのため、識別器は生成器よりも小さな学習率を設定しましょう。そして、生成器にはより大きな学習率を設定して識別器に対抗できるようにしましょう。

ただ、生成器の学習速度を速めすぎると優先しすぎると、収束しなくなるというリスクもあります。

生成器ネットワークの強化

生成器のネットワークを強化することで、間接的に識別器を弱めることができます。

生成器を強化するには・・

• ネットワークの複雑さの増加: 生成器のネットワークをより深く、より広くすることで、モデルの表現力を向上させることができます。新しい層を追加したり、各層のユニット数を増やしたりすることで、生成器がより複雑なデータ分布を学習する能力が向上します。
• 新しい層の追加: 生成器のネットワークに新しい層を追加することで、モデルの表現力を向上させることができます。たとえば、畳み込み層や転置畳み込み層など、新しいタイプの層を追加して、モデルの表現力を向上させることができます。
• 正則化の強化: 生成器のネットワークに正則化手法を追加することで、過学習を防ぎ、モデルの汎化能力を向上させることができます。例えば、ドロップアウトやバッチ正規化などの手法を使用して、モデルを安定化させることができます。
• 特徴量の追加: 生成器の入力に新しい特徴量を追加することで、モデルの表現力を向上させることができます。入力データに含まれる情報量を増やすことで、モデルがより複雑なデータ分布を学習することができます。

これらの方法を組み合わせることで、生成器がリアルな偽物画像を生成できるようになります。そして、それは識別器を騙すことにも繋がり生成器の優位性を確保できるようになります。

おわりに

今回はパラメーターの座学を行いました。しかし、なによりパラメーターを上手く調整するのは知識よりも経験則です。そのため、Ascend-beyond式にのっとってこれからも、実践重視でやっていきましょう。

座学はあくまでも、サブ的な扱いで実践を重視する。それがAI学習の基本でありAscend-beyond式AI学習法です。

【AI/実践編】MNISTでAIを体験【衝撃簡単①】

AIの深い原理が分からなくても作れます！MNISTを使ったとっても簡単な実装をやっていきます。AIの概要は学んだけど何から作ればいいんだろう。という悩みをお持ちのあなたにピッタリのタスクです。また、始めたばかりで100％の理解を求める必要はありません。50%理解できたらいいや程度の軽い気持ちで学習を進めましょう。その方が挫折することなく長期間続けられ、結果的にいつか50%の理解が90%以上の理解になる時がきます。

ascend-beyond.com

2024.02.24

【AI/実践編】生成AI-GANを実装【衝撃簡単④】

AIの深い原理が分からなくても作れます！今日はそんなAI技術を実践していきます。GANと呼ばれる画像生成AIを構築していきます。深い原理や、複雑な数学的思考は必要ありません。いまや、AIはパズル間隔でできる技術になっています。原理が分からなくても、実践でどんどん原理なんて補ってやりましょう！

ascend-beyond.com

2024.02.27

対象読者

ここではGAN(敵対生成ネットワーク)について解説していきます。また、解説はAscendBeyond式にのっとり、複雑な概念理解には重きを置いていません。座学で時間を浪費しないように必要最低限の重要な知識のみに絞って提供しています。

あなたがAIを作ることよりも、AI知識人として振舞いたいのであれば話は別ですが、大半は前者、つまりAIを作ってワクワクした技術を生み出したいという方だと思います。

なので、この記事で最低限の知識を蓄えたら、すぐにＧＡＮを使った実装に移ってワクワクするような体験を積んでいきましょう。

【衝撃簡単！】誰でも一流AIエンジニアになるAI勉強法

複雑な仕組みや数学が難しくて全然AIの勉強が進まない。しかし、それも今日までにしましょう。あなたがもし、複雑な概念理解ができなくても、学びたいという気持ちがあるのなら王道ではなく邪道の勉強プロセスを歩みましょう。王道の勉強プロセスは数学ができる人向けに作られたプロセスです。数学が苦手な人にはそれ用の勉強プロセスを歩むべきなのです。

ascend-beyond.com

2024.02.20

【AI/実践編】生成AI-GANを実装【衝撃簡単④】

AIの深い原理が分からなくても作れます！今日はそんなAI技術を実践していきます。GANと呼ばれる画像生成AIを構築していきます。深い原理や、複雑な数学的思考は必要ありません。いまや、AIはパズル間隔でできる技術になっています。原理が分からなくても、実践でどんどん原理なんて補ってやりましょう！

ascend-beyond.com

2024.02.27

GANとは

• GANとはGenerative Adversarial Networkの略
• 日本語では敵対生成ネットワーク
• ジェネレーター（生成器）とディスクリミネーター（識別器）を使用
  ・ジェネレーター：高品質な偽の画像（偽物）を生成
  ・ディスクリミネーター：本物と偽物を識別する判別能力を追求
• 2つのニューラルネットワークが互いに競い合いながら学習するモデル
• 本物と区別できないほどリアルな画像を生成することが学習のゴール

プロセスの概要

1. ジェネレーターの学習:
   • ジェネレーターは、ランダムなノイズを入力として受け取り、それを元に画像を生成します。
   • 生成された画像は、ディスクリミネーターによって本物と判別されるようにするため、ラベル1（本物）を目標として学習します。
2. ディスクリミネーターの学習:
   • ディスクリミネーターは、生成された画像と本物の画像を区別する能力を高めるために学習します。
   • 生成された画像にはラベル0（偽物）を、本物の画像にはラベル1（本物）を目標として学習します。
3. ジェネレーターへのフィードバック:
   • 識別器が生成された画像を本物と誤って判別する確率が高いほど、生成器へのフィードバックは強くなります。つまり、生成器はそのようなフィードバックに基づいて、生成した画像をより本物に近づけるように学習を進めます。
4. 学習の繰り返し:
   • 上記の手順を反復的に繰り返します。ジェネレーターとディスクリミネーターがお互いの能力を高めながら学習を進めます。
   • 両者が収束すると、ジェネレーターは本物に近い画像を生成し、ディスクリミネーターは本物と偽物を正確に判別できるようになります。

この手順を繰り返すことにより、GANモデルは高品質な画像を生成するジェネレーターと、本物と偽物を正確に区別するディスクリミネーターを訓練することができます。

GANの特徴

• 生成と識別の相互学習: GANは生成器と識別器という2つのネットワークが互いに学習を行います。生成器は本物のデータに似たデータを生成しようとし、識別器はそれが本物か偽物かを判別しようとします。
• 非制約的学習: GANは制約を加えずに学習を行うため、生成されるデータに制約がないことが特徴です。これにより、生成されるデータは多様であり、新しいデータの生成が可能です。
• 非線形なデータ分布のモデリング: GANは非線形なデータ分布をモデル化できるため、複雑なデータセットに対しても有効です。
• 高品質な画像生成: GANは高品質な画像生成が可能であり、リアルな画像と見分けがつかないような画像を生成できます。
• 異常検出の可能性: GANは通常のデータ分布を学習するため、異常なデータの検出にも利用することができます。

GANの性質

• 非対称性: GANは生成器と識別器という2つの異なるネットワークで構成されており、これらのネットワークは異なる役割を持ちます。生成器はデータを生成するためのモデルであり、識別器は生成されたデータが本物か偽物かを判別するためのモデルです。この非対称性により、GANの学習が不安定になることがあります。
• モード崩壊: GANの学習中に、生成器が一部のデータのみを生成する傾向がある場合、モード崩壊という問題が発生する可能性があります。つまり、生成器が多様なデータを生成する能力が失われ、生成されるデータの多様性が低下します。
• ハイパーパラメータの敏感性: GANの性能は、ハイパーパラメータ（学習率、バッチサイズ、ネットワークのアーキテクチャなど）に非常に敏感です。適切なハイパーパラメータの選択が重要であり、不適切な選択は学習の収束性や品質に悪影響を及ぼす可能性があります。
• 局所最適解への収束: GANの学習は非常に難しいため、局所最適解に収束することがあります。これは、生成器と識別器が局所的な最適解に収束し、最終的なモデルの品質が低下する可能性があることを意味します。

GANの用途

• 画像生成: GANは高品質な画像生成に使用されます。リアルな人工画像の生成や、写真からの画風変換など、様々な画像生成タスクに応用されています。
• データ拡張: GANはデータセットの拡張に利用されます。少ないデータで学習する場合や、データの多様性を増やしたい場合に有効です。
• 異常検出: GANは通常のデータ分布を学習するため、異常なデータの検出に使用されます。通常のデータから大きく外れたデータは、生成器によって正確に再現されないため、異常として検出されます。
• ドメイン適応: GANは異なるドメイン間での画像変換やドメイン適応に使用されます。例えば、白黒画像をカラー画像に変換したり、写真からの絵画の生成などがあります。
• 生成モデルの評価: GANは生成モデルの評価にも使用されます。生成された画像の品質や多様性などを評価するための指標として利用されます。

GANのタイミング

• データが不足している場合: データセットが不足している場合や、データセットの多様性を増やしたい場合に、GANが使用されます。GANはデータセットを拡張するために使用されることがあります。
• 高品質な画像が必要な場合: 高品質でリアルな画像が必要な場合には、GANが使用されます。例えば、CGI映画の制作やゲーム開発、医療画像の生成などで利用されます。
• 異常検出が必要な場合: 異常なデータの検出が必要な場合には、GANが使用されます。GANは通常のデータ分布を学習するため、異常なデータを検出するのに有効です。
• ドメイン適応が必要な場合: 異なるドメイン間での画像変換やドメイン適応が必要な場合には、GANが使用されます。例えば、日本語から英語への翻訳や、ドメイン間の画像変換などがあります。
• 新しいアイデアやコンセプトの探索が必要な場合: GANは新しいアイデアやコンセプトを探索するためのツールとしても使用されます。GANを使用して新しいデザインの生成や、芸術的な表現の探求などが行われます。

GANの欠点

• 学習の不安定性: GANの学習は不安定であり、適切なハイパーパラメータやトレーニングテクニックの選択が必要です。生成器と識別器のバランスが崩れやすく、学習が収束しづらいことがあります。
• モード崩壊: GANの学習中に、生成器が一部のデータのみを生成する傾向がある場合、モード崩壊という問題が発生する可能性があります。生成器が多様なデータを生成する能力が失われ、生成されるデータの多様性が低下します。
• 局所最適解への収束: GANの学習は非常に難しく、局所最適解に収束することがあります。これは、生成器と識別器が局所的な最適解に収束し、最終的なモデルの品質が低下する可能性があることを意味します。
• ハイパーパラメータの敏感性: GANの性能は、ハイパーパラメータ（学習率、バッチサイズ、ネットワークのアーキテクチャなど）に非常に敏感です。適切なハイパーパラメータの選択が重要であり、不適切な選択は学習の収束性や品質に悪影響を及ぼす可能性があります。
• 計算コストの高さ: GANの学習には多くの計算リソースが必要であり、特に高解像度の画像生成など、複雑なタスクでは計算コストが高くなることがあります。

おわりに

ここで、座学の時間は終わりです。あとは、どんどん実践を積んでいきましょう。

実践中に分からないことにも出くわすと思います。しかし、それらすべてについて深く理解しようとすると、いつまでも座学から抜け出せなくなります。それだけAIは深いものなのです。

冒頭でも書きましたが、AI知識人よりもAIを生み出す人間になりたいのなら、実践特化型になりましょう。

以下に、GANの実践編を載せていますので、実践がやりたくなったらご自由にお使いください。

【AI/実践編】生成AI-GANを実装【衝撃簡単④】

AIの深い原理が分からなくても作れます！今日はそんなAI技術を実践していきます。GANと呼ばれる画像生成AIを構築していきます。深い原理や、複雑な数学的思考は必要ありません。いまや、AIはパズル間隔でできる技術になっています。原理が分からなくても、実践でどんどん原理なんて補ってやりましょう！

ascend-beyond.com

2024.02.27

対象読者

ここでは、AIを実装する上で使用頻度の高い活性化関数を解説します。また、解説はAscendBeyond式にのっとり、複雑な概念理解には重きを置かず実装に必要な最低限の重要なポイント知識のみを提供しています。座学で時間を浪費するのは勿体ないです。

やはり、座学よりも実践に時間を費やすことが一流のAIエンジニアへの一歩となります。

p.s.AscendBeyond式とは数学嫌いや複雑な概念理解が苦手な人のためのAI勉強ロードマップをあらわsます。詳しくはこちらにあります。↓

【衝撃簡単！】誰でも一流AIエンジニアになるAI勉強法

複雑な仕組みや数学が難しくて全然AIの勉強が進まない。しかし、それも今日までにしましょう。あなたがもし、複雑な概念理解ができなくても、学びたいという気持ちがあるのなら王道ではなく邪道の勉強プロセスを歩みましょう。王道の勉強プロセスは数学ができる人向けに作られたプロセスです。数学が苦手な人にはそれ用の勉強プロセスを歩むべきなのです。

ascend-beyond.com

2024.02.20

【AI/実践編】MNISTでAIを体験【衝撃簡単①】

AIの深い原理が分からなくても作れます！MNISTを使ったとっても簡単な実装をやっていきます。AIの概要は学んだけど何から作ればいいんだろう。という悩みをお持ちのあなたにピッタリのタスクです。また、始めたばかりで100％の理解を求める必要はありません。50%理解できたらいいや程度の軽い気持ちで学習を進めましょう。その方が挫折することなく長期間続けられ、結果的にいつか50%の理解が90%以上の理解になる時がきます。

ascend-beyond.com

2024.02.24

シグモイド関数

シグモイド関数のポイント

• シグモイド関数は、入力を0から1の範囲に変換します。
• 入力が大きい場合→出力が1に近づく＆微分値が小さくなる（勾配消失問題）
• 入力が小さい場合→出力が0に近づく＆微分値が大きく
• 非線形性を持つ→複雑なパターンを学習できる
• 逆伝播アルゴリズムに適する
• シグモイド関数は、中間層や出力層で使用される
• シグモイド関数は、確率の推定に使われる
• 出力が0または1に近づきすぎる→学習が進まなくなる（勾配が急激に小さくなるため）

おまけ：シグモイド関数の数式

$$f(x)=\frac{1}{1+e^{-x}}$$

式の解釈：入力(x)が大きいと１に近づき、小さい値であるほど0に近づきます。

ReLU関数

ReLU関数のポイント

• ReLU関数は、
• 入力が0以下の場合→0を出力＆勾配消失問題を引き起こす
• 入力が０より大きい場合→入力をそのまま出力＆勾配が急激に増加し学習を加速させる
• 単純な計算であり、勾配消失問題を軽減できる（０以下は例外）
• 学習速度の向上を図れる
• ReLU関数は非線形関数→複雑なパターンを学習できる
• 逆伝播アルゴリズムに適する
• ReLU関数は、主に中間層の活性化関数として使用
• 入力のスケーリングや特徴抽出に適す
• 死んだニューロン問題：
  ReLU関数では負の値は０になるため、１度０になったら活性化は起こりにくくなる
  →死んだニューロンが増えると表現が制限される
• 画像認識・音声認識や自然言語に適する
  ＃画像などの画素値は負の値に意味を持たないため、スパースが有効活用できる
  ＃逆に自然現象(温度、速度)や株価の変動率などは負の値に意味があるのでReLUは不向き
• スパース：
  ０になっている箇所が多いこと。スパースなデータは多くの要素が無価値である可能性が高く、重要な情報が少数の要素に集中していることが多い。

おまけ：ReLU関数の数式

$$ReLU(x)=max(0,x)$$

式の解釈：入力が０より大きければ、その値をそのまま出力し０以下の場合は０を出力します。

ソフトマックス関数

ソフトマックス関数のポイント

• ソフトマックス関数は、モデルの出力を確率分布に変換する
• 入力の値を正規化する
• それぞれのクラスに対する確率を出力します。
• 出力は0から1の間の値であり、全ての出力の合計は1になります。
• ソフトマックス関数は非線形関数→複雑なクラス分類問題に適す
• 入力が大きい場合→より強調される（指数関数の性質）
• ソフトマックス関数は、多クラス分類問題に適す
• 画像分類や自然言語処理に適す
• モデルの最後の層で使用
• ソフトマックス関数は、計算コストが高くなる（指数関数の性質）
• クラス数が多い場合→勾配の不安定性や計算精度の問題が発生
• 回帰問題に不向き：
  回帰問題は連続値の出力が必要であり、ソフトマックスの複雑な正規化は過剰となる
• ２値分類に不向き：
  ＃ソフトマックスは複数の入力に対応した出力となるため、計算コストが高くなる。わざわざ２つだけの分類に使うのは過剰。→シグモイド関数で十分

おまけ：ソフトマックス関数の数式

$$\text{softmax}(x_i) = \frac{e^{x_i}}{\sum_{j=1}^{N} e^{x_j}}$$

式の解釈：与えられた入力(x_i)の各要素を指数関数で変換し、その指数関数の値を全て足し合わせてから、それぞれの指数関数の値を合計値で割ることで入力を確率分布として変換できます。

おわりに

ここで、紹介した関数がある程度、頭に入ったらあとは実践あるのみです。もしあなたがAIの知識人になりたい場合は、座学を極めるべきですがAIの作り手になりたいのならどんどん経験することが大切だと思います。

こちらに、解説した関数を使った入門コースを置いておくので興味があったらご自由にお使いください。

【AI/実践編】MNISTでAIを体験【衝撃簡単①】

AIの深い原理が分からなくても作れます！MNISTを使ったとっても簡単な実装をやっていきます。AIの概要は学んだけど何から作ればいいんだろう。という悩みをお持ちのあなたにピッタリのタスクです。また、始めたばかりで100％の理解を求める必要はありません。50%理解できたらいいや程度の軽い気持ちで学習を進めましょう。その方が挫折することなく長期間続けられ、結果的にいつか50%の理解が90%以上の理解になる時がきます。

ascend-beyond.com

2024.02.24

【AI/実践編】CNNを構築【衝撃簡単②】

CNNを簡単に構築していきましょう！ＡＩ実装初心者にとても適した内容となっています。AIの概要は学んだけど何から作ればいいんだろう。という悩みをお持ちの方にピッタリです。今回はＣＮＮ（畳み込みニューラルネットワーク）を構築していきます。 今日も気楽にやっていきましょう！

ascend-beyond.com

2024.02.24

【AI/実践編】WebカメラとAIを連携【衝撃簡単③】

AIの深い原理が分からなくても作れます！今回は、AI素人でも実装可能なWebカメラを使ったニューラルネットワークを構築していきます。リアルタイムで画像を読み込み、それをMNISTデータで判別できるようにしましょう。AI初心者はとりあえず、実践あるのみですからね。机上の空論より、手を動かしていきましょう！それがAsend-Beyond式です！

ascend-beyond.com

2024.02.25

【AI/実践編】生成AI-GANを実装【衝撃簡単④】

AIの深い原理が分からなくても作れます！今日はそんなAI技術を実践していきます。GANと呼ばれる画像生成AIを構築していきます。深い原理や、複雑な数学的思考は必要ありません。いまや、AIはパズル間隔でできる技術になっています。原理が分からなくても、実践でどんどん原理なんて補ってやりましょう！

ascend-beyond.com

2024.02.27

対象読者

今回から【衝撃簡単AI勉強ページ】を提供していきます。今回はこのシリーズの学び方・使い方について紹介します。ここで、紹介した前提を頭に入れれば誰でも一流AIエンジニアになれると考えています。

それにあたって、私がどんな人に対して書いているかを記しておきます。

• 数学の理解ができなくてAIを挫折した人
• 座学に時間をかけすぎて実践をやれてない人
• 難しい概念理解ができない人

要するに座学が苦手な人を対象としています。そして、それは私自身のことでもあります。AscendBeyond式とは、そんな私でも一流AIエンジニアになれるんだよという証明作業を表しています。

以下ではその証明の仮定について書いています。これを読んで一緒に一流エンジニアを目指しましょう！

AscendBeyond式 AI勉強法

もう、原理で躓いたり数学に尻込みすることをやめたい！
これがAscendBeyond式の核となる考え方です。

でも、「原理を理解しないと意味がない」だったり「数式を理解できないと応用がきかない」なんて言葉をよく耳にします。確かにその意見は正解だと思います。

しかし、それはあくまでも数学や概念理解が得意な人に対してだけの正解だと思います。言うなれば、概念理解から始まる学習プロセスは概念理解が得意な人むけにしか作られていないのです。

つまり、概念理解が苦手な私の様な人は既存の学習プロセス通りに学んでも躓くだけということです。なぜなら、既存の学習プロセスは私たち用に作られていないのだから。ってことは、できなくて当然ですよね。挫折して当然ですよね。だって、道が間違ってるんだから。

このAscendBeyond式ではいわば、概念理解が苦手な人たちのためだけの道を提供していきます。

既存のAI勉強プロセスを王道だとするならば、AscendBeyond式は邪道です。しかし、私たち概念理解の不得意者からするとその邪道が王道となるんです。私がそれを人生を賭けて証明しましょう。

王道のAI勉強プロセス　特長

では、まずは邪道を知る前に王道を確認しておきましょう。王道のAI勉強法を以下に記します。

1. AIの基礎を書籍などで学ぶ
2. 数学原理から更に深く学ぶ
3. プログラミングに落とし込む
4. 書籍などから具体的な機能をもったAIを実装する
5. 自分でオリジナルのAIを作る

上記が一般的なAI勉強における標準プロセスだと思います。特に基礎・原理に重きを置く傾向がありますよね。

AscendBeyond式AI勉強法（邪道） 特長

AscendBeyond式AI勉強法の特徴を以下に記します。

• 複雑な数式・概念などの座学に時間をかけない！
• 最低限の座学は特徴・性質・用途、タイミング・欠点のみを意識
• 少し考えて理解できないならすぐ次に行く
• とにかく実践あるのみ！！
• 作りたい目標を持つ

以上！ルールはこの５つだけです。これがAscendBeyond式です。

要するに、概念的な複雑な思考は取り除き、実践を重視しようという考え方です。

また、座学の理解に関してはゲームの要領に近いですね。
例えば、学習中に分からない数式・仕組みにであったら、一旦、細かいことは放棄します。そして、以下のプロセスを踏みます。

1. 利用されるタイミングをおさえる
   →ゲームと同じで使うタイミングさえ知ってれば、最低限の活用ができる
2. 欠点を知る
   →使うタイミング同じものがあった時に取捨選択ができるようになる。
3. 特徴・性質を頭に入れる
   →概要を知ることは全体像の把握に繋がる

このプロセスは複雑な概念理解を必要としません。いわば、文系脳だけで対応できます。にも、関わらず、これだけで意外とAI構築はできます。

p.s.私もこれを意識してから成長のスピードが上がったのを実感しています。

AscendBeyond式 AI勉強法の具体例

例えば以下のように微分公式が書籍で扱われていたとします。

$$f'(x)=\frac{d}{dx}f(x)=\lim_{\Delta x \to 0} \frac{f(x+\Delta x)-f(x)}{\Delta x}$$

これを見たときに私たちの頭には大量の『分からない』が溢れます。そして多くの時間を費やし理解しようと試みます。しかし、大抵の場合は中途半端な理解で終わってしまいます。

そこで！一旦、数式原理の理解を飛ばします。そして、その代わりに数式の特徴・性質・タイミング・欠点にフォーカスして、次に進みます。上の式で言うと、

• 微分は関数の局所的な挙動を見つける特徴がある。
• 微分は関数の最大値・最小値を求めることができる。（特徴）
• 予測モデルのパラメーターを調整する時に使う。（タイミング）
  →最小値を求めるという特徴から誤差の最小値を求められる
• コンピュータにおいて計算コストが高くなる。（欠点）
  →指数関数はコンピュータの計算負荷を大きくします。

このように、特徴・タイミング・欠点の３点をおさえれば、複雑な概念理解をはさむことなくAIに落とし込めるようになります。

注意点：概念理解を否定しているのではない

ここまでで、複雑な概念理解は飛ばしてもいいと再三いってきました。しかし、それは不必要という意味ではありません。時間を浪費した割に対価が小さいから飛ばすべきだと言っているのです。またいつかは、レベルが上がれば必ず複雑な概念理解を強いられる時がきます。それは確実です。しかし、複雑な概念理解は始めたての今ではないというだけです。

私たちはまだ小さな子供に過ぎないのです。これはAIを学び始めてからの年月が浅いことの比喩です。

では、ここで質問です。小さな子供が野球をする際に深い原理から入りますか？答えはNoです。子供はとりあえずコーチの言う通りに動きますよね。そんなことを繰り返しく中で成長していき、動作に必要な大枠が理解できるようになっていくのです。深い原理を学ぶのはプロや社会人などの一定以上のレベルに到達してからです。

これが成長のプロセスです。それなのに私たちはAI学習となった途端に深い原理から入ろうとする。なぁぜなぁぜ？深い原理を学ぶのはある程度のレベルからでいいと私は考えます。まして、複雑な概念理解を苦手とする人であれば尚更だと思います。

要するに、時間をかけずに理解できる範囲で座学を勉強するということです。

おわりに

ここまでで今回の目的である、AscendBeyond式の説明・導入を終わります。

次回から早速、AIを実装していきましょう！もし、私と同じ「ワクワクしたい」という気持ちを持っているのなら、私と一緒に成長して実現していきましょう！

【AI/実践編】MNISTでAIを体験【衝撃簡単①】

AIの深い原理が分からなくても作れます！MNISTを使ったとっても簡単な実装をやっていきます。AIの概要は学んだけど何から作ればいいんだろう。という悩みをお持ちのあなたにピッタリのタスクです。また、始めたばかりで100％の理解を求める必要はありません。50%理解できたらいいや程度の軽い気持ちで学習を進めましょう。その方が挫折することなく長期間続けられ、結果的にいつか50%の理解が90%以上の理解になる時がきます。

ascend-beyond.com

2024.02.24

【AI/実践編】CNNを構築【衝撃簡単②】

CNNを簡単に構築していきましょう！ＡＩ実装初心者にとても適した内容となっています。AIの概要は学んだけど何から作ればいいんだろう。という悩みをお持ちの方にピッタリです。今回はＣＮＮ（畳み込みニューラルネットワーク）を構築していきます。 今日も気楽にやっていきましょう！

ascend-beyond.com

2024.02.24

【AI/実践編】WebカメラとAIを連携【衝撃簡単③】

AIの深い原理が分からなくても作れます！今回は、AI素人でも実装可能なWebカメラを使ったニューラルネットワークを構築していきます。リアルタイムで画像を読み込み、それをMNISTデータで判別できるようにしましょう。AI初心者はとりあえず、実践あるのみですからね。机上の空論より、手を動かしていきましょう！それがAsend-Beyond式です！

ascend-beyond.com

2024.02.25