DEVELOPER’s BLOG

ニューラルネットワークとは 　ニューラルネットワークとはAI (人工知能)のうちの一つ。また、AIの一つである機械学習のうちの一つでもある。(図１)また、人間の脳内にある神経細胞（ニューロン）とそのつながり、つまり神経回路網を数理モデル化したもの。（図２） (図１) 　ニューラルネットワークを構成している最小単位は、パーセプトロン（単純パーセプトロン）という。パーセプトロンとは、複数の入力に対して1つの値を出力する関数のこと。パーセプトロンへの入力値を(X

回帰分析とは 先ず回帰分析とは、あるp個の変数が与えられた時、それと相関関係のあるyの値を説明、予測することである。ここで変数xを 説明変数 、変数yを 目的変数と呼ぶ。p=1、つまり説明変数が1つの時を単回帰、またp>=2、つまり説明変数が2つ以上の時を重回帰と呼ぶ。 単回帰分析 今回はp=1と置いた 単回帰分析 について説明する。 このとき、回帰式は y=ax+b(a,bは 回帰係数 と呼ばれる)となり直線の形でyの値を近似(予測)できる。 単回帰分析

LSTM(Long Short Term Memory)は音声認識など、様々な場面で使われるモデルなのですが、意外と歴史のあるモデルでもあります。今はattention等に押されている感はありますが、通常のRNNを大きく改善したと呼ばれる、学ぶ価値のあるモデルです。ここでは、RNNとの違い、実際の仕組みを解説していきたいと思います。 1 RNN LSTMはRNNの一種ですが、通常のRNNが情報をそのまま次に引き継ぐのに対し、LSTMでは中間層を噛ませて次に

ここでは今は去りしデータマイニングブームで頻繁に活用されていた決定木について説明する。理論的な側面もするが、概念は理解しやすい部類であるので参考にしていただければと思う。 1 決定木(Decision Tree) 決定木とは木構造を用いて分類や回帰を行う機械学習の手法の一つで段階的にある事項のデータを分析、分離することで、目標値に関する推定結果を返すという方式である。データが木構造のように分岐している出力結果の様子から「決定木」との由来である。用途としては

はじめに 　今回はロジスティック回帰についてやっていこうと思います。まずはロジスティック回帰の概要を説明して、最後には実際にAzureでiris(アヤメ)のデータでロジスティック回帰を使っていこうと思います。 勾配降下法 　ロジスティック回帰でパラメータの値を決めるときに勾配降下法を用いるので、簡単に説明をしておきます。 　勾配降下法は、ある関数J(w)が最小となるwを求める際に、あるwでの傾き(勾配)を求めて、降下の方向(傾きが小さくなる方)にwを更新し

はじめに 　今回は2分類SVMについて見ていきますが、数学や機械学習の知識があまりない方も全体のイメージを掴めるよう数式を使うことを極力避けました。ですので厳密には間違っている表記もイメージしやすいよう、わざと入れていることを始めに断っておきます。 SVMを数式を追ってしっかりと理解したいという方には物足りない内容になっていると思いますがご了承ください。 SVMとは 　SVMとは、教師あり学習を用いるパターン認識モデルの一つで、回帰、分類両方につかうことが

分位点回帰は、普通の直線回帰とは少し変わった、特殊な回帰ですが、正規分布に従わないデータを処理する際、柔軟な予測をすることができる便利なモデルです。今回は、理論編・実践編に分けて、分位点回帰を解説していきたいと思います。 理論編 1.回帰 回帰とはデータ処理の方法の一つで、簡単に言うとデータを予測するモデルを作る際に、「モデル化＝簡略化」に伴う損失を最小限にすることです。そしてこの「損失」を定量化するためにモデルごとに様々な「損失関数」を定義します。「損失

様々な場面で使われるランダムフォレストですが、大きく分けると「ランダム」の部分と「フォレスト＝森」の部分の２つに分けることができます。そこで今回は理論編でそれぞれの部分がどういう仕組みになっているのか、解説していきたいと思います。後半では、実践編と題して、実際のデータセットとMicrosoft Azureを用いてRandom Forest Regressionを一般的なLinear Regression (直線回帰) と比べてみたいと思います。 理論編 0

1,ベイズ統計学とは ベイズ統計学とは、ベイズの定理を基礎とした統計学の体系である。 2,他の統計学との相違 ベイズ統計学は標本を必ずしも必要とせず、母数が確率的に動くとみなす学問 記述統計学はデータを集計する手法を学ぶ学問 推計統計学は限られた標本のうち全体となる母集団の性質を推測する学問 3,ベイズ統計学の歴史 1700年頃、トーマス・ベイズによりベイズの定理が発表された。 後に、1800年代後半にベイズ統計の基礎ができた。 しかし、推計統計学論者のフ

1.判別分析の定義 判別分析とは、統計学上のデータ解析手法の一つである。 特定のグループに分かれているデータを元にどのような基準で判別されているか解析する。 そして、どちらのグループがA群に属され、B群に属されるかを予測する分析のことである。 2.判別分析の成り立ち 1936年にロナルドフィシャーによって線形判別分析が発表され、これを元に分析手法が発達した。 3.判別分析の例 1.医療診断　 ・喫煙の有無により癌の発病を予測 ・検査結果から病気の有無の判別

1.クラスタリングの定義 クラスタリングとは、機械学習の目的物を分類する一つである。 与えられたデータを外的基準なしに自動的に分類する手法の事である。 簡単に言えば、データの集合体をカテゴリに分けることである。 2.クラスタリングの特徴 機械学習には教師あり学習と教師なし学習に大別される。 1.教師あり学習 人が正解を提示してそれを元に観測したデータから予測する事である。 2.教師なし学習 観測データのみを分析する。 クラスタリングは教師なし学習に分類され

1.単回帰分析とは 回帰とは、統計学においてYが連続値の時にY＝f(x)というモデルをあてはめる事である。 これにより二つの事項に関する相関関係などをを分析することができる。 2.単回帰分析の成り立ち 19世紀にフランシス・ゴルトンによって「回帰」という言葉が誕生した。 ゴルトンは、遺伝子学の研究において分析を行い、その際に身長と遺伝子の関係を回帰モデルを用いた事で後の統計学で使われる回帰モデルが発展した。 3.単回帰分析の例 例えば、都道府県の人口密度と

1.ニューラルネットワークの定義 ニューラルネットワークとは、人間の脳内にある神経細胞（ニューロン）とそのつながり、 つまり神経回路網を人工ニューロンという数式的なモデルで表現したものである。 2.ニューラルネットワークの歴史 コンピューター科学の父であるアラン・チューリング氏によって様々な論文が出された。 その中の特に「チューリングテスト」によって第一次AIブームが到来し、 ニューラルネットワークの黄金時代を築くようになった。 3.ニューラルネットワー

1.ランダムフォレストの定義 アルゴリズムで複数の決定木を使用して、「分類」または「回帰」をする、 機械学習の代表的なアルゴリズムのことである。 2.決定木とは 決定木とは、決定理論の分野において決定を行うためのグラフであり計画を 立案して目標を達成するために用いられる。 このグラフ(質問に対してyes or noと答える分岐グラフ)を見ると木のような 形をしていることから木構造であるといえる。 これが、決定木の名前の由来である。 3.決定木の種類 決定木

1.重回帰分析の定義 重回帰分析とは、統計上のデータ解析手法の1つであり、 単回帰分析とは異なりある結果（目的変数）を説明する際に、 関連する複数の要因（説明変数）のうち、どの変数がどの程度、 結果を左右しているのかを関数の形で数値化し両者の関係を表し、 それを元にして将来の予測を行う統計手法のことです。 2.重回帰分析の使用用途例 ビジネスで売上を予想する 身体検査で体重の予測を行う イベントの参加人数を予想する 3.重回帰式の表し方 重回帰分析は目的変

1.SVMの定義 SVMとは、パターン認識の手法を用いて物事を分類することである。 パターン認識は事前に学習したデータを用いて、 新たなデータがどこに属すものかをあてはまる手法である。 2.分類する線を引くイメージ 集めたデータを元に最も適した線を引く。 クラス1に分類するものとクラス２に分類するものの間に 識別境界線を引くことで２つのクラスを分けることができます。  3.識別境界線を引く方法 では、どのような基準で識別境界線を引くことができるのであ

今回は特定のモデルではなく、パラメーターチューニングというテクニックについて解説したいと思います。 パラメーターチューニングとは、特定のモデルにおけるパラメーター（例：Decision Forest Model における決定木の数）を調節することで、モデルの精度を上げていく作業です。実際にモデルを実装する際は、与えたれたデフォルト値ではなく、そのデータで一番精度が出るようなパラメーターを設定していくことが重要になります。その際、一回づつ手動で調節するのでは

概要 　はじめまして。アクセルユニバースのインターンに参加してる宇田川と申します。機械学習において必須の知識である数理モデルについて、その中でも特に基本的な回帰モデルに関して書いていこうと思います。 　このブログは機械学習を始めたばかり、または興味を持ち始めたばかりの方にわかっていただくようにわかりやすく書きました。事前知識としては機械学習の知識はもちろん必要なく高校数学における数学Bの確率の範囲程度の知識があれば十分です。よって細かい数式を書くことは避け

概要 ML.NETは、Microsoftが開発したクロスプラットフォーム対応の機械学習フレームワークである。 ML.NETで提供されているAutoMLを使うと、アルゴリズムの選択やオプションの設定などが自動で行われ、最も良い結果を出したモデルを得ることができる。 今回は、AutoMLによる文章の二項分類を行った。 環境 macOS Sierra 10.12.6 .NET SDK 2.2.107 ML.NET 0.3.27703.4 手順 .NET SDKの

こんにちは、システム部の大瀧です。 今回は初歩ということでGoogle Colaboratoryを使ってみようと思います。せっかくなので実際に動くものとして、scikit-learnが用意しているbostonのデータセットを使って初歩的な単回帰分析を行ってみます。 1. Google Colaboratoryとは Colaboratoryは、完全にクラウドで実行されるJupyterノートブック環境です。設定不要で、無料でご利用になれます。 Colabor

概要 ビルド済みのTensorFlowをpipでインストールすると、CPUの命令セットのAVX2やFMAが有効にならない。 AVX2やFMAを用いると、演算速度や精度の向上が期待できる。 参考 MMX, SSE, AVX, FMA命令とは何かを明らかにしたい会 そこで今回は、ソースコードからビルドしてAVX2とFMAを有効にしたTensorFlowを用意し、ビルド済みのパッケージをインストールしたものと、速度や精度の比較を行った。 環境 プロセッサ Int

概要 TensorFlowをpipでインストールして実行したところ、以下のようなログが表示され、AVX2とFMAが有効でないことがわかった。 2019-04-09 10:28:05.680156: I tensorflow/core/platform/cpu_feature_guard.cc:141] Your CPU supports instructions that this TensorFlow binary was not compiled

2018年4月から2年目を迎えた。森久です。 前々回はHerokuについて紹介致しました。https://www.acceluniverse.com/blog/developers/2018/04/heroku-part1.html 前回はHerokuのアドオンついて紹介致しました。https://www.acceluniverse.com/blog/developers/2018/06/heroku-part2.html 今回は題名にもある通りアドオン

2018年4月から2年目を迎えた。森久です。 前回はHerokuについて紹介致しました。 https://www.acceluniverse.com/blog/developers/2018/04/heroku-part1.html 今回は題名にもある詰まったアドオン「QuotaGuard Static」も含め、弊社で使用しているものを4つほど紹介致します。 Herokuアドオンとは？ Herokuの拡張機能の事です。 アプリの運用をよりリッチにしてくれま