DEVELOPER’s BLOG

概要 Adversarial ValidationはTrainデータとTestデータの分布が異なる際に、Testデータに似たValidationデータを作成するのに使われる手法です。 Kaggleなどのデータ分析コンペではTrainデータとTestデータの一部が与えられ、コンペ終了まではこの一部のTestデータに対するスコアのみ知ることができます。一部のTestデータだけを見てモデルを評価していると、全体のテストデータに対しては良いスコアが出ずに最終的に低

【ネタバレあり】 皆さん今年のM-1グランプリご覧になりましたか？ 今年はミルクボーイさんが見事歴代最高得点で優勝しました。本当におめでとうございます！ ミルクボーイさんといえば 「それコーンフレークやないかい！」 「いやほなコーンフレークちゃうやないかい！」 と一方の文章に対してもう一方がコーンフレークかどうかをつっこむ、というネタですよね。 そこでテレビを見ながら思ったわけです。 「これって、機械学習でできるんじゃね？」 与えられた文章に対して、それが

最近、機械学習のビジネスへの活用がさかんになっています。 その中でこういったお困り事はありませんか？ トップダウンで「機械学習を導入してほしい」と言われたけど何から始めればいいか分からない 機械学習の導入を検討したけど計画で頓挫した 社内に機械学習の導入を提案したいが、提案がまとまらない 本記事ではそんな方向けに機械学習の検討ステップと導入効果をご紹介します。 機械学習の検討ステップ 1.AI・機械学習で出来ることを知る 2.対象の業務・目的を決める 3.

はじめに まずは下の動画をご覧ください。 スパイダーマン２の主役はトビー・マグワイアですが、この動画ではトム・クルーズがスパイダーマンを演じています。 これは実際にトム・クルーズが演じているのではなく、トム・クルーズの顔画像を用いて合成したもので、機械学習の技術を用いて実現できます。 機械学習は画像に何が写っているか判別したり、株価の予測に使われていましたが、今回ご紹介するGANではdeep learningの技術を用いて「人間を騙す自然なもの」を生成する

"TASK2VEC"は2019年2月にsubmitされた論文の中で提唱された手法であり、「タスクをベクトル化する」手法です。 この手法が提唱されるまでは、"タスク間の関係を表現する"フレームワークが存在しなかったため、一部界隈で脚光を浴びました。 しかし、このTASK2VECの言わんとすることが理解出来ても、どういうものなのか正直ちょっとわかりにくいです。そこで今回は出来るだけ論文の内容をかみ砕いて解説したいと思います。 目次 1.TASK2VEC 概要

最近は今までに増して機械学習を検討する企業が増えています。 しかし、導入検討にあたり、機械学習でなにを改善するのか/なにを解決するのかという、導入目的を決めあぐねているケースも多いと耳にします。 本記事では機械学習はどのような業種で、どんな目的で導入されようとしているのかを紹介し、機械学習の活用例と解決できる課題(導入効果)をお伝えします。 『こんな使い方が自社に役立つな』や『機械学習でこんなことをやりたい』を発見してもらえると嬉しいです。 検討段階のシフ

はじめに 2019年秋の応用情報技術者試験に無事合格することができたので、勉強法などを何番煎じかわかりませんが書いていこうと思います。 私は現在文系学部の２年生で、趣味でプログラムとかを5年ほどやっているのでパソコン系の知識はそこそこありますが、数学や理論といったことははめっきり。 今春に基本情報技術者試験を通ったのでその流れで受けました。 試験の概要 IPA(独立行政法人 情報処理推進機構)によって実施されており、士業の独占などはありませんが、国家資格の

AIの進歩が目覚ましい近年、文章の文脈まで読み取ってくれるAIがあれば嬉しいですよね。 ビジネスの場面でも、クレームとお褒めの言葉を分類したり、議事録のアジェンダと中身が合っているかなど、文脈を判断できればAIの使える場はぐんと広がります。 文脈を機械が読み取るのは難しく、研究者も今まで苦労してきました。 しかし近年、ELMoとBERTという２つのAIが現れたことで、今機械学習は目覚ましい進歩を遂げています。 多くの解説記事は専門家向けに書いてあることが多

今回はデータを分析するという点で共通する経済学やデータサイエンスについて 概要を説明し、経済学において機械学習を使うことの難しさについて説明します。 難しさと言っても、『活用できない』と否定をするわけではありません。 あくまでも活用していくことを前提に、気をつけたい点を紹介します。 目次 経済学とデータサイエンスについて なぜ経済学と機械学習が議論されるのか 経済学で機械学習を利用する際の注意点 まとめ 経済学とデータサイエンスについて そもそも経済学は、

〜普及に向けた課題と解決策〜に続き 　私が前回作成した記事である「海洋エネルギー × 機械学習　〜普及に向けた課題と解決策〜」では、海洋エネルギー発電の長所と課題とその解決策について触れた。今回はそこで取り上げた、 課題①「電力需要量とのバランスが取りにくい」、課題③「無駄な待機運転の時間がある」への解決策 ～発電量・電力需要量予測～　～機械学習を用いた制御～ を実装してみる。 　繰り返しにはなるが、この「発電量・電力需要量予測」と「機械学習を用いた制御」

もくじ 因果推論とは何か 交絡とは何か 交絡の調整法 因果推論の例 まとめ 参考文献 1. 因果推論とは何か 因果推論とはある要因の間に因果関係があることを推論することである。因果推論をするための手法は多岐に渡るが、その前に因果関係について説明をしておく。 因果関係とは2つの要因が原因と結果という関係性で結びついていることである。これは原因となる要因が変化することで結果もまた変化する関係性にあることを示している。原因がA、結果がBであるとき、以下のような因

本記事では以下のような使い方ができるチャットボットを紹介します。 2019年に施行された働き方改革関連法により、残業時間の削減や多様な働き方が認められました。 今後も多くの人にとって働きやすい環境に変化し、さらに多様な働き方になることが予想されます。 そのため、現在は『業務時間を減少させつつ、利益は向上させる』生産性向上が求められています。 生産性向上のために業務を効率化し、無駄な業務時間をなくし、より利益を創出する活動に業務時間を充てることが重要です。

アクセルユニバースの栗木です。 今回実務の練習として、同じインターン生の入江君と共に模擬案件に取り組みました。 模擬案件とは、機械学習を用いることで実生活におけるどのような問題を解決できるかを考え、課題設定からデータの準備、前処理、学習、検証までの一連の作業を経験するための問題です。 今回の取り組みの中で僕達が取り組んた内容や理論を各ステップ毎に紹介していきたいと思います。記事は2部構成として、本記事では前半部分を記します。 Step. 1　課題設定 今回

本記事では、スタッキングの仕組みについて解説します。 この記事を読めば、スタッキングの理解、実装が円滑になると思います。 この記事の対象者 スタッキングの仕組みが分からないけど実装してみたい人 記事の目的 スタッキングのシンプルな仕組みを知り、実装しやすくする。どういうときにスタッキングが有効なのか、どのようなモデルを組み合わせればよいのかを知る。 ※コード実装部分は書いていません！ スタッキングとは スタッキングとはアンサンブルの手法の一つであり、モデ

はじめに 　最近のAIは音声認識や翻訳においては高い精度を出すことができます。 例えばAIが英語から日本語に翻訳する時、私達日本人が読んで多少の違和感があったりもしますが英文がどんなことを言っているのか理解することはできます。 　 もしも機械が言語を理解して、人間と違和感なく会話できたらどうでしょう。そのようなことが可能になると、機械がどのようにして言語を理解したかを見ることによって、人間には気づくことができなかった新たな言語に関する発見ができるかもしれま

AUCのAWS環境構築はEBがメイン 　こんにちは。社員の大田です。この秋就任したCTOに、うちの会社の諸々のAWS環境について少しだけ話を聞く機会がありました。 　僕は若手なので日々勉強をしながら、プロジェクトの隅っこで小さな仕事をしています。AWSに関してはちょうどこの冬あたりからSAAの勉強を始めました。大体のサービスのかんたんなことは知っているつもりですが、何しろ、インフラ周りは全体に影響がでる大切なところなので、これまであまり実環境に触れることは

はじめに 　今回は世の中のトレンドを用いた株価予測をしてみたいと思います。今までに得た機械学習などの知識を実生活に用いてみたいと思っており、お金を稼ぐという意味で株価予測が候補にありました。以前、個人的にFXの値の上下予測を５分単位、１時間単位などで、テクニカル指標を用いて試してみたことがあったのですが、テクニカル指標だけでは期待した精度は出ませんでした。 　ということで、世の中のトレンドも特徴量として取り入れてみようと思い立ち、トレンドに左右されそうな株

はじめに 今回はU-netの番外編でskip-conectionについてまとめようと思います。 前回のtensorflowで学習をさせてみた際に、skip-conectionがない場合、学習が遅いだけでなく精度が悪いことがわかりました。 skip-conectionが(おそらく）初めて使われたのが2015年12月に発表されたResNetで、ImageNet2015の分類コンペ(ILSVRC 2015)で1位になりました。 目次 ResNet以前 skip-

2019年11月24日に行われた統計検定1級で、統計数理と統計応用(理工学)の両分野で合格をいただけました。このブログには僕がその合格までに行ったこととその振り返りを書き連ねておこうと思います。 もくじ 統計検定1級を受けようと思った理由 申し込む前の学習状況 申し込み 本番までに行った学習 試験本番 試験までを振り返って 統計検定1級を受けようと思った理由 僕がこの統計検定1級を受けようと思った理由は僕の興味対象となる研究分野が確

概要 DeepArtのようなアーティスティックな画像を作れるサービスをご存知でしょうか？ こういったサービスではディープラーニングが使われており、コンテンツ画像とスタイル画像を元に次のような画像の画風変換を行うことができます。この記事では画風変換の基礎となるGatysらの論文「Image Style Transfer Using Convolutional Neural Networks」[1]の解説と実装を行っていきます。 引用元: Gatys et a

目次 海洋エネルギーとは？ 海洋エネルギー発電の普及に向けた課題とその解決策 機械学習を用いた海洋エネルギー発電の課題への解決策 これから私が取り組むこと 参考文献 1. 海洋エネルギーとは？ 　海洋再生可能エネルギー（略して、海洋エネルギー）とは、洋上風力（図1）、波力（図2、3）、海流（図4）、潮流（図5）、潮汐、海洋温度差、塩分濃度差といった再生可能エネルギーを指す。地球表面の約70％は海で覆われているため、海洋エネルギーは非常に膨大で、決して枯渇す

はじめに 前回の「画像セグメンテーションのためのU-net概要紹介」では画像のクラス分類のタスクを、画像のSegmentationのタスクにどう発展させるかを解説し、SegmentationのネットワークであるU-netの理論ついて簡単に解説しました。 今回はTensorFlowのSegmentationのチュートリアルを行いながら、実際にU-netを学習させてみたいと思います。 尚、本記事ではTensorflowの詳しい解説は行いません。 参考 : ht

はじめに こんにちは、システム部の譚です。 Google Colablatoryで、手書きの数字（0, 1, 2 など）から構成されているMNISTデータセットを使い、分類問題のニューラルネットワークを構築してみました。 目次 はじめに モデルを構築する おわりに モデルを構築する 手順 1.TensorFlowのモデルを構築し訓練するためのハイレベルのAPIである tf.kerasを使用する。 from __future__ import absolut

目次 　　　　　　　　 　　　　　　　　　　　　　　　はじめに：Fairness in Machine Learningとは 　　　　　　　　　　　　　　　データとバイアス 　　　　　　　　　　　　　　　Discrimination"（差別）とは？ 　　　　　　　　　　　　　　　"Fairness"（公平性）とは？