<?xml version="1.0" encoding="utf-8"?><html xml:lang="ja" xmlns="http://www.w3.org/1999/html" xmlns:epub="http://www.idpf.org/2007/opf">
    <head>
        <meta name="viewport" content="target-densitydpi=device-dpi, width=device-width, maximum-scale=1.0, user-scalable=yes" />
<meta charset="UTF-8"/>
        
        <meta content="book3" name="CAS-UB-Publication-Class"/>
        <meta content="CAS-UB Backend System Installed on 2013-11-27" name="Generator-Signature"/>
        <title>解説 Optunaで始めるハイパパラメータ最適化</title>
        <link href="themes/cas-common_epub.css" rel="stylesheet" type="text/css"/>
        <link href="themes/plain2/common.css" rel="stylesheet" type="text/css"/>
        <link href="styles/style.css" rel="stylesheet" type="text/css"/>
<script>
  (function(i,s,o,g,r,a,m){i['GoogleAnalyticsObject']=r;i[r]=i[r]||function(){
  (i[r].q=i[r].q||[]).push(arguments)},i[r].l=1*new Date();a=s.createElement(o),
  m=s.getElementsByTagName(o)[0];a.async=1;a.src=g;m.parentNode.insertBefore(a,m)
  })(window,document,'script','https://www.google-analytics.com/analytics.js','ga');

  ga('create', 'UA-88485500-1', 'auto');
  ga('send', 'pageview');

</script>
        </head>
    <body style="-webkit-text-size-adjust: 100%;" class="wrapper chapter level2" id="e_2e0000_2e_E8_A7_A3_E8_AA_AC_20Optuna_E3_81_A7_E5_A7_8B_E3_82_81_E3_82_8B_E3_83_8F_E3_82_A4_E3_83_91_E3_83_91_E3_83_A9_E3_83_A1_E3_83_BC_E3_82_BF_E6_9C_80_E9_81_A9_E5_8C_96"><h1 class="sys-hidden" style="display:none">解説 Optunaで始めるハイパパラメータ最適化</h1>
<div class="header">
<table class="header-in" align="center" valign="middle">
<tr>
<td class="left-table">
<a class="" href="https://www.ieice.org/jpn/"><img class="ieice-logo" src="../../img/logo.png" /></a>
</td>
<td class="right-table" align="center">
<a href="../../index.html" class="top_link" align="center"><b align="center">電子情報通信学会 - IEICE会誌 試し読みサイト</b></a>
<div class="copyright">© Copyright IEICE. All rights reserved.</div>
</td>
</tr>
</table></div>
<div class="header-border"></div>
<div class="contents">
<div class="contents-in">
<form name="number_post" method="POST" action="../../index.php">
<input type="hidden" name="index-page" value="104_7" />
</form>
<a href="javascript:document.number_post.submit()" class="index-number-link" style="float: right;">Vol.104 No.7 (2021/7)　目次へ</a><br /><br />
<div class="article-navigation"><a href="../k104_7_722/index.html" style="float: left;">前の記事へ</a><a href="../k104_7_734/index.html" style="float: right;">次の記事へ</a></div><br /><br />


<p class="head-toku"><span class="gext Solid-blue lime-bg"> 解説 </span></p>
<p class="title-ja lft">Optunaで始めるハイパパラメータ最適化</p>
<p class="title-en">An Introduction to Hyperparameter Optimization with Optuna</p>
<p class="title_author">柳瀬利彦</p>
<div class="gext author_detail5"><p class="li-1em">柳瀬利彦　(株)Preferred Networks</p>

<p>Toshihiko YANASE, Nonmember (Preferred Networks, Inc., Tokyo, 100-0004 Japan).</p>
<p>電子情報通信学会誌　Vol.104 No.7 pp.728-733 2021年7月</p>
<p>©電子情報通信学会2021</p>
</div>
<div class="gext abstract"><p><strong class="purple font2em en">A</strong> <strong class="en font1em6 red">bstract</strong></p>
<p>　機械学習アルゴリズムの性能を引き出すためには，ハイパパラメータをデータやタスクに応じて適切に調整する必要がある．本稿では，その自動的な調整のためのツールとして，オープンソースのハイパパラメータ最適化フレームワークであるOptunaを紹介する．まず，最適化の手法を概説し，コード例を交えて具体的な最適化の方法を説明する．そして，実問題における事例を音声認識とロボットの設計の二つについて紹介し，多様な分野でハイパパラメータ最適化が応用されていることを示す．</p>
<p><strong class="m-gothic">キーワード</strong>：ハイパパラメータ最適化，ブラックボックス最適化，ベイズ最適化，機械学習</p>
</div>
<div class="wrapper level3" id="h_2e0000_2e1_EF_BC_8E_E3_81_AF_E3_80_80_E3_81_98_E3_80_80_E3_82_81_E3_80_80_E3_81_AB"><h1>1．は　じ　め　に</h1>
<p>　多くの機械学習アルゴリズムは，データから求まるパラメータのほかに，利用者があらかじめ定めておくハイパパラメータを持つ．例えば，ニューラルネットを確率的勾配法で訓練する場合，各ユニットの重みは前者であり，学習率は後者に相当する．近年，機械学習モデルのハイパパラメータが訓練に与える影響を様々なデータセットにより網羅的に調査した結果が報告されており<sup>(1)</sup>，ハイパパラメータの調整の重要性が注目されつつある．</p>
<p>　しかし，ハイパパラメータは，実際にモデルの訓練と評価をしてみないとその良し悪しが分からないという問題がある．つまり，最適化においてはハイパパラメータの入力と評価を何度も繰り返す必要がある．そこで，こうした試行錯誤を代替するハイパパラメータ最適化<sup>(2)</sup>のためのソフトウェアが登場している．</p>
<p>　本稿では，ハイパパラメータ最適化ソフトウェアの一つであるOptunaを題材に，ハイパパラメータの最適化の方法をコード例や応用事例を交えて説明する．また，ハイパパラメータ最適化の手法は，機械学習以外の分野でも応用されている．この事例として，音声認識とロボットハンドの設計パラメータの最適化の事例を紹介する．</p>
<p class="line-gap"> </p>
</div>
<div class="wrapper level3" id="h_2e0000_2e2_EF_BC_8E_E3_83_8F_E3_82_A4_E3_83_91_E3_83_91_E3_83_A9_E3_83_A1_E3_83_BC_E3_82_BF_E3_81_AE_E6_9C_80_E9_81_A9_E5_8C_96_E6_89_8B_E6_B3_95"><h1>2．ハイパパラメータの最適化手法</h1>
<p>　<strong class="m-gothic">2．</strong>では，ハイパパラメータの最適化手法を概説する．ただし，各手法のアイデアのみを説明し詳細には立ち入らないため，詳しくは尾崎らによるサーベイ論文<sup>(3)</sup>などを参照されたい．</p>
<p class="line-gap"> </p>
<div class="wrapper level4" id="h_2e0000_2e9321dae9d14a51717e90b6ff5b70fe96"><h2>2.1　ブラックボックス最適化としてのハイパパラメータ最適化</h2>
<p>　ハイパパラメータの最適化は，ブラックボックス最適化として扱うことができる．ブラックボックス最適化では，入力値とそれに対応する目的関数の値のみを使って最適化を行う．機械学習の場合，ハイパパラメータの値がブラックボックス関数の入力であり，訓練と評価の結果が出力となる．</p>
<p>　図1にブラックボックス最適化の代表的な手法である，グリッドサーチ，ランダムサーチ，ベイズ最適化の探索の様子を示す．</p>
<p> </p>
</div>
</div>

<div class="continue-point">
	<p style="clear: both;"> </p>
	<hr/>
<p>続きを読みたい方は、以下のリンクより電子情報通信学会の学会誌の購読もしくは学会に入会登録することで読めるようになります。
また、会員になると豊富な豪華特典が付いてきます。</p>
    <br />
    <p><a href="https://www.journal.ieice.org/bin/pdf_link.php?fname=k104_7_728&amp;lang=J&amp;year=2021" target="_blank">続きを読む(PDF)</a>　　　<a href="https://www.ieice.org/jpn/books/backnumber.html" target="_blank">バックナンバーを購入する</a>　　　　<a href="https://www.ieice.org/jpn/join/index.html" target="_blank">入会登録</a></p>  
    <a href="https://twitter.com/share" class="twitter-share-button" data-url="https://app.journal.ieice.org/trial/104_7/k104_7_728/index.html" data-lang="ja" data-size="large" data-hashtags="IEICE">ツイート</a>　　
    <div class="fb-share-button" data-href="https://app.journal.ieice.org/trial/104_7/k104_7_728/index.html" data-layout="button" data-size="large"></div> <div id="fb-root"></div>
    <script>
        !function(d,s,id){
            var js,fjs=d.getElementsByTagName(s)[0],p=/^http:/.test(d.location)?'http':'https';
            if(!d.getElementById(id)){
                js=d.createElement(s);
                js.id=id;js.src=p+'://platform.twitter.com/widgets.js';
                fjs.parentNode.insertBefore(js,fjs);
            }
        }(document, 'script', 'twitter-wjs');
   </script> 
   <script>
       //<![CDATA[
       (function(d, s, id) {
       var js, fjs = d.getElementsByTagName(s)[0];
       if (d.getElementById(id)) return;
       js = d.createElement(s); js.id = id;
       js.src = "//connect.facebook.net/ja_JP/sdk.js#xfbml=1&version=v4.0";
       fjs.parentNode.insertBefore(js, fjs);
       }(document, 'script', 'facebook-jssdk'));
       //]]>
   </script>   <p>電子情報通信学会 - IEICE会誌はモバイルでお読みいただけます。</p>   <p><a href="https://app.journal.ieice.org/">電子情報通信学会誌 会誌アプリのお知らせ</a></p>    <p></p>    <p><b>電子情報通信学会 - IEICE会誌アプリをダウンロード</b></p>
    <p><a href="https://itunes.apple.com/jp/app/dian-zi-qing-bao-tong-xin/id957695896?mt=8"><img src="../../img/App_Store_JP.svg" style="width:165px; height:50px" /></a>　　<a href='https://play.google.com/store/apps/details?id=org.ieice.journal.app.ieice&amp;hl=ja'><img alt='Google Play で手に入れよう' src='../../img/google-play-badge_web.png' style="width:165px; height:49px" /></a></p>
        </div>
</div> 
</div> 
<div class="caution">本サイトでは会誌記事の一部を試し読み用として提供しています。</div>
</body>
</html>
