経済産業省
文字サイズ変更

審議会・研究会

独立行政法人評価委員会経済産業研究所分科会(第12回) 議事要旨

  1. 日時:平成17年1月14日(金)10:00~12:00
     

  2. 場所:経済産業省第3特別会議室(本館17階西1)
     

  3. 出席者:
    <分科会委員>
    宮内分科会長、小笠原委員、速水委員、藤垣委員
    <独立行政法人経済産業研究所>
    岡松理事長、吉冨所長、田辺副所長、入江総務ディレクター、細谷研究調整ディレクター、米村総務副ディレクター
    <経済産業省企画室>
    佐味室長、足立企画主任
     

  4. 議題
    (1)独立行政法人経済産業研究所の平成16年度の業務の実績に関する評価の検討の進め方について(審議)
    (2)独立行政法人経済産業研究所の予備的中期目標期間評価の検討の進め方について(審議)
    (3)独立行政法人経済産業研究所の平成16年度の業務進捗状況について(中間報告)
     

  5. 議事概要

    <独立行政法人経済産業研究所の平成16年度の業務の実績に関する評価の検討の進め方について(審議)>

    ○企画室・佐味室長から、資料に沿って説明した後、以下のとおり審議。

    ・昨年までのアンケート調査については、今まで色々なところから聞こえてきた経済産業研究所のレピュテーションに対してかなりの開きのあるものであり、シビアなコメントもあった。昨年のアンケートはフェイストゥフェイスでのインタビューを行ったものか、それとも紙を投げ込み、回答を回収したものであったのか。
    →基本的には紙ベースで出していただいたもの。昨年の評価の際に「どう読めばいいのか」という印象を与えた部分に関しては、1つは御指摘のとおり機械的に調査をしたというやり方の問題、もう一つは、政策テーマの選定なりに際して、政策部局当事者との議論、やりとりが十分なされていなかったが故に認識していただけていなかったという実態も多少あったものと思われる。今年度は、政策当局とのやりとり、単に役所の意向を反映するというのではなくて、役所と議論を闘わせるというプロセスを大事にして運営していただいていると思っている。今回は、調べ方の問題と中身の問題両方で、辛口の意見も含めてだが、御覧いただいて評価に資するものを作りたいと考えている。

    ・インパクトを与えたかどうかということは、政策形成を実施する担当の責任者、カギを握る人のところへ行き、アンケートの意味を分かっていただいた上で、意見を十分に聴取するということでなければ、なかなか実質、本音、実態が分かりにくい。アンケートについては、エネルギーを使っていただくのは重要なことかと思われる。


    <独立行政法人経済産業研究所の平成16年度の業務の実績に関する評価の検討の進め方について、了承>


    <独立行政法人経済産業研究所の予備的中期目標期間評価の検討の進め方について(審議)>

    ○企画室・佐味室長及び経済産業研究所・入江総務ディレクターから資料に沿って説明した後、以下のとおり審議。

    ・アウトカム指標について、いくつか掲げられているが、特に「学術誌、専門誌等で発表された論文数」というのは、研究者にとっては非常に大事なものであるが、アウトカムとまで言ってしまうと議論の混乱を招くかもしれない。学者の中での厳密性を吟味したものが学術誌、専門誌等で発表された論文であるが、それを一般に受け入れられるように、一般への影響を考えてかみ砕いて書くということは、学術誌とは違う、大衆紙であるとか新聞であるとかいう媒体に発表することになる。そこは分けて考えた方がいいのではないか。
    ・昨年までの業務実績報告の中で、「ある雑誌の誌上で、自分たちが提唱した概念が論争を呼んだ」ということが書いてあった。このようなことはアウトカムにかなり近いと考えられるもの。これからの作業として、「影響を与えたとは何か」ということを考える際に、以下の3種類の側面が考えられる。一つは議論の喚起。二つ目は、新しいコンセプトの提唱。あともう一つ考えられるのが、方法論なり技法なりを提唱して、それが人々に浸透していった、ということがもしあるとしたら、それもアウトカムなのだろうと考える。アウトカムに対する予測と、今までの業務実績評価の経験から、RIETIのアウトカムを親委員会に対してオリジナリティのある形で提唱するのだったら、そういう方向性が考えられると思う。
    →御指摘の点は、定性的なアウトカムを更に具体的に仰っていただいたのかと思うが、御指摘の3点について、研究活動の中で心当たりがあるので、今のお考えを取り入れた形で、定性的アウトカムとしてそれを評価する、ということでよろしいか。
    ・まず、定性的に拾ってみて、もしそれが沢山あるのだとすれば、数としてカウントすることが可能と思われる。

    ・アウトプットとアウトカムはそもそも分けられるかが問題だが、分けられるとすれば、アウトプットは、研究者がこれは自分が作ったものだと提出し、研究者を管理している者が認めてこれを出す、というもの。それに対してアウトカムというのは、それがどのような影響を持ったか、ということと思われる。学術誌等への掲載論文というのは、あくまでファイナルプロダクトのアウトプットであり、それをもってアウトカムというのは、違和感がある。これよりももっとアウトカムに近いものとして我々が使い慣れているのは、昔はジャーナルのページ数などであったが、近頃よく使われるのはサイテイション・インデックス。主要ジャーナルに発表された論文が他の人にどれだけ引用されたか、というインデックスであり、これなどはプロダクトがどのようにアカデミック・サークルで評価されているかという影響力を測る指標となっている。アカデミクスの中において、ディスカッションペーパーはインターミディエイトプロダクトのアウトプットであるし、アカデミックジャーナルの論文はファイナルプロダクトのアウトプットだし、サイテイション・インデックスというのはアウトカムの指標と考える。問題は、アカデミックの世界を超えた影響力を測るようなサイテイション・インデックスに当たるものがあるかということ。新聞であるとか、オピニオンジャーナルとかのサイテイションの頻度というのは、作って欲しいが、現時点ではそれはないし、それを作るのは大変な労力で不可能だと思う。そうすると、それに代わるようなプロクシー、代理変数のようなものを、何か考える必要がある。
    →御指摘のとおり、現段階でそのようなインデックスはない訳で、数量的につかむのは非常に難しい。したがって、事例としてどういうものが出てきたかを、委員御指摘の観点から拾ってみるということかと思われる。定性的な評価として行いつつ、数が出てきたらそれをカウントする。しかしながら、その数値目標をつくるということはできないと思われる。
    →学術誌、専門誌に発表された論文数というものはアウトカムではないのではないかということだが。
    ・それはアウトプット。研究所としてはファイナルだが、外へのインパクトはもとより、学術サークルですらどれだけ影響を持っているのかを測れていない。
    →研究所自身が公共政策の研究機関ないし、提言機能、発信機能を持った機関であり、そういう機関としてのパフォーマンスを見る訳だが、その際、一番大事なことは顧客満足度。そこがアカデミックの分野でのアウトカムといえるサイテイション・インデックスを更に超えた部分を捕まえるときの大事な視点ではないかと思われる。研究所が資料の中で「主として」と書いているのは、正にそこをどう捉えるかということ。御指摘のとおり、中間生成物であるディスカッションペーパー、最終成果物である論文というアウトプット自体も並べてあるが、あくまでもそれらはアウトカムを補完するものとして見ていく材料になるかと思われる。経済産業研究所は公共政策に関する研究機関ではあるが、単なるPR機関や宣伝機関、あるいはアジテーションの機関ではないので、ある程度アカデミックな水準の裏打ちがあって初めて、意味のある政策提言なり政策研究になるだろうということを考えると、アカデミックなクオリティを押さえた上での発信力なり、満足度なりを見なくてはならないということ。参考指標として論文数というものを入れておくことは研究所にとっては大事なこと。これ抜きで、単に受ければ良いという方向に流れてしまうようなことがあれば、それは公共政策の研究機関としては逆に食い足りないところが出てくる。
    ・もちろんそれは大事なことで、雑文的なものであって良い訳はないので、アカデミックジャーナルというのは一番大事なものだと思うが、それはあくまでアウトプット。アウトプットとしてこれだけのものが出たというのははっきりと言わなければならないと思うが、アウトカムというのはどういうものかを考えたとき、影響だというように考えると、アウトプットとは違うものではないのか。そこを分けなくて良いのか。
    →そこの苦心の表現が「重要関連指標」ということで、ある種の意識があるのだと思うが、仰るとおり分けなければならないところであると思う。
    ・アウトカム指標として適当なものがあるのかというと困ってしまうが、コンセプトとしては分けて考える必要があるのではないか。
    ・アンケートなどは確かに大事。ダウンロードの回数なども大事。Webサイトにディスカッションペーパーだけでなく、発表したジャーナルアーティクルズなどもダウンロードできるようになっているのか。
    →基本的にはディスカッションペーパーをダウンロードできるようになっている。
    ・例えば、将来的にはパブリッシュドペーパーもダウンロードできるようにしておけば、そのダウンロード数なども一つの指標になりうる。

    ・混乱するのは、アウトプット指標とアウトカム指標とは、全く別のものなのか、重複するものがあるのかということ。私自身の理解では、アウトプットとは、こちら側が情熱をかけて取り組んだ成果を数量化したもので、アウトカムは、情熱が感動となって返ってくることかと。情熱と感動というように分けてみると、ホームページからダウンロードされた論文数であるとか、ヒット数とか、これらは感動まで行かないまでも興味を持たれた結果。それに対して、それを呼び込むためにホームページに対してどういう努力を日々行っているのかということがアウトプットではないか。例えば、アウトプット指標の中に実は最初からアウトカムも入っていた、ホームページのヒット数などはアウトカムであった、ということであれば、分かりやすくなる。そのような形でもう一度精査していただき、アウトプット指標はあくまでアウトプット指標とし、それらについては、定性的な部分を加味した上で、アウトカムを想起させるというものになるのではないか。
    →御指摘のとおりであると思う。もともとの中期目標、中期計画や評価基準を作る際には、あとで考えてみると性質の違うものが、情熱と感動の両方のものが、意識されずに並べられていた。アウトプット指標ではあるけれども、感動にあたるのも入っていた。このため、昨年春のWGの議論を踏まえて頭の整理が必要になったということ。

    ・音楽会で演奏をすると、これは、演奏というものは演奏家が情熱を持ってやっていること、それはアウトプット。しかし、終わって、拍手があるのがリスポンス。演奏している人は情熱を持ってやっているのだけれども、拍手がなければ意味がない。拍手の計測ができないというのが難しいところ。
    ・演奏のようなマーケットで販売されるものは、評価できる。拍手が少ないようなものは客が来なくなる訳であるから、そういったものはマーケットが評価するもの。ところが、経済産業研究所でやっていることはマーケットで評価できないものであるからものすごく悩ましい、難しいとなる。
    ・そうすると賢者の評価というのに頼らざるを得ないと言うことになるか。
    ・アカデミクスの世界では、我々の知識のフロンティアをどれだけ引っ張り上げているかというのが重要で、例えば、100人の人にサイテイションされた論文と3人しかいないというものでは、上げ方が大きく違ってくる。その意味で、ジャーナルアーティクルズの数というのはプロダクトであるけれども、しかし、コントリビューションでウェイトしたアウトプットというのが本当の意味のアウトカムであり、(ジャーナルアーティクルズの数は)それにはならない。サイテイション・インデックスのほうがまだベター。アウトプットとアウトカムを分けるのは本当は無理な話で、どれだけ日本の政策形成や日本の国民のウェルフェア、国益に貢献しているかというのが本当の意味でのアウトプットであるが、それをあえて分けて、研究所として出したプロダクトをアウトプット、それが外からどう評価されているかということをアウトカム指標として計測したらどうかということをやろうとしているのだろう。コンセプトとしてはそういうこと。それをどのようにやろうかというと難しい。ホームページのヒット数などというのも、トピックス性があったがために上がったという場合もあるが、同時に、評判が立つとやはり上がっていくもの。そういう意味では、ITにより、外からスコアをつけやすくなったとも言える。
    ・そういうものを利用しながら判断していく、総合評価していくということになるか。
    ・あくまでプロクシーなのでそれだけに頼ることはできず、最終的には賢者の判断なのだろうが、最大限そういうデータを集める努力は必要なのではないか。


    <アウトカム指標について、委員からの指摘を踏まえて一部修正するとした上で、独立行政法人経済産業研究所の予備的中期目標期間評価の検討の進め方について、了承。資料の修正については分科会長一任。>


    <独立行政法人経済産業研究所の平成16年度の業務進捗状況について(中間報告)>

    ○経済産業研究所・吉冨所長及び田辺副所長から、資料に沿って説明した後、以下のとおり質疑応答。

    ・ホームページのダウンロードの回数という指標などは、それ自体では不完全なものではあるものの、ある意味をもったものであり、とても重要と思われるが、他の研究所はどれだけの成果を上げているのか。インフォーマルな形でいいので出して欲しい。
    →前年度の最終的な報告のときに他の機関と比較をした一覧表を出したが、それにはダウンロード件数というのはなかった。取れるかどうかは分からないが、取れるものがあれば出したい。

    ・コンファレンスの満足度や一般の満足度などについては定量的なアウトカム指標として扱うのだと思うが、省内で行うアンケートについては定量的に扱うのか、それとも一つ一つのコメントを重視して行うのか。
    →どれだけのものが取れるかというのが分からない中での想定ではあるが、単に数だけの話にはせずに、出てきた指摘で重要なものは拾って、評価のベースとして提供したい。

    ・例えば出版物について、テーマに基づく出版企画があり、それに相応しい先生に書いてもらうということなのか、それとも、研究員の最も関心のあるものについて書いた結果か。
    →最初に研究プロジェクトを立ち上げるときには、だいたい、常勤フェローとファカルティフェローでチームアップをする。その中で、研究プロジェクトにそって研究した結果いいものが出てきたら、出版物として出すということになる。経済産業研究所はファウンデーションではないので、こういう研究をお願いして書いてもらって本にするという形態はとっていない。あくまで政策課題に沿った研究プロジェクトを立ち上げて、いいものができたら本にする、という方針。
    ・出版物ではなく、研究課題について、この研究課題はどうしても今年やりたい、という際には、その課題に対しては現有の人的資源の中で取り組むのか。
    →全く新しい課題が出てきたときには現有では間に合わない場合が多い。例えば、「16年度のプロジェクト概要」の冒頭にあるものはOECDを中心に出てきた問題提起で、企業のインタンジブルアセットとかインテレクチュアルアセットをどのように明示的にアカウンティングに示していくかという研究であるが、これは現有の要員ではできなかったので、刈屋先生に来ていただいて立ち上げている。

    ・研究所間比較をした表を見ると、例えばディスカッションペーパーの数は他と比べて高い方だとか、カンファレンス、セミナーの開催回数は高いとかいうことを見ることができるが、海外の同様の研究をしている研究所と比べて、RIETIがどういう位置を占めるか、あるいはどういう方向性を持った研究所とするのかということを、中期目標の中で何らかの形で言及されることになるのか。また、研究所の研究員による自己評価、それは評価の評価であったり、この研究所は自分としてはこういうことを目指すべき、世界の研究所の中の位置付けとしてこういうことである、だから評価の項目としてもこういうことを見て欲しいという意見などが、そろそろ溜まっているのではないかと思われる。それらはもしかしたら、いい聞き方をすれば、評価をする側とされる側の建設的な議論になるかもしれない。もし実施していただければ、研究所員が溜まっている不満をただぶつけるということではなく、アウトカムとして研究員としてはこういうことを評価して欲しいとか、上から落ちてきた指標はこういうものだったけれど、実はこういう指標を使ったら私たちのアクティビティとしてこういうものが取れるのではないか、という意見ももしかしたらあるかもしれない。あるいは、この表を研究所員が見た場合、この研究所はこういうものを目指すのだから、こういうところを強くするのがいいのではないかというような貴重な意見がもしかしたら埋まっているかもしれないので、そういうことを聞く機会があったら、我々としても聞いてみたい。
    →外国の他の研究所は、RIETIを立ち上げるときに、ブルッキングスなどを中心に調べたことがあり、それらを参考にしようと思う。
    →自己評価の点は、実際にマネージメントサイドで研究者の業績を評価する際に、自己評価というのを前提として実施している。その上で、フェイストゥフェイスで話をしながら了解を得ていくという方法をとっている。それから、どういう研究プロジェクトを立ち上げるかというときに、主に考えられる仮説、その仮説を論証するときの論文の構成とメソドロジー、これまでのレファレンス、参考文献というのを要求してきているが、これは、ファカルティ・フェローには何でもないことかもしれないが、常勤フェローにとってはきつい基準かもしれない。そういったことを所内で議論している。ディスカッションペーパーの質の度合いを、ファカルティ・フェローが書かれるようなものに全部合わせるのか、もう少し別のものをつくって、よりいい意味で自由な研究活動をできるようにするのがいいのかということを改めて検討しているところであり、今の御指摘は、非常に的を射た、内部で模索している指摘である。


以上


▲ 審議会全体トップ
最終更新日:2005.03.28
経済産業省 〒100-8901 東京都千代田区霞が関1-3-1 代表電話 03-3501-1511
Copyright Ministry of Economy, Trade and Industry. All Rights Reserved.