Close

豆谷 浩輝

情熱xスキル=開発物

言語
·

自己紹介

豆谷浩輝(マメタニコウキ)と申します. 欧州の大学院で機械学習の研究を行う傍ら,関連技術を用いた様々なアプリ開発に取り組んでいます. 機械学習を音・音声に適用する研究開発(音声合成,MIR等)にインターンシップや大学院で幅広く携わってきました. 音関連以外では,3年ほど自然言語処理を活用した商用のOSS (Kotlinを用いたAndroidアプリ,フルスタックでのウェブアプリ,クロスプラットホームなデスクトップアプリ)を開発しています. 一連の開発の中で,50名規模の国際的なチームを立ち上げ,言語学習教材の動画作成をアウトソース・自動化すること成功し,教材を無償配布しているYouTubeチャンネルを登録者数5万人以上に成長させました.

学歴

Pompeu Fabra大学 バルセロナ スペイン

音・音楽情報処理(修士課程)

Freesoundのタグを利用し,Triplet-Lossを用いた音の埋め込み表現(OpenFSE)の研究開発

同志社大学 京都 日本

工学(学士)

音声合成の研究, 学士論文: Diagnostic classifiers reveal context features hidden in End-to-End TTS

論文

Investigating context features hidden in End-to-End TTS

May 2019

paper link

This work presents a novel analysis of hidden states of an End-to-End TTS system using eight criteria derived from the standard set of context features of parametric TTS. The paper was accepted to the IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) 2019.

就業経験

株式会社Qosmo 東京 日本

2019年4月ー2019年9月

機械学習エンジニアインターンシップ

【CNN(Tensorflow)による楽曲のテンポ推定】
仕様の策定,開発を担当.仕様の策定においては,多数の論文を調査した上で,短期間で実装可能な既存のニューラルネットワークのモデルをベースラインにし,それを再実装することから開始した.開発においては,音声処理でよく行われる,特徴抽出などのプロセス,Tensorflowでのモデル実装,Tensorboardを用いた分析ツールの開発を担当した.

【機械学習用の画像データのアノテーションツールの作成】
仕様の策定,開発を担当.仕様の策定においては,英語で既存の製品の不備を指摘し,新たなモデルを提案.プロトタイプを示すことでメンバーの了解を得た.開発では,アノテーション作業を行うアルバイトが簡単に製品を扱えるように,JavaScriptとHTML5のCanvasを用いてブラウザで動く製品を開発した.また,クローラを開発し,学習用の画像データ約7万枚をチームに提供した.

同志社大学 京都 日本

2018年4月ー2019年8月

研究補佐

HTKを用いた音素セグメンテーションの開発】
音素セグメンテーションツールを開発し,研究室で行われていた手作業によるセグメーテンション作業の効率を約2倍高めた

ICASSP2019の準備に加え,学部卒業後2ヶ月間,学部生の研究補佐に努めた.

開発物

2019年8月ー2019年12月

ジョイ単 REC

ジョイ単 RECはAndroid向けのレコーダアプリであり,オンライン言語学習サイトのチューター等に ネイティブ発音の提供をお願いし,その音声を用いて無料の言語教材を作り,公開しています

Google Play

Kotlin Firebase Android
2019年8月ー2020年2月

ジョイ単 Public

ジョイ単 Publicはジョイ単 RECで提供された音声データを評価するウェブサイトです.この機能に加えて, 各言語教材動画の議論フォーラムやその他補助教材を提供します.

ウェブサイト

jQuery Bootstrap Firebase NoSQL
2019年8月ー現在

Joytan App

50人以上が参加するチームを率いて,多言語学習教材の動画をYouTube上で無償配布しています.
教材の作成では,自然言語処理や音声合成を活用し,フリーのコーパスから役立つ単語や例文をマイニングしています. 動画の生成の多くのプロセスはアウトソース・自動化することに成功しました.

YouTubeチャンネル | 詳しい成り立ち(Reddit)

Python
NLTK
SpaCy
Web Automation
SQL
Team Management
2017年9月ー2018年3月

Joytan

ジョイ単はクロスプラットホーム(Linux, OSX, Windowsで動作)な無料デスクトップアプリで, 言語学習者がオーディオブックやテキスト教材を自身で簡単に作成することを可能にします.
開発の動機は,私が大学院留学に向けて英語学習をする上で,このようなツールが必要であったことに発します.

ウェブサイト

Python
Cross-platform development
CI
2019年1月ー2019年2月

Kanji Sheet Generator

これはDjangoベースの実験的ウェブサイトでHeroku・AWSにデプロイしています. LaTeXとtikzを用いてデザインした上で,プロダクションではReportLabを用いて素早いPDFの作成を可能にしています.
Herokuのフリーティアで管理しているので立ち上げに少し時間がかかります.

ウェブサイト

Django
Heroku
LaTeX
2017年5月ー2017年6月

Pycraft

PycraftはマインクラフトのPythonクローンです.OpenGLを用いてマインクラフトの基本機能(移動・飛行・採掘) を実装していますが,コード自体はPythonのおかげでかなり簡約化されています.
私自身は,オブジェクト指向プログラム内の仕様のミスを発見・修正することでプロダクトに貢献しました.

GitHub

OpenGL
Team development
Computer Graphics
2017年4月ー2017年5月

CGINC

CGINCはPOV-ray のようなレイトレーシングが可能なC言語プログラムです.鏡面反射やCSGモデル定義のパーサーの実装を行いました.

GitHub

C
Computer Vision

スキル

言語 : 日本語 (ネイティブ)     英語 (TOEFL 94, 2018)

ご連絡