2018年3月10日 JAWS DAYS 2018 朝日新聞社ではコンテンツのデジタル化に力を入れるとともに、編集作業の生産性向上に取り組んでいます。今回は、生産性向上の一環として開発した朝日新聞デジタルの編集者向け記事・画像検索システムについて、導入背景や内製でのサーバーレス開発で実践したことをご紹介します。また、朝日新聞社が現在行っている機械学習を取り入れた編集作業の効率化への取り組みについてもお伝えします。
編集業務の生産性向上へ向けたserverlessなアプローチ-JAWS DAYS 2018-落合隆文株式会社朝日新聞社 情報技術本部 開発部[email protected]Copyright 2018 The Asahi Shimbun Company.
View Slide
自己紹介• 落合 隆文（おちあい たかふみ）• ２００７年４月入社• 情報システム部、工程管理部で新聞製作システムの開発運用を担当したのち、2015年に開発部へ異動• 開発部ではデジタルサービスを担当。最近ではCMS（コンテンツ管理システム）の開発や研究開発チーム「ICTRAD」でのプロトタイプ開発を担当• 趣味：スキー、散歩、python[email protected]Copyright 2018 The Asahi Shimbun Company.
今日話すこと• 朝日新聞デジタルの編集者向けに開発したサーバーレスな記事・画像検索システムについて• その他、現在行っている機械学習を取り入れた編集作業の効率化への取り組みについて[email protected]Copyright 2018 The Asahi Shimbun Company.
朝日新聞デジタルの編集者向けに開発したサーバーレスな記事・画像検索システムについて[email protected]Copyright 2018 The Asahi Shimbun Company.
[email protected]Copyright 2018 The Asahi Shimbun Company.
[email protected]Copyright 2018 The Asahi Shimbun Company.今回はココの話をします
きっかけ[email protected]Copyright 2018 The Asahi Shimbun Company.• 写真のない新聞記事をデジタル配信すると、一覧に見出しだけで表示される• 写真のある記事の方が注目されやすいため、写真をセットにして配信したい• しかし、探すのに手間がかかるという話を編集者から聞き、研究開発チームの作業として、記事の内容を解析して写真を提案するプロトタイプを開発
[email protected]Copyright 2018 The Asahi Shimbun Company.サービス化• プロトタイプの評価を経て、編集者向けの記事と画像の検索システムとして社内公開することに• プロトタイプはEC2で構築していたが、このタイミングでインフラについて検討しはじめる• デジタル配信は24時間体制で行われている• 今後も色々なプロトタイプを製作し、ニーズのあるものはサービス化していきたい。運用保守に時間を取られることは避けたかった
[email protected]Copyright 2018 The Asahi Shimbun Company.サービス化• プロトタイプの評価を経て、編集者向けの記事と画像の検索システムとして社内公開することに• プロトタイプはEC2で構築していたが、このタイミングでインフラについて検討しはじめる• デジタル配信は24時間体制で行われている• 今後も色々なプロトタイプを製作し、ニーズのあるものはサービス化していきたい。運用保守に時間を取られることは避けたかった→そこでサーバーレス
[email protected]Copyright 2018 The Asahi Shimbun Company.https://aws.amazon.com/jp/solutions/case-studies/asahi-shimbun/構成
良かったこと①• 少人数でも機能開発に集中できる→フロントがマネージドサービスなので、運用負荷が低い→スケールに悩まない→インフラに使う時間が減り、機能開発に集中できる• 安い（フロント部分のコストはEC2の99％減）• 早い（2時間もあれば新環境をデプロイできる）• マイクロサービス化できる→記事検索APIを他のシステムにも機能提供するなど、柔軟な対応ができるようになった[email protected]Copyright 2018 The Asahi Shimbun Company.
• 編集者のニーズをくみ取りながら一緒に機能を作っていく、提案型の業務スタイルに変わってきた• 分析したデータを見ながらサービス改善の話ができるようになってきた• データ活用を念頭に置いて開発できた（クリックログがそのまま機械学習用のデータにもなる、etc ）[email protected]Copyright 2018 The Asahi Shimbun Company.良かったこと②
制約はありますきつかったもの• Lambdaの容量制限• Elasticsearch Serviceで辞書を利用できない• 、、、etc→制約に合わせる必要はあるが、得られるメリットの方が大きいというのが実感→推論部分の構成や運用はまだ試行錯誤の段階だが、機械学習の活用でもサーバーレスのメリットを得られるようにしていきたい[email protected]Copyright 2018 The Asahi Shimbun Company.
現在行っている機械学習を取り入れた編集作業の効率化への取り組みについて[email protected]Copyright 2018 The Asahi Shimbun Company.
研究への取り組み[email protected]Copyright 2018 The Asahi Shimbun Company.
[email protected]Copyright 2018 The Asahi Shimbun Company.今度はココの話をします
自動校正の研究[email protected]Copyright 2018 The Asahi Shimbun Company.• 日々の編集作業で蓄積された記事の修正履歴を学習＜同音異義語・動詞＞校正前：東京（品川）と名古屋の間は2027年に開業、名古屋から大阪までは45年に伸びる予定だ。校正後：東京（品川）と名古屋の間は2027年に開業、名古屋から大阪までは45年に延びる予定だ。＜同音異義語・名詞＞校正前：県警は8日、熊谷署に100人体制の捜査本部を設置。校正後：県警は8日、熊谷署に100人態勢の捜査本部を設置。＜助詞、他の名詞への代替案＞校正前：医療の進歩により、がんがなった後も以前と変わらぬ人生を送れる人が増えている。校正後：医療の進歩により、がんになった後も以前と変わらぬ人生を送れる例が増えている。
見出しの自動生成の研究[email protected]Copyright 2018 The Asahi Shimbun Company.• 上と下、どちらが人間の書いた見出しでしょう？1．日比谷図書館を千代田区に移管 都教委が正式合意2．「上司がパワハラ」海自事務官が提訴3．子育て応援施設、空き店舗に移転 和歌山ぶらくり丁商店街4．晩秋の風物詩「松の腹巻き」 鶴岡1．都、区と正式合意 日比谷図書館の千代田区移管2．海自事務官、パワハラ提訴佐世保「ストレスで休職」3．空き店舗に子育て拠点 和歌山の商店街に明日オープン NPOの施設、移転4．松も冬支度、幹に「腹巻き」 鶴岡
研究体制[email protected]Copyright 2018 The Asahi Shimbun Company.• 株式会社レトリバと共同研究（朝日新聞社のエンジニアを派遣）• 国際学会にも論文を投稿するなど、学術研究にも取り組んでいる今後は研究成果の実用化もテーマになってくる
研究体制[email protected]Copyright 2018 The Asahi Shimbun Company.• 株式会社レトリバと共同研究（朝日新聞社のエンジニアを派遣）• 国際学会にも論文を投稿するなど、学術研究にも取り組んでいる今後は研究成果の実用化もテーマになってくる→そこでサーバーレス
その他の取り組み[email protected]Copyright 2018 The Asahi Shimbun Company.
相撲力士認識アプリ• 「あれ、このスポーツ選手の名前何だっけ？」と思ったとき、すぐ情報が得られたら面白いのではないかという会話からプロトタイプ開発がスタート• 巡業や稽古に行って力士の写真30994枚を撮影。30時間かけて分類し学習データを作成• （Rekognitionが東京リージョンで使えていたらこんなに苦労しなかったかも・・・・）[email protected]Copyright 2018 The Asahi Shimbun Company.
クイズ生成• 時事問題クイズにニーズがありそうだが、人手で問題を作るのが大変で試せていないというビジネス部門の声を聞き、自動でクイズを作れないか実験【例】インターネットで音楽を配信する「ストリーミング」サービスの世界最大手、スポティファイは２８日、米証券取引委員会に上場申請したと発表した。______に上場する。最近の取引から試算した株式時価総額は最大２２６億ドルで、写真・動画共有アプリを手がける米スナップ以来の大型上場となる。______に入るのは？①ナスダック②ロンドン株式市場③シカゴ・マーカンタイル取引所④ニューヨーク証券取引所[email protected]Copyright 2018 The Asahi Shimbun Company.
まとめと今後• 編集業務の生産性向上への取り組みとして記事画像検索システムをサーバーレスで開発。システム運用等の負荷が軽減され、少人数でも機能開発に集中することができた• 推論部分の構成や運用はまだ試行錯誤の段階だが、機械学習の活用でもサーバーレスのメリットを得られるようにしていきたい• 学術研究からプロトタイプアプリの開発まで幅広く取り組んでいるが、ニーズのあるものを素早くサービス化する為にも、サーバーレスを有効に活用していきたい[email protected]Copyright 2018 The Asahi Shimbun Company.
nagiss
pauli
tomuro
line_developers
oracle4engineer
devopstaiwan
masakamayama
gawa
miyashino
kawaguti
ritou
chrislema
matthewcrist
akmur
tmm1
rasmusluckow
marcelosomers
aleyda
chrisshort
gr2m
brettharned
brad_frost
pauljervisheath