AI Engineering Now

AIとの音声対話を開発するにあたってどんな技術を選ぶかや、体験面で工夫するポイントを話しました Shownotes: https://nu-dialogue.github.io/j-moshi/ https://www.ai-shift.co.jp/techblog/4512 https://playground.zyphra.com/sign-in?redirect_url=https%3A%2F%2Fplayground.zyphra.com%2Faudio https://www.ai-shift.co.jp/techblog/5169 https://www.jstage.jst.go.jp/article/pjsai/JSAI2020/0/JSAI2020_2Q1GS1003/_pdf/-c...

Evalを主軸にLLMエージェントの設計について述べた An Evaluation-Driven Approach to Designing LLM Agents: Process and Architecture という論文を題材に話しました。 出演者： seya(⁠⁠@sekikazu01⁠⁠) kagaya(⁠⁠@ry0_kaga⁠⁠) ## Shownotes An Evaluation-Driven Approach to Designing LLM Agents: Process and Architecture⁠

seyaとkagayaの二人ともハマっていて、最近ホットなTTSサービスについて雑談しました。 Shownotes: https://voicevox.hiroshiba.jp/ https://aivis-project.com/ https://nijivoice.com/ 出演者： seya(⁠⁠@sekikazu01⁠⁠) kagaya(⁠⁠@ry0_kaga⁠⁠)

生成AIでユーザビリティ課題を発見することができるかを検証したUX-LLMについて話しました。 ポッドキャストの書き起こしサービス「LISTEN」は ⁠⁠こちら⁠⁠ Shownotes: https://arxiv.org/abs/2411.00634v1 https://dl.acm.org/doi/pdf/10.1145/3678957.3685701 https://u-site.jp/alertbox/synthetic-users 出演者： seya( ⁠@sekikazu01⁠ ) kagaya( ⁠@ry0_kaga⁠ )

Stripe Agent Toolkitを肴にAgent向けのAPIの時代について想いを馳せました。 ポッドキャストの書き起こしサービス「LISTEN」は⁠⁠こちら⁠⁠ Shownotes: Adding payments to your LLM agentic workflows⁠ ⁠⁠ https://github.com/stripe/agent-toolkit 出演者： seya(⁠⁠@sekikazu01⁠⁠) kagaya(⁠⁠@ry0_kaga⁠⁠)

LLM-as-a-Judgeに着想を得て、エージェンティックシステムを評価するためにエージェンティックシステムを用いることを提案した Agent-as-a-Judge: Evaluate Agents with Agents を題材に話しました。 ポッドキャストの書き起こしサービス「LISTEN」は ⁠こちら⁠ Shownotes: https://arxiv.org/abs/2410.10934v1 https://huggingface.co/DEVAI-benchmark https://github.com/metauto-ai/agent-as-a-judge/tree/main https://blog.lan...

Ubie社の事例に触発されて社内v0開発を始めた2人で、開発の知見や悩み、Figma AI等のデザインAIについて話しました ポッドキャストの書き起こしサービス「LISTEN」は こちら Shownotes: https://v0.dev/ ⁠https://www.figma.com/ja-jp/ai/ https://x.com/sys1yagi/status/1850763720630387170 出演者： seya( @sekikazu01 ) kagaya( @ry0_kaga )

継続的にLLMアプリケーションの評価基準や自動評価をアップデートする仕組みであるEvalGenについて書かれた論文「 Who Validates the Validators? Aligning LLM-Assisted Evaluation of LLM Outputs with Human Preferences 」について話しました。 ポッドキャストの書き起こしサービス「LISTEN」は⁠⁠⁠⁠⁠ ⁠⁠⁠こちら⁠⁠⁠⁠⁠⁠⁠ Shownotes: https://arxiv.org/abs/2404.12272 https://www.sh-reya.com/blog/ai-engineering-flywheel/ ht...

自動で行うプロンプトチューニング、Auto Prompting、そしてそれを支える評価の重要性などについて話しました。 ポッドキャストの書き起こしサービス「LISTEN」は⁠⁠⁠⁠⁠ ⁠⁠こちら⁠⁠⁠⁠⁠⁠⁠ Shownotes: https://www.promptingguide.ai/techniques/ape https://platform.openai.com/docs/guides/prompt-generation https://cloud.google.com/vertex-ai/generative-ai/docs/learn/prompts/prompt-optimizer https://github.com/microsoft...

今回はMicrosoftが公開したRAGタスクを4つのレベルに分類したリサーチであるRAG and Beyondがテーマです ポッドキャストの書き起こしサービス「LISTEN」は⁠⁠⁠⁠⁠https://listen.style/p/aiengineeringnow Shownotes: https://arxiv.org/abs/2409.14924 https://x.com/K_Ishi_AI/status/1838765135206453254 出演者： seya(https://x.com/sekikazu01) kagaya(https://x.com/ry0_kaga)

今回はOpenAI DevDay 2024で発表されたPrompt Cachingがテーマです ポッドキャストの書き起こしサービス「LISTEN」は⁠⁠⁠⁠⁠ こちら⁠⁠⁠⁠⁠ Shownotes: https://platform.openai.com/docs/guides/prompt-caching https://www.anthropic.com/news/prompt-caching https://zenn.dev/google_cloud_jp/articles/0c257a98143152 出演者： seya( ⁠⁠⁠⁠@sekikazu01⁠⁠⁠⁠ ) kagaya( ⁠⁠⁠⁠@ry0_kaga⁠⁠⁠⁠ )

今回はJina AIが提唱したLate Chunkingがテーマです。 Jina AIはEmbedding model、Reranker、Semantic chunking等のAPIを公開しているRAGに取り組む上では注目の企業です。 そんなJina AIが提唱したチャンキング手法であるLate Chunkingについて話しました。 ポッドキャストの書き起こしサービス「LISTEN」は⁠⁠⁠⁠ こちら⁠⁠⁠⁠ Shownotes: Jina.ai ⁠Late Chunking in Long-Context Embedding Models⁠ ⁠Late Chunking: Balancing Prec...

音声AIサービスの雑談会です。特にGoogleのNotebookLMのAudio Overview、Illuminate、Retell AI、kagayaが絶賛個人開発中の音声AIサービスについて話しました。 ポッドキャストの書き起こしサービス「LISTEN」は⁠⁠⁠ こちら⁠ ⁠⁠ Shownotes: NotebookLM now lets you listen to a conversation about your sources AIが論文や書籍を要約してポッドキャスト風の会話音声に自動変換してくれる「Google Illuminate」が公開中 グーグル、...

ソフトウェアエンジニアリング領域のLLMエージェント研究のサーベイ論文である、 Large Language Model-Based Agents for Software Engineering: A Survey を題材に話しました。 ポッドキャストの書き起こしサービス「LISTEN」は⁠⁠ こちら ⁠⁠ Shownotes: Large Language Model-Based Agents for Software Engineering: A Survey LLMエージェントのデザインパターン、Agentic Design Patternsを理解する マルチエージェントなコード...

Chatbot Arenaのデータを使ってドメイン独自の評価データセットを作るという論文、Judging LLM-as-a-Judge with MT-Bench and Chatbot Arenaを題材に話しました。 ポッドキャストの書き起こしサービス「LISTEN」は こちら Shownotes： Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference Chat with Open Large Language Models From Live Data to...