Bots Parlants

Participants de réunion alimentés par l'IA avec des personnalités personnalisables

Bots Parlants est une implémentation open source qui crée des agents de réunion IA qui peuvent rejoindre et participer aux réunions vidéo avec des personnalités distinctes et un contexte défini dans des fichiers Markdown.

Notre implémentation étend le framework Python de Pipecat pour créer :

  • Des agents de réunion qui peuvent rejoindre Google Meet, Zoom ou Microsoft Teams via l'API Meeting BaaS
  • Des personnalités personnalisables avec un contexte unique
  • Support pour l'exécution de plusieurs instances localement ou à grande échelle
  • Traitement audio en temps réel via l'infrastructure WebSocket

L'API suit un design minimaliste avec des valeurs par défaut sensées tout en offrant une personnalisation optionnelle. Un bot peut être déployé avec juste une URL de réunion et une clé API, avec des paramètres supplémentaires disponibles pour adapter le comportement.

Fonctionnalités

  • Conversations alimentées par l'IA : Les bots peuvent s'engager dans des conversations naturelles, répondant aux participants de la réunion en temps réel.
  • Personnalités personnalisables : Déployez des bots avec différentes personnalités et bases de connaissances spécifiques via des contextes définis en Markdown.
  • Support multiplateforme : Fonctionne avec Google Meet, Zoom et Microsoft Teams via une seule API.
  • Détection d'activité vocale : Détection intelligente de quand parler et quand écouter avec des paramètres configurables.
  • Outils d'appel de fonction : Outils intégrés pour vérifier la météo, l'heure et autres informations contextuelles qui peuvent être activés ou désactivés.
  • Gestion du contexte LLM : Maintient des conversations cohérentes et cohérentes tout au long des réunions.
  • Instances multiples de bots : Exécutez plusieurs bots dans une réunion avec différentes personnalités et rôles.

Technologies principales

  • Pipecat : Framework Python alimentant le pipeline de traitement audio en temps réel
  • Meeting BaaS : API de déploiement de bots de réunion pour les plateformes vidéo
  • Synthèse vocale : Cartesia pour la synthèse vocale des bots
  • Reconnaissance vocale : Deepgram ou Gladia avec reconnaissance linguistique
  • IA vocale : Modèles OpenAI GPT pour la génération de conversation
  • Transport de données : Communication WebSocket avec Protocol Buffers

Utilisation de l'API

L'API Speaking Bot est accessible sur speaking.meetingbaas.com. Vous pouvez accéder à la spécification OpenAPI sur speaking.meetingbaas.com/openapi.json.

L'API fournit des endpoints pour :

  • Créer et déployer des bots parlants dans les réunions
  • Supprimer des bots des réunions
  • Gérer les connexions WebSocket pour le streaming audio

Exemple de déploiement

Pour déployer un Speaking Bot en utilisant l'API, faites simplement une requête POST :

speaking_bot.sh
curl -X POST https://speaking.meetingbaas.com/bots \
  -H "Content-Type: application/json" \
  -d '{
    "meeting_url": "https://us06web.zoom.us/j/123456789?pwd=example",
    "personas": ["baas_onboarder"],
    "meeting_baas_api_key": "your-api-key"
  }'
speaking_bot.py
import requests
import json

def deployer_bot_parlant():
    url = "https://speaking.meetingbaas.com/bots"
    headers = {
        "Content-Type": "application/json",
        "x-meeting-baas-api-key": "your-api-key"
    }
    
    payload = {
        "meeting_url": "https://meet.google.com/abc-defg-hij",
        "bot_name": "Assistant IA",
        "personas": ["helpful_assistant"],
        "entry_message": "Bonjour ! Je suis votre assistant IA pour cette réunion.",
        "bot_image": "https://example.com/bot-avatar.png",
        "enable_tools": True,
        "extra": {
            "company": "Votre Entreprise",
            "meeting_purpose": "Sync d'équipe"
        }
    }
    
    response = requests.post(url, headers=headers, json=payload)
    return response.json()

# Déployer le bot parlant
resultat = deployer_bot_parlant()
print(resultat)
Aperçu des fonctionnalités API Meeting BaaS

Ressources