dracoblue.net

CREATE TABLE IF NOT EXISTS `topicwatchdog.dim_channels` (
  channel_youtube_id STRING NOT NULL,
  title               STRING,
  published_at        TIMESTAMP
)
PARTITION BY DATE(published_at)
CLUSTER BY channel_youtube_id;

CREATE TABLE IF NOT EXISTS `topicwatchdog.dim_videos` (
  video_youtube_id    STRING NOT NULL,
  channel_youtube_id  STRING NOT NULL,
  title               STRING,
  published_at        TIMESTAMP
)
PARTITION BY DATE(published_at)
CLUSTER BY video_youtube_id;

CREATE TABLE IF NOT EXISTS `topicwatchdog.fact_topics` (
  video_youtube_id   STRING NOT NULL,
  topic              STRING,
  parent             STRING,
  canonical          STRING,
  description        STRING,
  ressort            STRING,
  action             STRING,
  target             STRING,
  intensity          STRING,
  stance             STRING,
  confidence         FLOAT64,
  topic_timestamp    TIMESTAMP
)
PARTITION BY DATE(topic_timestamp)
CLUSTER BY topic, video_youtube_id;

CREATE TABLE IF NOT EXISTS `topicwatchdog.fact_claims` (
  video_youtube_id   STRING NOT NULL,
  claim              STRING,
  parent             STRING,
  canonical          STRING,
  description        STRING,
  action             STRING,
  target             STRING,
  intensity          STRING,
  stance             STRING,
  confidence         FLOAT64,
  claim_timestamp    TIMESTAMP
)
PARTITION BY DATE(claim_timestamp)
CLUSTER BY video_youtube_id, claim;

const SEARCH_TERMS = ['cdu', 'spd', 'afd', 'grüne', 'bsw', 'csu', 'fdp']
for (const term of SEARCH_TERMS) {
    try {
      const newIds = await processSearchTerm(term, MAX_RESULTS)
      console.log(`✅ ${newIds.length} new videos stored for "${term}"`)
    } catch (err) {
        console.error(`❌ Error for term "${term}":`, err)
    }
}

import { google } from 'googleapis';
const youtube = google.youtube('v3');

const searchResponse = await youtube.search.list({
      key: YOUTUBE_API_KEY,
      part: 'snippet',
      q: term,
      maxResults,
      publishedAfter,
      publishedBefore,
      relevanceLanguage: 'de',
      videoDuration: 'short',
      type: 'video',
      order: 'viewCount',
      pageToken: nextPageToken || null,
    })

const videosResponse = await youtube.videos.list({
  key: YOUTUBE_API_KEY,
  part: 'snippet,statistics,contentDetails',
  id: videoIds.join(','),
})
const channelResponse = await youtube.channels.list({
  key: YOUTUBE_API_KEY,
  part: 'snippet,statistics',
  id: channelIds.join(','),
})

const body = {
    youtubeId: video.id,
    title: snippet.title,
    description: snippet.description,
    publishedAt: snippet.publishedAt,
    channelId: snippet.channelId,
    channelTitle: snippet.channelTitle,
    thumbnails: snippet.thumbnails,
    defaultLanguage: snippet.defaultLanguage,
    viewCount: parseInt(statistics.viewCount || '0', 10),
    channel: savedChannel.id,
    isTranscriptExtractionTriggered: true,
    etag: video.etag,
    contentDetails: {
      duration: youtubeDurationToSeconds(contentDetails?.duration),
      caption: contentDetails?.caption,
    },
    statistics: {
      viewCount: parseInt(statistics?.viewCount || '0', 10),
      likeCount: parseInt(statistics?.likeCount || '0', 10),
      favoriteCount: parseInt(statistics?.favoriteCount || '0', 10),
      commentCount: parseInt(statistics?.commentCount || '0', 10),
    },
  }

const res = await fetch(`${PAYLOAD_API_URL}/api/videos`, {
  method: 'POST',
  headers: {
    Authorization: `third-party-access API-Key ${PAYLOAD_API_SECRET}`,
    'Content-Type': 'application/json',
  },
  body: JSON.stringify(body),
})

import { PubSub } from '@google-cloud/pubsub'

const pubSubClient = new PubSub({
  scopes: ['https://www.googleapis.com/auth/cloud-platform'],
})

const messageId = await pubSubClient.topic('transcript-extraction-topic').publish(
  Buffer.from(
    JSON.stringify({
      kind: 'extractTranscript',
      messageTopicName: 'payload-messages',
      youtubeId: doc.youtubeId,
    }),
  ),
)

00:00 In unserer Reihe 
'Große Überraschung aus der Wissenschaft'...
00:04 jetzt die allerneueste Überraschung.
00:07 Nicht nur der Bildschirm ist flach.
00:09 Die Erde ist es auch.
00:11 *Vorspann*
00:18 Es hat sich jetzt gezeigt...
00:20 die Erde ist eine Scheibe.
00:23 Ringsum die Erde befindet sich die Antarktis.
...

Du bist ein neutraler politischer Analyst. 
Ich gebe dir ein Transkript eines politischen Gesprächs oder Statements, bei dem jede Zeile mit einem Zeitstempel beginnt (z. B. `00:01: Text…`).
Deine Aufgabe ist es, **die besprochenen Themen** klar zu extrahieren und **den Themen jeweils zuzuordnen**, ob in welches politisches Ressort sie gehören.
Für jedes Topic liefere:
  1) topic: kurze Originalbezeichnung des Topics in den Worten des Sprechers (falls mehrere Varianten, die häufigste/typischste Formulierung),
  2) description: 1–2 Sätze, die den Inhalt des Topics im Kontext des Videos knapp und neutral zusammenfassen,
  3) ressort: übergeordnetes Politikfeld (z. B. "Migration", "Wirtschaft", "Energie", "Sicherheit", "Demokratie", "Bildung", "Gesundheit", "Außenpolitik", "Soziales", "Digitales", "Verkehr", "Klima/Umwelt"). Wähle die beste passende Kategorie.
  4) action: die zentrale Maßnahme/Handlung (Verb- oder Nominalform), z. B. "Grenzschutz verschärfen", "Strompreis deckeln".
  5) target: primäres Ziel/Objekt der Maßnahme, z. B. "illegale Einreisen", "Haushalte", "Unternehmen".
  6) intensity: {low|medium|high}, geschätzt aus Betonung/Dringlichkeit/Absolutheitsgraden.
  7) stance: {pro|contra|neutral} relativ zum beschriebenen Topic.
  8) canonical: kanonische, neutrale Kurzform (max. 7 Wörter) des Topics, die sinngleiche Formulierungen vereinheitlicht. Keine Parolen, keine Eigennamen; möglichst generisch.
  9) parent: kanonische, neutrale Kurzform (max. 7 Wörter) des Überbegriffs des Topics, die sinngleiche Formulierungen vereinheitlicht. Keine Parolen, keine Eigennamen; möglichst generisch.
  10) mentions: Liste aller Textstellen im Format:
    [{ "timestamp": <sekunden_als_integer>, "excerpt": "<max 20 wörter originalzitat>" }]
    - Fasse unmittelbar aufeinanderfolgende oder stark überlappende Stellen zusammen.
  11) confidence: Zahl 0–1, wie sicher du bist, dass das Topic korrekt erkannt und strukturiert ist.

Regeln:
- Sei neutral, keine Wertung.
- Keine Halluzinationen: Stütze dich nur auf Aussagen im Transkript.
- Nutze description_raw als kurze, informative Zusammenfassung (kein Slogan).
- canonical muss prägnant und stabil sein (geeignet für GROUP BY).
- Gib nur valides JSON gemäß dem Feld "response" zurück.


Gib das Ergebnis in folgender Struktur zurück:

```json
[
  {
    "topic": "Energiepreise senken",
    "description": "Vorschläge zur Entlastung privater Haushalte, insbesondere durch einen Strompreisdeckel.",
    "ressort": "Wirtschaft",
    "action": "Strompreis deckeln",
    "target": "Haushalte",
    "intensity": "mittel",
    "stance": "pro"
    "canonical": "Energiepreise für Haushalte senken",
    "mentions": [
      { "timestamp": 12, "excerpt": "Energiepreise für Haushalte senken" },
      { "timestamp": 20, "excerpt": "Strompreisdeckel würde Familien entlasten" }
    ],
    "confidence": 0.86
  },
  {
    "topic": "Strengerer Grenzschutz und Rückführungen",
    "description": "Forderungen nach konsequenteren Grenzkontrollen und beschleunigten Rückführungen.",
    "ressort": "Migration",
    "action": "Grenzschutz verschärfen",
    "target": "illegale Einreisen",
    "intensity": "hoch",
    "stance": "pro"
    "canonical": "Grenzschutz & Rückführungen verschärfen",
    "mentions": [
      { "timestamp": 65, "excerpt": "konsequentere Kontrollen beim Grenzschutz" },
      { "timestamp": 72, "excerpt": "Rückführungen müssen schneller erfolgen" }
    ],
    "confidence": 0.88
  }
]
```

Wenn du dir nicht sicher bist, antworte mit einem leeren JSON-Array [].

Gib ausschließlich **plain JSON** zurück, ohne '```json' Kommentar oder Markdown.

Hier ist das Transkript (mit Zeitstempeln "MM:SS: Text" bzw. "HH:MM:SS: Text"):

const { GoogleGenAI, Type } = require('@google/genai')
const ai = new GoogleGenAI({
  vertexai: true,
  project: process.env.GOOGLE_CLOUD_PROJECT,
  location: process.env.GOOGLE_CLOUD_LOCATION,
})

const response = await ai.models.generateContent({
  model: MODEL_NAME,
  contents: `${prompt}\n\n${transcript}`,
  config: {
    responseMimeType: 'application/json',
    temperature: 0.2,
    responseSchema: {
      type: Type.ARRAY,
      items: {
        type: Type.OBJECT,
        properties: {
          topic: { type: Type.STRING },
          description: { type: Type.STRING },
          ressort: { type: Type.STRING },
          action: { type: Type.STRING },
          target: { type: Type.STRING },
          intensity: { type: Type.STRING, enum: ['low', 'medium', 'high'] },
          stance: { type: Type.STRING, enum: ['pro', 'contra', 'neutral'] },
          canonical: { type: Type.STRING },
          parent: { type: Type.STRING },
          confidence: { type: Type.NUMBER },
          mentions: {
            type: Type.ARRAY,
            items: {
              type: Type.OBJECT,
              properties: {
                timestamp: { type: Type.NUMBER },
                excerpt: { type: Type.STRING },
              },
              propertyOrdering: ['timestamp', 'excerpt'],
            },
          },
        },
        required: [
          'topic',
          'description',
          'ressort',
          'confidence',
          'mentions',
          'canonical',
          'parent',
          'action',
          'target',
          'intensity',
          'stance',
        ],
        propertyOrdering: [
          'topic',
          'description',
          'ressort',
          'canonical',
          'confidence',
          'parent',
          'action',
          'target',
          'intensity',
          'stance',
          'mentions',
        ],
      },
    },
  },
})

[
  {
    "topic": "Erde ist eine Scheibe",
    "description": "Diskussion über die Hypothese, dass die Erde flach ist und von einem Eiswall umgeben wird, im Gegensatz zur wissenschaftlichen Erkenntnis einer kugelförmigen Erde.",
    "ressort": "Wissenschaft",
    "canonical": "Flache Erde Hypothese",
    "parent": "Wissenschaft",
    "action": "Diskutieren",
    "target": "Erde",
    "intensity": "low",
    "stance": "contra",
    "mentions": [
      {
        "timestamp": 20,
        "excerpt": "die Erde ist eine Scheibe."
      },
      {
        "timestamp": 23,
        "excerpt": "Ringsum die Erde befindet sich die Antarktis."
      },
      {
        "timestamp": 43,
        "excerpt": "Das Wasser fließt also eben nicht von der Scheibe runter"
      },
      {
        "timestamp": 123,
        "excerpt": "Die Erde sei flach"
      },
      {
        "timestamp": 330,
        "excerpt": "wenn die Erde eine Scheibe ist"
      },
      {
        "timestamp": 445,
        "excerpt": "Wie soll aus einem unförmigen Klumpen aus irgendwelchem Material eine Scheibe werden?"
      },
      {
        "timestamp": 634,
        "excerpt": "viel dran sein, kann doch an einer Flacherde nicht."
      },
      {
        "timestamp": 65,
        "excerpt": "die Erde ist eine Scheibe."
      }
    ]
  }

[
  {
    "claim": "Die Erde ist eine Scheibe mit der Antarktis als Eiswall ringsum.",
    "description": "Es wird die Hypothese vertreten, dass die Erde eine Scheibe sei und die Antarktis als Eiswall die Ozeane umschließe, damit das Wasser nicht abfließe.",
    "ressort": "Wissenschaft",
    "canonical": "Erde ist eine Scheibe mit Antarktis als Eiswall",
    "parent": "Erde",
    "action": "Erde ist Scheibe",
    "target": "Erde",
    "intensity": "low",
    "stance": "neutral",
    "excerpts": [
      {
        "timestamp": "00:20",
        "excerpt": "die Erde ist eine Scheibe."
      },
      {
        "timestamp": "00:23",
        "excerpt": "Ringsum die Erde befindet sich die Antarktis."
      },
      {
        "timestamp": "00:38",
        "excerpt": "Dieser Eisrand hält nun eben die Ozeane zusammen wie ein großes Waschbecken."
      }
    ]
  }
]