Add pod name, ip, uid and namespace to otlp Metrics and Log

ansible/group_vars/all/vault.yml

@@ -1,54 +1,54 @@
 $ANSIBLE_VAULT;1.1;AES256
-38376530333338303138643365373432386565346263306165326261383734336263626366653264
-6531616135643465363466313534326565616166363830630a326130386466353038623661636664
-36343738303263396661343761666266373366363263323763346634313330353365363462646562
-3063373062303865300a356130356434353932363261633733633839383966343037363366613065
-61623239343466643636303232353838333330663439636536306233633565653736316361643239
-31373236396533343631316362373833616132303639656538346533313836383161383866333835
-66333264326535663135643161343238306137613864303138616565653238643230363631636336
-33623631363566663635363061323731333835386565313438636361656535383834616261313130
-62386563303964633161656162333033376134656666623061616534323439356637343030633038
-38366534363836366365346337653739323666366539613731653561666336356337653037316661
-30333065323339353036383038306565666166623736386162396237393234316631353561663561
-32336535663961633033343161356463383033313662616664313331383939363665333838363866
-34636130336535353231636638343236653737323161363063386131613837306435623563356262
-36616437366363366330303962353930613031663263613565616334303666306332376336393635
-64636337376663643565323338626230303938343363326234316535623765666566663761663136
-35303765383336383031366633373364376336303430333534616665613838326163626538656435
-32623739303839356538626634393965376464616230313839303335353636386134393631323532
-34346365656335333565396430376463663434383336653530313365376332396662633065383465
-61343335303138376637633836656465353664386539663062383065623136323163616530616536
-31626534663836613634356433373734323139323263393937343738653831623461363263383637
-64346236363133663561613533626332356365396665666235363134323134353135663532376338
-66306432373137343634616136613630636565656466373039346434613630613838653466356662
-30393664303738656439613634356162643035646233376539343363663439396161616534656565
-62343239623535386233623736323161386133303732663535663162663033313864323466346138
-34663062336361303966306435616164343638386565343232343163653439616436313033633063
-36633539653365323739666630663836353733663534633234373633623034613537613938633534
-31343830653366653239356364326566643237663631653565373862616637386537316137323965
-62386332353537383636666138373165323634623630346638323532633739376637386533626638
-36376664316266346562326434373338656231366261323434373731366636633366633534313139
-62326466356565383832636464346263343039653661613763306165636565633737616537666538
-36373031343966326364646633373161383364393135643630323238333965346332623864306632
-32353739656239663137386161323561353333323036333733393239373830363431343935323161
-61343865633136316162356336333263656133343532376432363164656666323838646433313030
-33396631613337653666323738303462326139326639646564376666396330333731343764306433
-64316331663638653438393738346437626163616335653231613735643362393162663536653238
-30386666383865643462363039306264633564653536613163656432623966376638653566363738
-35326564343265613963303965346336613337616333616130616461626139333630333336366266
-34643361303036373162353437383331323338336263343365613137663166323539303234366464
-39633065343263393164393966623063313832613334666463376366383330353766653463623433
-34323435343866616534623563333566653761633066633764626330613961636139333963633161
-65323536333764373761373366646466663837383264646238666632626135333532366264396266
-33343139316230613330333236356233366530316234353439636235613632646664353234313364
-32623633333338646462356161663961303835326663396565633932656234386236656535313434
-66303762363534356232636134303130333930353364316265643463666563333966653736353030
-65333565373161346334376137313539616431393462383235376137613766613263636138353738
-64613134653033393161363531393861303331623963393038366364643962346664623366396261
-65303666393034616261613431323063303064636366356435643863663732316136653435386432
-38346564356434393264633531663133336431356562386532383864663033623065346537323165
-38353137383238646632323935616435356334363062613934363733663564633634303838383033
-61333032363962373130653534313034656434333536393339303935666564616630353137663236
-39646462613964633861343365363266343263336331626662663034343161393064343065613736
-32356334373166336435313535636663323531343037336237613065333234656238326639306238
-65653234343064373164306563653435326332633734313538326633643538643864
+36623666343566343164316264633032376665363132613066346462333863353931626661616235
+3534313532386433646132396332386539356534336563610a386435326135613661376666646265
+39373930643763316364373137393239633538653038646535313332396133373730396466656436
+3665353332653935340a626261393963383332383830383339373139363164653735653039363333
+33306432646335633263373037633636653239663565306530386361343835383965653864376638
+34376636626164633765343065613935636666663039613330336665316130633764656539303465
+38333638623462653139633763353234313062353730303335663435653233646533663739356332
+64316463653838353331303361613339326566306262613935643934653735613266646534326261
+61356666333531656662613034326563303833383439356430636661316231306364613736343131
+63636265366538653564616132306539366330663531616163366132616362336164306230393436
+34643831623139353564323031636233346533386534643031383963303532613462383437393962
+37383862626439646632323763303831323633656638626430326563393561666231393537363939
+63303930343765616639356430643034393031626630663231353930353331626362376161633837
+66343534333139376461613361623731323634613363363530653839316164393663383465383537
+33623937653339383065393939633634313966356633323332633565366539653865633166363265
+36366461303335326534346238343634643161313633303731366539376232326532323862373364
+34383636613765316231646664643332653336363162326331356463656561313062616530346435
+66323363353730323332363466616437303635323332303438653833366438383161313930633731
+34626262393536333236613235643563366134336130633631313631323335313436653964373965
+35663961383338303439383665616464383562303561333266313934653435393434393765353932
+31356563646131643161393738323832613030613934623364346132646235396432663936616630
+63656439383837636630313264643933316264643261393662393166323934343265366635393064
+34376262646331646664633231313461336130653535626565323938393534373234313138353634
+32386266666563363437636531316233306462313533666665316261623061373931643333363930
+66623036633134616335653832633936326632313234653732313937346537326639313733663336
+37363435313965333333373661333262383832346265303636306461376437616239633835643839
+36393262333261653165643331353239316132636366323465356130613661356533366634363334
+63353235376666303361386564356639633534666262633766616339613130643237653236653465
+63373136333734663139666339343336336461656666303765333166616366636530373864353665
+35636639373234643765396636313762313936356262663761363064623066633234633964373461
+31663266353935396364366263356561356435313536366463323233383935643562623436633864
+30646331326335373939386230306434656162643438306533613539636661343237376466656434
+32656135666261353431346362366130663932643431313161653934656166663766333933613663
+39353137346333633432366337393636306365626131376637373434323830613039356233323137
+36656439663334653064333562613035376436313331343832646434363963303666363337376537
+30656433343762396530316630656266626439626263353933363466363864333139343631636137
+39613538363738306138643735306138353561346434383238303834653239393666396466373865
+34663535336261383437316164326163356436346365363463623765326162396231356535306335
+36383231353330643833376164313664666465303364323031333534626161363961613337613133
+30633638323530343934616163653236656163613835373261666639666466653432616664353630
+34373933333363376461353630333839376235326636323130346163376236316263393530643132
+36323037316437363231383233663063363466326133353530373635616266613738636438613764
+33373965313862396232303763316233333364353364316438643263316363393237636430663732
+65666161356166366263343863346666393535393839633339353264646534656534306139323537
+36383564623938633338326461373662666336313061326364363032313333623732366637616133
+65336332323638623434306130323030343962613763303163656132363865323134363939613838
+33646461313461323432333132396136663366616533356363663537356439333537653332656561
+64653235343237356533663232656637646330306435663635386432346661623438646331363666
+61306535663134343839623565646562626330323234383836626666306363393033643935373732
+65623561356261636664363362313065333863366339373834613631373464623736613639306538
+61383230393462613133636163343136363438386235323833373232343937366236333761643837
+35363866613264386637613038633034376665313139393733623431396434643063366231613532
+61376361386365393761393635343838376630623932646236653866373364336530

fleet/otlp-collector/fleet.yaml

@@ -50,8 +50,55 @@ helm:
           token: "${env:OTEL_CLIENT_TOKEN}"
 
       processors:
+        k8sattributes:
+          auth_type: serviceAccount
+          extract:
+            metadata:
+              - k8s.namespace.name
+              - k8s.pod.name
+              - k8s.pod.uid
+              - k8s.pod.ip
+              - k8s.node.name
+              #- k8s.deployment.name
+              #- k8s.replicaset.name
+              #- k8s.statefulset.name
+              #- k8s.daemonset.name
+              - k8s.container.name
+
+          pod_association:
+            - sources:
+                - from: resource_attribute
+                  name: k8s.pod.uid
+            - sources:
+                - from: resource_attribute
+                  name: k8s.pod.ip
+            - sources:
+                - from: resource_attribute
+                  name: k8s.pod.name
+                - from: resource_attribute
+                  name: k8s.namespace.name
+            - sources:
+                - from: connection
         deltatocumulative:
           max_stale: 5m
+
+        transform:
+          metric_statements:
+            - context: resource
+              statements:
+                - set(attributes["namespace"], attributes["k8s.namespace.name"])
+                - set(attributes["pod"], attributes["k8s.pod.name"])
+                - set(attributes["pod_uid"], attributes["k8s.pod.uid"])
+                - set(attributes["pod_ip"], attributes["k8s.pod.ip"])
+                - set(attributes["node"], attributes["k8s.node.name"])
+          log_statements:
+            - context: resource
+              statements:
+                - set(attributes["namespace"], attributes["k8s.namespace.name"])
+                - set(attributes["pod"], attributes["k8s.pod.name"])
+                - set(attributes["pod_uid"], attributes["k8s.pod.uid"])
+                - set(attributes["pod_ip"], attributes["k8s.pod.ip"])
+                - set(attributes["node"], attributes["k8s.node.name"])
 
       receivers:
         otlp:
@@ -79,9 +126,9 @@ helm:
         pipelines:
           logs:
             receivers: [otlp]
-            processors: []
+            processors: [k8sattributes, transform]
             exporters: [otlphttp/victoriametrics]
           metrics:
             receivers: [otlp]
-            processors: [deltatocumulative]
+            processors: [k8sattributes, transform, deltatocumulative]
             exporters: [otlphttp/victoriametrics]